Théorie de l'information

L'information est la source d'un système de communication, qu'il soit analogique ou numérique. Information theory est une approche mathématique de l'étude du codage de l'information ainsi que de la quantification, du stockage et de la communication de l'information.

Conditions de survenue des événements

Si l'on considère un événement, il y a trois conditions d'occurrence.

  • Si l'événement ne s'est pas produit, il y a une condition de uncertainty.

  • Si l'événement vient de se produire, il y a une condition de surprise.

  • Si l'événement s'est produit, il y a un certain temps, il y a une condition pour avoir information.

Par conséquent, ces trois événements se produisent à des moments différents. La différence de ces conditions, nous aide à avoir une connaissance sur les probabilités d'occurrence des événements.

Entropie

Lorsque nous observons les possibilités d'occurrence d'un événement, qu'il soit surprenant ou incertain, cela signifie que nous essayons d'avoir une idée sur le contenu moyen de l'information de la source de l'événement.

Entropy peut être défini comme une mesure du contenu d'information moyen par symbole source. Claude Shannon, le «père de la théorie de l'information», en a donné une formule comme

$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$

Où $ p_i $ est la probabilité d'occurrence du nombre de caractères ià partir d'un flux de caractères donné et b est la base de l'algorithme utilisé. Par conséquent, cela est également appelé commeShannon’s Entropy.

La quantité d'incertitude restante sur l'entrée de canal après avoir observé la sortie de canal est appelée Conditional Entropy. Il est noté $ H (x \ arrowvert y) $

Source discrète sans mémoire

Une source à partir de laquelle les données sont émises à intervalles successifs, qui est indépendante des valeurs précédentes, peut être appelée discrete memoryless source.

Cette source est discrète car elle n'est pas considérée pour un intervalle de temps continu, mais à des intervalles de temps discrets. Cette source est sans mémoire car elle est fraîche à chaque instant, sans tenir compte des valeurs précédentes.

Codage source

Selon la définition, «Étant donné une source d'entropie discrète sans mémoire $ H (\ delta) $, la longueur moyenne du mot de code $ \ bar {L} $ pour tout encodage source est limitée par $ \ bar {L} \ geq H (\ delta) $ ”.

En termes plus simples, le mot de code (par exemple: le code Morse pour le mot QUEUE est -.- ..-. ..-.) Est toujours supérieur ou égal au code source (QUEUE dans l'exemple). Ce qui signifie que les symboles du mot de code sont supérieurs ou égaux aux alphabets du code source.

Codage des canaux

Le codage de canal dans un système de communication, introduit une redondance avec une commande, de manière à améliorer la fiabilité du système. Le codage source réduit la redondance pour améliorer l'efficacité du système.

Le codage de canal se compose de deux parties d'action.

  • Mapping séquence de données entrantes dans une séquence d'entrée de canal.

  • Inverse mapping la séquence de sortie du canal en une séquence de données de sortie.

L'objectif final est que l'effet global du bruit de canal soit minimisé.

La cartographie est réalisée par l'émetteur, à l'aide d'un encodeur, tandis que la cartographie inverse se fait au niveau du récepteur par un décodeur.