La théorie de l'information : mesurer, compresser et transmettre les messages

La théorie de l’information est l’un des fondements invisibles du monde numérique. Elle permet de répondre à des questions qui paraissent simples mais qui ont longtemps été difficiles à formuler mathématiquement : quelle quantité d’information contient un message ? Jusqu’où peut-on le compresser ? À quelle vitesse peut-on le transmettre sans erreur sur un canal bruité ?

En 1948, le mathématicien et ingénieur américain Claude Shannon apporte une réponse révolutionnaire dans son article A Mathematical Theory of Communication. Son objectif n’est pas de comprendre le sens d’un message, mais de mesurer l’information qu’il transporte et d’étudier les limites physiques et mathématiques de sa transmission.

Cette approche donnera naissance à la théorie de l’information.

Aujourd’hui, ses concepts se retrouvent partout : fichiers compressés, télécommunications, Wi-Fi, réseaux mobiles, stockage numérique, codes correcteurs d’erreurs, cryptographie, traitement des données et de nombreuses techniques utilisées en intelligence artificielle.

Avant Shannon : transmettre des messages de manière fiable

La communication à distance existait bien avant l’informatique.

Télégraphe, téléphone et radio posaient déjà des problèmes techniques essentiels : comment transmettre un signal le plus fidèlement possible ? Comment utiliser efficacement une ligne de communication ? Comment distinguer un message utile du bruit qui l’altère ?

Les ingénieurs savaient améliorer les équipements, amplifier les signaux ou réduire les perturbations. Mais il manquait encore une théorie générale permettant de décrire mathématiquement ce qu’est l’information et quelles sont les limites d’un système de communication.

Claude Shannon travaille dans les années 1940 aux Bell Telephone Laboratories, où ces questions sont particulièrement importantes.

Son idée décisive consiste à séparer deux problèmes que l’on confond facilement :

• ce que signifie un message ;
• la quantité d’information nécessaire pour le représenter et le transmettre.

Pour un ingénieur chargé de transmettre une suite de symboles, le sens philosophique ou émotionnel du message n’est pas nécessaire pour déterminer la capacité du canal.

Cette séparation permet de transformer la communication en problème mathématique.

Le modèle général d’un système de communication

Shannon représente la communication à l’aide d’un modèle remarquablement simple.

Une source d’information produit un message.

Un émetteur transforme ce message en un signal adapté au canal utilisé.

Le signal traverse ensuite un canal de communication.

Pendant ce trajet, du bruit peut perturber le signal.

Un récepteur tente alors de reconstruire le message avant de le transmettre à sa destination.

Ce schéma peut s’appliquer à des situations très différentes :

• une conversation téléphonique ;
• un message envoyé par radio ;
• des données transmises par fibre optique ;
• un paquet circulant sur un réseau informatique ;
• un fichier lu depuis un support de stockage.

L’un des grands apports de Shannon est précisément d’avoir montré que ces systèmes pouvaient être étudiés avec un même cadre mathématique.

Le bit : une unité pour mesurer l’information

Pour mesurer l’information, Shannon utilise une unité devenue universelle : le bit.

Un bit représente une décision entre deux possibilités.

Dans le cas le plus simple, ces possibilités sont notées 0 ou 1.

Mais le bit ne désigne pas uniquement un chiffre binaire stocké dans un ordinateur. Il représente plus fondamentalement une quantité d’information permettant de distinguer deux possibilités équiprobables.

Imaginons une pièce parfaitement équilibrée.

Avant de la lancer, deux résultats sont possibles : pile ou face.

Apprendre le résultat apporte un bit d’information.

Si nous devons identifier une possibilité parmi quatre résultats équiprobables, deux décisions binaires suffisent : 00, 01, 10 et 11.

Il faut donc deux bits.

Pour huit possibilités, trois bits suffisent.

Cette relation explique pourquoi le logarithme en base 2 occupe une place centrale dans la théorie de l’information.

Le terme bit, contraction de binary digit, avait été proposé par le statisticien John Tukey. Shannon contribue à en faire l’unité fondamentale de sa théorie.

Toutes les informations ne sont pas aussi surprenantes

Un message apporte d’autant plus d’information qu’il était difficile à prévoir.

Si quelqu’un annonce que le Soleil se lèvera demain, l’information nouvelle est très faible, car l’événement est presque certain.

À l’inverse, apprendre le résultat d’un événement très improbable apporte davantage d’information.

La théorie de Shannon formalise cette intuition : plus un événement est improbable, plus son occurrence est informative.

Cette idée est essentielle pour comprendre l’entropie.

L’entropie : mesurer l’incertitude

En théorie de l’information, l’entropie mesure l’incertitude moyenne associée à une source de messages.

Si une source produit toujours exactement le même symbole, il n’existe aucune incertitude. Son entropie est donc nulle.

À l’inverse, si plusieurs symboles sont possibles avec des probabilités similaires, l’incertitude augmente et l’entropie est plus élevée.

Pour une variable aléatoire (X) pouvant prendre différentes valeurs avec des probabilités (p(x)), l’entropie de Shannon s’écrit :

[ H(X) = - \sum{=tex}_x p(x)\log{=tex}_2 p(x) ]

Le résultat s’exprime en bits lorsque le logarithme est en base 2.

La formule peut sembler abstraite, mais son intuition est simple : elle mesure combien d’information nous obtenons en moyenne lorsque nous découvrons le résultat.

Un exemple simple avec une pièce

Prenons une pièce parfaitement équilibrée.

Pile et face ont chacun une probabilité de 50 %.

L’incertitude est maximale pour une expérience comportant deux résultats : avant le lancer, aucun résultat n’est plus prévisible que l’autre.

L’entropie vaut alors 1 bit.

Prenons maintenant une pièce fortement déséquilibrée qui tombe sur pile dans 99 % des cas.

Le résultat est beaucoup plus facile à prévoir. L’entropie est donc inférieure à 1 bit.

Enfin, si la pièce tombe toujours sur pile, il n’existe plus aucune incertitude : connaître le résultat n’apporte aucune nouvelle information.

L’entropie vaut alors zéro.

Cette relation entre probabilité, surprise et information est l’une des idées les plus puissantes introduites par Shannon.

Pourquoi peut-on compresser des données ?

La théorie de l’information permet également de comprendre pourquoi la compression est possible.

Les données réelles contiennent souvent de la redondance.

Dans un texte français, par exemple, toutes les lettres n’apparaissent pas avec la même fréquence. Certaines séquences sont beaucoup plus probables que d’autres. Après certaines lettres, le choix du caractère suivant devient également plus prévisible.

Un système de compression peut exploiter ces régularités.

L’idée générale consiste à utiliser des représentations courtes pour les événements fréquents et des représentations plus longues pour les événements rares.

C’est le principe que l’on retrouve notamment dans le codage de Huffman.

D’autres méthodes utilisent des modèles beaucoup plus sophistiqués, mais elles exploitent toujours, d’une manière ou d’une autre, les structures et les répétitions présentes dans les données.

Compression sans perte et compression avec perte

Il faut distinguer deux grandes familles de compression.

Compression sans perte

Avec une compression sans perte, les données originales peuvent être reconstruites exactement.

C’est indispensable pour des fichiers tels que :

• du texte ;
• du code source ;
• des documents ;
• des données structurées ;
• certains formats d’image.

ZIP, PNG ou FLAC utilisent par exemple des techniques de compression sans perte.

Perdre un caractère dans un programme informatique ou modifier une valeur dans un fichier de données pourrait rendre le résultat inutilisable.

Compression avec perte

La compression avec perte accepte au contraire de supprimer certaines informations afin d’obtenir des fichiers beaucoup plus petits.

Elle est couramment utilisée pour les images, l’audio et la vidéo.

JPEG, MP3 ou de nombreux codecs vidéo reposent sur cette approche.

L’objectif n’est plus de reconstruire exactement le signal original, mais de conserver suffisamment d’information pour que la différence soit acceptable selon l’usage prévu.

La théorie de l’information a également développé des outils permettant d’étudier ce compromis entre quantité de données et fidélité de la reconstruction.

Existe-t-il une limite à la compression ?

Oui.

C’est l’un des résultats fondamentaux de Shannon.

Si une source possède une certaine entropie, il existe une limite théorique à la compression moyenne que l’on peut atteindre sans perdre d’information.

Autrement dit, aucun algorithme magique ne peut compresser indéfiniment n’importe quel fichier tout en garantissant sa reconstruction parfaite.

Certaines données très redondantes peuvent être fortement compressées.

D’autres, déjà proches d’une représentation optimale ou essentiellement imprévisibles, se compressent très peu.

C’est pourquoi compresser à nouveau un fichier ZIP, JPEG ou MP4 déjà optimisé produit souvent peu de gain, voire un fichier légèrement plus volumineux à cause des informations supplémentaires nécessaires au nouveau format.

La théorie de Shannon ne fournit pas nécessairement l’algorithme de compression à utiliser. Elle indique surtout où se situe la limite que les algorithmes ne peuvent pas dépasser en moyenne.

Le bruit : quand le message est perturbé

La transmission de données rencontre un autre problème : le bruit.

Dans un système réel, un signal peut être perturbé par de nombreuses causes :

• interférences électromagnétiques ;
• imperfections du matériel ;
• atténuation ;
• perturbations radio ;
• erreurs de lecture ou d’écriture ;
• phénomènes physiques aléatoires.

Un bit envoyé comme 1 peut alors être reçu comme 0.

On pourrait imaginer qu’une communication parfaitement fiable exige un canal parfaitement exempt de bruit.

Shannon démontre quelque chose de beaucoup plus intéressant.

Il est possible de transmettre de l’information de manière arbitrairement fiable sur un canal bruité, à condition de rester sous une certaine limite de débit et d’utiliser un codage approprié.

C’est l’un des résultats les plus importants de toute la théorie de l’information.

La capacité d’un canal

Chaque canal possède une quantité maximale d’information qu’il peut transmettre de manière fiable.

Cette limite est appelée capacité du canal.

Elle dépend notamment des caractéristiques du canal et du niveau de bruit.

Pour un canal de communication soumis à un bruit gaussien, la célèbre formule de Shannon-Hartley relie la capacité (C), la bande passante (B) et le rapport signal sur bruit :

[ C = B \log{=tex}_2(1 + S/N) ]

Cette équation établit une limite théorique.

Augmenter la bande passante peut augmenter la capacité.

Améliorer le rapport entre la puissance du signal et celle du bruit peut également l’augmenter.

Mais il existe toujours une limite physique au débit fiable que le canal peut supporter dans les conditions considérées.

Les ingénieurs peuvent concevoir des systèmes qui se rapprochent de cette limite, mais ils ne peuvent pas simplement l’ignorer.

Ajouter de la redondance pour corriger les erreurs

Cela peut sembler paradoxal.

Pour compresser les données, nous cherchons à supprimer la redondance inutile.

Pour protéger les données contre les erreurs, nous faisons parfois exactement l’inverse : nous ajoutons volontairement de la redondance.

Supposons que nous voulions transmettre un bit.

Au lieu d’envoyer 1, nous pourrions envoyer 111.

Si le récepteur reçoit 101, il peut supposer qu’une erreur s’est produite et que la valeur originale était probablement 1.

Cet exemple est extrêmement rudimentaire, mais il montre le principe.

Les codes correcteurs d’erreurs modernes utilisent des méthodes mathématiques bien plus efficaces pour détecter et parfois corriger des données altérées sans qu’il soit nécessaire de les retransmettre.

Les codes correcteurs d’erreurs sont partout

Cette idée est aujourd’hui omniprésente.

Les codes correcteurs d’erreurs interviennent dans :

• les communications par satellite ;
• les réseaux mobiles ;
• le Wi-Fi ;
• les supports de stockage ;
• les mémoires informatiques ;
• les transmissions spatiales ;
• les QR codes ;
• de nombreux systèmes numériques.

Lorsqu’une sonde spatiale transmet des données depuis des millions ou des milliards de kilomètres, le signal reçu sur Terre peut être extrêmement faible et perturbé.

Pourtant, grâce au codage et à la correction d’erreurs, il est possible de reconstruire les informations avec une grande fiabilité.

Les travaux de Shannon ont fourni le cadre théorique montrant jusqu’où cette fiabilité pouvait être poussée.

Une théorie qui ne s’intéresse pas au sens

L’un des aspects les plus surprenants de la théorie de l’information est qu’elle ne cherche pas à mesurer la signification d’un message.

La phrase « La réunion commence à neuf heures » peut être extrêmement importante pour une personne et totalement inutile pour une autre.

La théorie de Shannon ne tente pas de quantifier cette importance.

Elle s’intéresse à la structure statistique du message, à la quantité d’information nécessaire pour le représenter et aux conditions permettant de le transmettre.

Deux messages ayant des significations radicalement différentes peuvent ainsi transporter la même quantité d’information au sens de Shannon.

Cette abstraction est précisément ce qui rend la théorie applicable à des domaines aussi variés.

De la théorie aux réseaux numériques

Lorsqu’un smartphone envoie une photo, plusieurs problèmes relevant directement ou indirectement de la théorie de l’information apparaissent.

L’image peut d’abord être compressée afin de réduire la quantité de données.

Les informations sont ensuite représentées sous une forme adaptée au système de communication.

Des mécanismes de détection ou de correction d’erreurs peuvent être ajoutés.

Les données traversent ensuite un réseau soumis à différentes contraintes physiques.

À l’arrivée, elles sont décodées et éventuellement décompressées.

L’utilisateur ne voit qu’une photo apparaître sur son écran.

Derrière cette opération banale se trouvent pourtant plusieurs décennies de recherche sur la représentation, la compression, la transmission et la fiabilité de l’information.

Stocker de l’information, c’est aussi la transmettre dans le temps

La théorie ne concerne pas uniquement les communications entre deux lieux.

Un support de stockage peut être considéré comme un canal qui transmet de l’information dans le temps.

Lorsque nous enregistrons un fichier aujourd’hui pour le relire demain, un signal est encodé sur un support puis récupéré plus tard.

Les supports physiques ne sont jamais parfaits.

Des erreurs peuvent apparaître dans les mémoires, les disques ou les systèmes de transmission.

Les mêmes principes de détection et de correction d’erreurs peuvent donc être utilisés pour améliorer la fiabilité du stockage.

Communication et stockage sont ainsi deux facettes d’un même problème : préserver l’information malgré les imperfections du monde physique.

Information, probabilités et intelligence artificielle

Les concepts issus de la théorie de l’information apparaissent également dans l’apprentissage automatique et l’intelligence artificielle.

L’entropie est utilisée pour mesurer l’incertitude d’une distribution de probabilités.

L’entropie croisée (cross-entropy) est une fonction très courante pour entraîner des modèles de classification et des réseaux de neurones.

D’autres notions, comme l’information mutuelle, permettent d’étudier les dépendances entre variables.

Il faut cependant éviter un raccourci : Shannon n’a évidemment pas conçu sa théorie pour les modèles d’intelligence artificielle actuels.

Ce sont les outils mathématiques qu’il a contribué à établir qui se sont révélés suffisamment généraux pour être réutilisés dans de nombreux domaines des décennies plus tard.

Une influence qui dépasse l’informatique

La théorie de l’information a également influencé ou inspiré des travaux en :

• statistiques ;
• biologie ;
• neurosciences ;
• linguistique ;
• physique ;
• cryptographie ;
• théorie des systèmes ;
• apprentissage automatique.

Le mot « information » peut cependant avoir des significations différentes selon les disciplines.

L’information au sens de Shannon possède une définition mathématique précise. Elle ne doit pas être confondue automatiquement avec la connaissance, la vérité, le sens ou la valeur d’un message.

Cette distinction est essentielle pour éviter de faire dire à la théorie plus qu’elle ne dit réellement.

Pourquoi la théorie de l’information reste-t-elle fondamentale ?

Le monde numérique repose sur une quantité gigantesque de données.

Nous produisons, compressons, stockons, transmettons et recopions continuellement de l’information.

À chaque étape reviennent les mêmes questions :

• combien de données sont réellement nécessaires ?
• quelles parties sont prévisibles ou redondantes ?
• quelle quantité peut traverser un canal ?
• comment détecter une erreur ?
• comment reconstruire une information altérée ?
• jusqu’où peut-on compresser sans perdre de données ?

La théorie de l’information fournit un langage mathématique permettant de poser ces questions avec précision.

Elle ne décrit pas seulement les technologies des années 1940.

Elle fixe des limites fondamentales auxquelles les technologies modernes restent soumises.

À retenir

La grande contribution de Claude Shannon n’a pas été d’inventer un nouveau moyen de communication particulier.

Elle a été de montrer que l’information elle-même pouvait être mesurée et étudiée mathématiquement.

Quelques idées essentielles résument cette révolution :

• le bit permet de mesurer une quantité d’information ;
• l’entropie mesure l’incertitude moyenne d’une source ;
• la redondance rend possible la compression ;
• il existe une limite théorique à la compression sans perte ;
• un canal bruité possède une capacité maximale ;
• un codage adapté permet de transmettre des données avec une très grande fiabilité même en présence de bruit ;
• la redondance volontaire permet de détecter et corriger des erreurs.

Derrière un fichier ZIP, une connexion Wi-Fi, une photo envoyée depuis un smartphone ou des données reçues d’une sonde spatiale se trouvent encore les questions formulées par Shannon il y a plus de soixante-dix ans.

La théorie de l’information est ainsi devenue l’une des bases mathématiques de notre monde numérique.

Questions fréquentes

Qu’est-ce que la théorie de l’information ?

La théorie de l’information est un domaine mathématique qui étudie la mesure, la représentation, la compression et la transmission de l’information. Elle a été fondée comme discipline moderne par Claude Shannon avec son article de 1948 A Mathematical Theory of Communication.

Qu’est-ce qu’un bit en théorie de l’information ?

Un bit est une unité de quantité d’information. Dans le cas de deux possibilités équiprobables, apprendre laquelle s’est produite apporte un bit d’information.

Qu’est-ce que l’entropie de Shannon ?

L’entropie mesure l’incertitude moyenne associée aux résultats possibles d’une source. Plus les résultats sont difficiles à prévoir, plus l’entropie est élevée.

Pourquoi ne peut-on pas compresser indéfiniment un fichier sans perte ?

Parce qu’une source possède une quantité minimale moyenne d’information nécessaire pour représenter ses messages. Le théorème de codage de source de Shannon établit une limite théorique à la compression sans perte.

Peut-on transmettre des données sans erreur sur un canal bruité ?

Un canal réel peut produire des erreurs, mais Shannon a montré qu’en restant sous sa capacité et en utilisant des codes appropriés, on peut rendre la probabilité d’erreur arbitrairement faible.

Quel rapport existe-t-il entre la théorie de l’information et l’intelligence artificielle ?

Des notions comme l’entropie, l’entropie croisée et l’information mutuelle sont utilisées en apprentissage automatique. La théorie de Shannon n’a pas été créée pour l’IA moderne, mais ses outils mathématiques sont suffisamment généraux pour y être très utiles.