Claude Elwood Shannon est souvent présenté comme le père de la théorie
de l’information. Ses travaux ont
fourni un langage mathématique commun aux télécommunications, à
l’informatique, à la compression et au codage des données.
Des circuits à la logique
Né en 1916 dans le Michigan, Shannon étudie l’ingénierie électrique et
les mathématiques. Au MIT, son mémoire de master montre que les relais
et interrupteurs électriques peuvent être décrits à l’aide de l’algèbre
de Boole.
Cette idée paraît aujourd’hui naturelle : un circuit peut représenter
des valeurs vraies ou fausses, puis les combiner avec des opérations
logiques. À l’époque, elle fournit une méthode systématique pour
concevoir des circuits de commande et prépare le terrain du calcul
numérique.
Bell Labs et la question de la communication
Shannon rejoint les Bell Labs, où les ingénieurs cherchent à transmettre
des messages malgré le bruit et les limites physiques des canaux. Il
comprend qu’il faut séparer le sens d’un message de sa structure
mesurable.
En 1948, il publie « A Mathematical Theory of Communication ». L’article
définit une unité élémentaire, le bit, et introduit une mesure de
l’incertitude appelée entropie.
L’idée la plus révolutionnaire de Shannon consiste à séparer
complètement la quantité d’information de la signification d’un
message.
Intuitivement, nous avons tendance à penser qu’un message important
contient plus d’information qu’un message banal. Pourtant, pour un
système de communication, ce qui importe n’est pas son intérêt mais sa
prévisibilité.
Prenons un exemple simple.
Si un site météo annonçait chaque jour qu’il fera beau pendant tout
l’été, cette information finirait par ne plus surprendre personne. En
revanche, annoncer une tempête exceptionnelle après plusieurs semaines
de beau temps représente un événement beaucoup moins prévisible et donc
plus riche en information.
Shannon traduit cette intuition par une mesure mathématique appelée
entropie. Plus un message est difficile à prévoir, plus son entropie
est élevée et plus il transporte d’information.
Cette approche présente un avantage considérable : elle fonctionne
indépendamment de la langue utilisée ou du contenu du message. Qu’il
s’agisse d’un texte, d’une image, d’un morceau de musique ou d’un signal
radio, tous peuvent être décrits par les mêmes outils mathématiques.
Cette vision abstraite permit enfin de comparer des systèmes de
communication très différents et de raisonner sur leurs performances
avec une rigueur scientifique.
Elle constitue encore aujourd’hui la base de la compression de données,
de la cryptographie moderne, des réseaux informatiques et des systèmes
de transmission numérique.
Autrement dit, chaque fois qu’un ordinateur décide quelles données
peuvent être compressées, qu’un smartphone reçoit un message ou qu’un
serveur transmet une vidéo, il applique des principes directement issus
des travaux de Claude Shannon.
Compression, bruit et capacité
Les travaux de Shannon ne se limitent pas à mesurer l’information. Ils
répondent également à deux questions fondamentales auxquelles les
ingénieurs étaient confrontés depuis les débuts des télécommunications.
La première est simple en apparence : jusqu’où peut-on compresser un
message sans perdre d’information ?
Avant Shannon, il existait de nombreuses techniques empiriques
permettant de réduire la taille des données, mais personne ne savait
s’il existait une limite théorique. Son premier grand théorème démontre
qu’une source d’information possède une limite de compression liée à son
entropie. En dessous de cette limite, il devient impossible de
reconstruire parfaitement le message d’origine.
Cette découverte ne fournit pas directement un algorithme de
compression, mais elle indique aux ingénieurs ce qu’il est possible
d’atteindre. Des décennies plus tard, les formats ZIP, PNG, FLAC ou
encore certaines méthodes de compression utilisées sur Internet
s’appuieront sur ces principes fondamentaux.
La seconde question est encore plus importante : comment transmettre
un message de manière fiable lorsqu’un canal de communication est
perturbé par du bruit ?
Tout système de transmission est imparfait. Une ligne téléphonique, une
liaison radio, une fibre optique ou une connexion Wi-Fi subissent des
perturbations susceptibles d’altérer les données échangées.
Avant les travaux de Shannon, on pensait généralement qu’il était
impossible d’éliminer complètement ces erreurs sans augmenter
indéfiniment la puissance du signal ou répéter plusieurs fois le même
message.
Shannon démontre qu’il existe une approche beaucoup plus élégante.
Chaque canal de communication possède une capacité maximale,
c’est-à-dire une quantité d’information qu’il peut transporter de
manière fiable pendant une durée donnée. Tant que le débit reste
inférieur à cette capacité, il est théoriquement possible de concevoir
des codes correcteurs capables de détecter et de corriger les erreurs
introduites par le bruit.
Ce résultat est considéré comme l’un des plus importants de toute
l’histoire des télécommunications.
Il explique pourquoi les communications numériques modernes peuvent
rester extrêmement fiables malgré les interférences permanentes de notre
environnement. Les réseaux mobiles, les satellites, les sondes
spatiales, les communications Wi-Fi, les connexions Internet haut débit
ou encore les systèmes GPS utilisent tous des techniques de codage
héritées, directement ou indirectement, de cette théorie.
Aujourd’hui encore, les chercheurs développent de nouveaux codes
correcteurs d’erreurs pour améliorer les performances des réseaux 5G,
des futures infrastructures 6G, des communications spatiales et même des
ordinateurs quantiques. Tous poursuivent un objectif défini par Shannon
dès 1948 : transmettre le maximum d’information avec le minimum
d’erreurs.
Cette capacité à fixer des limites théoriques, plutôt qu’à proposer
simplement une solution technique, explique pourquoi les travaux de
Claude Shannon demeurent aussi influents plus de soixante-quinze ans
après leur publication.
Un inventeur joueur
Shannon aimait les machines insolites, les jeux, les labyrinthes, la
jonglerie et le monocycle. Il construisit notamment des automates et une
souris mécanique capable d’apprendre un parcours simple.
Cette curiosité illustre sa manière de travailler : transformer des
questions abstraites en expériences concrètes.
Au-delà des télécommunications : un esprit créatif
Claude Shannon ne ressemblait pas à l’image traditionnelle du chercheur
enfermé dans son laboratoire. Ses collègues le décrivaient comme un
scientifique curieux, passionné par les casse-têtes, les jeux et les
expériences insolites.
Au fil de sa carrière, il construisit de nombreuses machines simplement
pour le plaisir d’explorer une idée. Il conçut par exemple une souris
mécanique capable d’apprendre seule à sortir d’un labyrinthe en
mémorisant le bon chemin. Cette invention est aujourd’hui considérée
comme l’un des premiers exemples d’apprentissage automatique, bien avant
l’apparition de l’intelligence artificielle moderne.
Shannon réalisa également une machine capable de résoudre le célèbre
casse-tête du Rubik’s Cube, développa des dispositifs de jonglage
mécanique et s’intéressa même aux stratégies mathématiques permettant de
gagner à certains jeux de hasard. Ces projets n’avaient pas toujours une
application immédiate, mais ils illustraient sa manière d’aborder les
problèmes : comprendre les mécanismes fondamentaux avant de chercher une
application pratique.
Cette liberté intellectuelle explique en partie pourquoi ses travaux ont
eu une influence aussi durable. Plutôt que d’améliorer progressivement
les technologies existantes, Shannon cherchait à découvrir les principes
universels qui les gouvernaient.
Pourquoi Claude Shannon compte encore
Peu de scientifiques peuvent se vanter d’avoir autant influencé notre
quotidien sans être connus du grand public. Pourtant, chaque fois que
nous utilisons un smartphone, naviguons sur Internet ou regardons une
vidéo en streaming, nous profitons directement des concepts imaginés par
Claude Shannon.
Sa théorie de l’information a permis de transformer les communications
analogiques du XX<sup>{=html}e</sup>{=html} siècle en systèmes
numériques capables de transmettre d’immenses quantités de données avec
une fiabilité remarquable. Les ingénieurs savent désormais combien
d’informations un canal peut transporter, comment détecter les erreurs
et comment les corriger avant même que l’utilisateur ne s’en aperçoive.
Les techniques modernes de compression de données reposent également sur
les limites théoriques qu’il a établies. Sans elles, il serait
impossible de stocker efficacement des milliards de photos, de diffuser
des vidéos en haute définition ou de transporter des fichiers volumineux
sur Internet dans des délais raisonnables.
Son influence dépasse largement le domaine des télécommunications. Les
chercheurs en intelligence artificielle, en cybersécurité, en
informatique quantique ou en traitement automatique des langues
utilisent encore aujourd’hui des concepts directement issus de ses
travaux. Les notions d’entropie, d’information et d’incertitude
apparaissent désormais dans des disciplines aussi variées que la
biologie, l’économie, la physique statistique ou encore l’apprentissage
automatique.
L’une des plus grandes réussites de Shannon est d’avoir construit une
théorie suffisamment générale pour traverser les décennies. Alors que
les technologies évoluent sans cesse — des lignes téléphoniques aux
réseaux mobiles, des premiers ordinateurs aux centres de données
modernes — les principes mathématiques qu’il a établis restent
valables.
Son héritage se retrouve dans pratiquement tous les équipements
numériques : routeurs Internet, smartphones, satellites, systèmes GPS,
réseaux Wi-Fi, Bluetooth, stockage sur SSD, fibre optique, télévision
numérique, services de streaming ou plateformes de cloud computing.
En définissant ce qu’est réellement l’information et la manière dont
elle peut être transmise de façon optimale, Claude Shannon n’a pas
seulement résolu un problème scientifique. Il a fourni le langage commun
qui permet aujourd’hui à l’ensemble des technologies numériques de
communiquer entre elles.
Plus de soixante-quinze ans après la publication de A Mathematical
Theory of Communication, ses idées demeurent au cœur de l’informatique
moderne et continuent d’inspirer les chercheurs qui imaginent les
réseaux et les systèmes de demain.
Chronologie
- 1916 : naissance à Petoskey, Michigan.
- 1937 : mémoire sur les circuits à relais et l’algèbre de Boole.
- 1941 : arrivée aux Bell Labs.
- 1948 : publication de la théorie mathématique de la
communication.
- 1956 : professeur au MIT.
- 2001 : décès.
Questions fréquentes
Claude Shannon a-t-il inventé le bit ?
Le terme « bit » fut proposé par le mathématicien John Tukey, mais
Claude Shannon lui donna sa définition scientifique moderne en en
faisant l’unité fondamentale de mesure de l’information dans sa théorie
publiée en 1948.
Parce qu’il fut le premier à démontrer qu’il était possible de mesurer
mathématiquement l’information, indépendamment de sa signification.
Cette découverte permit de concevoir des systèmes de communication
beaucoup plus fiables et plus performants.
La théorie de Shannon est-elle encore utilisée aujourd’hui ?
Oui. Les réseaux Internet, le Wi-Fi, la téléphonie mobile, les
satellites, les systèmes GPS, les formats de compression et les codes
correcteurs d’erreurs reposent tous sur les principes établis par Claude
Shannon.
Son mémoire de master démontra que les circuits électriques pouvaient
être conçus à partir de l’algèbre de Boole. Cette idée est à l’origine
des circuits logiques utilisés dans tous les ordinateurs modernes.
Claude Shannon travaillait-il uniquement sur les télécommunications ?
Non. Il s’intéressa également à la cryptographie, à l’intelligence
artificielle naissante, aux jeux, aux automates, à la robotique et aux
probabilités. Sa curiosité scientifique dépassait largement le domaine
des communications.
Pour aller plus loin
- Découvrez également Alan Turing, pionnier de l’informatique
théorique.
- Comprenez comment John von Neumann a défini l’architecture des
ordinateurs modernes.
- Explorez la théorie de l’information et son impact sur les
réseaux numériques.
