Claude Elwood Shannon es considerado el padre de la teoría de la información. Sus trabajos dieron a las telecomunicaciones, la informática, la compresión y la codificación un lenguaje matemático común.
De los circuitos a la lógica
Nacido en Michigan en 1916, estudió ingeniería eléctrica y matemáticas. En el MIT demostró que los circuitos de relés podían describirse mediante álgebra de Boole.
La idea permitió diseñar circuitos de forma sistemática y se convirtió en una base de la lógica digital.
Bell Labs y la comunicación
En Bell Labs se preguntó cómo transmitir mensajes por canales ruidosos y limitados. Shannon separó el significado de un mensaje de su estructura medible.
En 1948 publicó “A Mathematical Theory of Communication”. El artículo situó el bit en el centro e introdujo la entropía como medida de incertidumbre.
Medir la información
Un mensaje aporta más información cuanto menos previsible era. Un acontecimiento seguro aporta poco; uno improbable aporta más.
La teoría no juzga el valor del mensaje. Mide cuánta información hace falta para representarlo y transmitirlo.
Compresión, ruido y capacidad
Shannon estableció límites para la compresión sin pérdida y para la transmisión fiable a través de canales con ruido. Sus teoremas definieron lo que era posible antes de que existieran muchos de los algoritmos actuales.