La teoría de la información es uno de los fundamentos invisibles del
mundo digital. Permite responder a preguntas que parecen sencillas, pero
que durante mucho tiempo fueron difíciles de formular matemáticamente:
¿cuánta información contiene un mensaje? ¿Hasta qué punto puede
comprimirse? ¿A qué velocidad puede transmitirse de forma fiable a
través de un canal con ruido?
En 1948, el matemático e ingeniero estadounidense Claude
Shannon proporcionó un marco
revolucionario en su artículo A Mathematical Theory of Communication.
Su objetivo no era comprender el significado de un mensaje, sino medir
la información que transporta y estudiar los límites físicos y
matemáticos de su transmisión.
Este enfoque dio origen a la teoría de la información.
Hoy sus conceptos están presentes en todas partes: archivos comprimidos,
telecomunicaciones, Wi-Fi, redes móviles, almacenamiento digital,
códigos correctores de errores, criptografía, tratamiento de datos y
numerosas técnicas utilizadas en inteligencia artificial.
Antes de Shannon: transmitir mensajes de forma fiable
La comunicación a distancia existía mucho antes que la informática.
El telégrafo, el teléfono y la radio ya planteaban cuestiones técnicas
esenciales: ¿cómo transmitir una señal con la mayor fidelidad posible?
¿Cómo utilizar eficazmente una línea de comunicación? ¿Cómo distinguir
un mensaje útil del ruido que lo altera?
Los ingenieros sabían mejorar los equipos, amplificar las señales y
reducir las interferencias. Sin embargo, todavía faltaba una teoría
general capaz de describir matemáticamente qué es la información y
cuáles son los límites de un sistema de comunicación.
Claude Shannon trabajó durante la década de 1940 en los Bell Telephone
Laboratories, donde estas cuestiones tenían una importancia especial.
Su idea decisiva consistió en separar dos problemas que es fácil
confundir:
lo que significa un mensaje;
la cantidad de información necesaria para representarlo y
transmitirlo.
Para un ingeniero encargado de transmitir una secuencia de símbolos, el
significado filosófico o emocional del mensaje no es necesario para
determinar la capacidad del canal.
Esta separación permitió convertir la comunicación en un problema
matemático.
El modelo general de un sistema de comunicación
Shannon representó la comunicación mediante un modelo
extraordinariamente sencillo.
Una fuente de información produce un mensaje.
Un transmisor transforma ese mensaje en una señal adecuada para el
canal utilizado.
A continuación, la señal atraviesa un canal de comunicación.
Durante el trayecto, el ruido puede perturbar la señal.
Un receptor intenta entonces reconstruir el mensaje antes de
entregarlo a su destino.
Este modelo puede aplicarse a situaciones muy diferentes:
una conversación telefónica;
un mensaje enviado por radio;
datos transmitidos mediante fibra óptica;
un paquete que circula por una red informática;
un archivo leído desde un soporte de almacenamiento.
Una de las grandes aportaciones de Shannon fue demostrar que todos estos
sistemas podían estudiarse dentro de un mismo marco matemático.
El bit: una unidad para medir la información
Para medir la información, Shannon utilizó una unidad que se volvió
universal: el bit.
Un bit representa una elección entre dos posibilidades.
En el caso más sencillo, esas posibilidades se escriben como 0 y 1.
Pero un bit no es únicamente un dígito binario almacenado en un
ordenador. De forma más fundamental, representa una cantidad de
información suficiente para distinguir entre dos posibilidades
igualmente probables.
Imaginemos una moneda perfectamente equilibrada.
Antes de lanzarla existen dos resultados posibles: cara o cruz.
Conocer el resultado aporta un bit de información.
Si necesitamos identificar una posibilidad entre cuatro resultados
igualmente probables, bastan dos decisiones binarias: 00, 01, 10 y
11.
Por tanto, necesitamos dos bits.
Para ocho posibilidades, bastan tres bits.
Esta relación explica por qué el logaritmo en base 2 ocupa un lugar tan
importante en la teoría de la información.
El término bit, abreviatura de binary digit, había sido propuesto
por el estadístico John Tukey. Shannon contribuyó a convertirlo en la
unidad fundamental de su teoría.
No toda la información es igual de sorprendente
Un mensaje aporta más información cuanto más difícil era predecirlo.
Si alguien anuncia que el Sol saldrá mañana, aporta muy poca información
nueva porque el acontecimiento es prácticamente seguro.
En cambio, saber que ha ocurrido un acontecimiento muy improbable aporta
más información.
La teoría de Shannon formaliza esta intuición: cuanto menos probable
es un acontecimiento, más informativa es su aparición.
Esta idea es esencial para comprender la entropía.
La entropía: medir la incertidumbre
En teoría de la información, la entropía mide la incertidumbre media
asociada a una fuente de mensajes.
Si una fuente produce siempre exactamente el mismo símbolo, no existe
incertidumbre. Por tanto, su entropía es cero.
En cambio, si son posibles varios símbolos con probabilidades similares,
la incertidumbre aumenta y la entropía es mayor.
Para una variable aleatoria (X) que puede tomar diferentes valores con
probabilidades (p(x)), la entropía de Shannon se escribe:
[ H(X) = - \sum{=tex}_x p(x)\log{=tex}_2 p(x) ]
El resultado se expresa en bits cuando el logaritmo utiliza base 2.
La fórmula puede parecer abstracta, pero su intuición es sencilla: mide
cuánta información obtenemos de media cuando conocemos el resultado.
Un ejemplo sencillo con una moneda
Consideremos una moneda perfectamente equilibrada.
Cara y cruz tienen cada una una probabilidad del 50 %.
La incertidumbre es máxima para un experimento con dos resultados: antes
del lanzamiento, ninguno de ellos es más predecible que el otro.
La entropía es entonces de 1 bit.
Consideremos ahora una moneda muy desequilibrada que cae de cara el 99 %
de las veces.
El resultado es mucho más fácil de predecir, por lo que la entropía es
inferior a 1 bit.
Por último, si la moneda cae siempre de cara, ya no existe
incertidumbre: conocer el resultado no aporta ninguna información nueva.
La entropía es entonces cero.
Esta relación entre probabilidad, sorpresa e información es una de
las ideas más poderosas introducidas por Shannon.
¿Por qué pueden comprimirse los datos?
La teoría de la información también ayuda a explicar por qué es posible
la compresión.
Los datos reales suelen contener redundancia.
En un texto en español, por ejemplo, no todas las letras aparecen con la
misma frecuencia. Algunas secuencias son mucho más probables que otras.
Después de determinadas letras, el carácter siguiente también resulta
más fácil de predecir.
Un sistema de compresión puede aprovechar estas regularidades.
La idea general consiste en utilizar representaciones cortas para los
acontecimientos frecuentes y representaciones más largas para los poco
frecuentes.
Este es el principio que encontramos, por ejemplo, en la codificación
de Huffman.
Otros métodos utilizan modelos mucho más sofisticados, pero siguen
aprovechando, de una forma u otra, las estructuras y repeticiones
presentes en los datos.
Compresión sin pérdida y compresión con pérdida
Hay que distinguir dos grandes familias de compresión.
Compresión sin pérdida
Con la compresión sin pérdida, los datos originales pueden
reconstruirse exactamente.
Esto es indispensable para archivos como:
texto;
código fuente;
documentos;
datos estructurados;
determinados formatos de imagen.
ZIP, PNG y FLAC, por ejemplo, utilizan técnicas de compresión sin
pérdida.
Perder un carácter de un programa informático o modificar un valor de un
archivo de datos podría hacer que el resultado fuera inutilizable.
Compresión con pérdida
La compresión con pérdida, en cambio, elimina deliberadamente cierta
información para obtener archivos mucho más pequeños.
Se utiliza habitualmente para imágenes, audio y vídeo.
JPEG, MP3 y numerosos códecs de vídeo se basan en este enfoque.
El objetivo ya no es reconstruir exactamente la señal original, sino
conservar suficiente información para que la diferencia siga siendo
aceptable según el uso previsto.
La teoría de la información también ha desarrollado herramientas para
estudiar este equilibrio entre cantidad de datos y fidelidad de la
reconstrucción.
¿Existe un límite para la compresión?
Sí.
Es uno de los resultados fundamentales de Shannon.
Si una fuente posee una determinada entropía, existe un límite teórico
para la compresión media que puede alcanzarse sin perder
información.
En otras palabras, ningún algoritmo mágico puede comprimir
indefinidamente cualquier archivo garantizando al mismo tiempo su
reconstrucción perfecta.
Los datos con mucha redundancia pueden comprimirse enormemente.
Otros datos, que ya están cerca de una representación eficiente o son
esencialmente impredecibles, se comprimen muy poco.
Por eso, volver a comprimir un archivo ZIP, JPEG o MP4 ya optimizado
suele aportar muy poco beneficio e incluso puede generar un archivo
ligeramente mayor debido a la información adicional necesaria para el
nuevo formato.
La teoría de Shannon no indica necesariamente qué algoritmo de
compresión debemos utilizar. Sobre todo nos dice dónde se encuentra el
límite que los algoritmos no pueden superar de media.
El ruido: cuando el mensaje se altera
La transmisión de datos se enfrenta a otro problema: el ruido.
En un sistema real, una señal puede verse perturbada por numerosos
factores:
interferencias electromagnéticas;
imperfecciones del hardware;
atenuación;
interferencias de radio;
errores de lectura o escritura;
fenómenos físicos aleatorios.
Un bit enviado como 1 puede, por tanto, recibirse como 0.
Podríamos pensar que una comunicación perfectamente fiable exige un
canal completamente libre de ruido.
Shannon demostró algo mucho más interesante.
La información puede transmitirse con una fiabilidad arbitrariamente
alta a través de un canal con ruido, siempre que la velocidad de
transmisión permanezca por debajo de cierto límite y se utilice una
codificación adecuada.
Este es uno de los resultados más importantes de toda la teoría de la
información.
La capacidad de un canal
Todo canal posee una cantidad máxima de información que puede transmitir
de forma fiable.
Este límite se denomina capacidad del canal.
Depende, entre otros factores, de las características del canal y del
nivel de ruido.
Para un canal de comunicación afectado por ruido gaussiano, la famosa
fórmula de Shannon-Hartley relaciona la capacidad (C), el ancho de banda
(B) y la relación señal-ruido:
[ C = B \log{=tex}_2(1 + S/N) ]
Esta ecuación establece un límite teórico.
Aumentar el ancho de banda puede incrementar la capacidad.
Mejorar la relación entre la potencia de la señal y la del ruido también
puede aumentarla.
Pero siempre existe un límite físico para la velocidad de transmisión
fiable que el canal puede soportar en unas condiciones determinadas.
Los ingenieros pueden diseñar sistemas que se acerquen a ese límite,
pero no pueden simplemente ignorarlo.
Añadir redundancia para corregir errores
Puede parecer paradójico.
Al comprimir datos intentamos eliminar la redundancia innecesaria.
Al proteger los datos frente a errores, a veces hacemos exactamente lo
contrario: añadimos redundancia deliberadamente.
Supongamos que queremos transmitir un bit.
En lugar de enviar 1, podríamos enviar 111.
Si el receptor recibe 101, puede deducir que probablemente se ha
producido un error y que el valor original era 1.
Este ejemplo es extremadamente rudimentario, pero muestra el principio.
Los códigos correctores de errores modernos utilizan técnicas
matemáticas mucho más eficientes para detectar y, en ocasiones, corregir
datos alterados sin necesidad de retransmitirlos.
Los códigos correctores de errores están en todas partes
Esta idea es hoy omnipresente.
Los códigos correctores de errores se utilizan en:
comunicaciones por satélite;
redes móviles;
Wi-Fi;
soportes de almacenamiento;
memorias informáticas;
comunicaciones espaciales;
códigos QR;
muchos otros sistemas digitales.
Cuando una sonda espacial transmite datos desde millones o miles de
millones de kilómetros de distancia, la señal recibida en la Tierra
puede ser extremadamente débil y estar llena de ruido.
Sin embargo, la codificación y la corrección de errores permiten
reconstruir la información con una fiabilidad extraordinaria.
Los trabajos de Shannon proporcionaron el marco teórico que mostró hasta
dónde podía llevarse esa fiabilidad.
Una teoría que no se ocupa del significado
Uno de los aspectos más sorprendentes de la teoría de la información es
que no intenta medir el significado de un mensaje.
La frase «La reunión empieza a las nueve» puede ser extremadamente
importante para una persona y completamente irrelevante para otra.
La teoría de Shannon no intenta cuantificar esa importancia.
Estudia la estructura estadística del mensaje, la cantidad de
información necesaria para representarlo y las condiciones en las que
puede transmitirse.
Dos mensajes con significados radicalmente distintos pueden, por tanto,
transportar la misma cantidad de información en el sentido de Shannon.
Esta abstracción es precisamente lo que hace que la teoría pueda
aplicarse a ámbitos tan diversos.
De la teoría a las redes digitales
Cuando un smartphone envía una fotografía aparecen varios problemas
relacionados directa o indirectamente con la teoría de la información.
En primer lugar, la imagen puede comprimirse para reducir la cantidad de
datos.
Después, la información se representa de una forma adecuada para el
sistema de comunicación.
Pueden añadirse mecanismos de detección o corrección de errores.
A continuación, los datos atraviesan una red sometida a diferentes
restricciones físicas.
En el destino, se decodifican y, si es necesario, se descomprimen.
El usuario solo ve aparecer una fotografía en la pantalla.
Sin embargo, detrás de esta operación cotidiana se encuentran décadas de
investigación sobre la representación, compresión, transmisión y
fiabilidad de la información.
Almacenar información también significa transmitirla a través del tiempo
La teoría de la información no se ocupa únicamente de la comunicación
entre dos lugares.
Un soporte de almacenamiento puede considerarse un canal que transmite
información a través del tiempo.
Cuando guardamos hoy un archivo para leerlo mañana, una señal se
codifica en un soporte y se recupera más tarde.
Los soportes físicos nunca son perfectos.
Pueden producirse errores en memorias, discos o sistemas de transmisión.
Por ello, los mismos principios de detección y corrección de errores
pueden utilizarse para mejorar la fiabilidad del almacenamiento.
Comunicación y almacenamiento son así dos caras del mismo problema:
preservar la información a pesar de las imperfecciones del mundo
físico.
Información, probabilidad e inteligencia artificial
Los conceptos procedentes de la teoría de la información también
aparecen en el aprendizaje automático y la inteligencia artificial.
La entropía se utiliza para medir la incertidumbre de una
distribución de probabilidad.
La entropía cruzada (cross-entropy) es una función muy habitual
para entrenar modelos de clasificación y redes neuronales.
Otros conceptos, como la información mutua, permiten estudiar las
dependencias entre variables.
Sin embargo, conviene evitar un atajo: Shannon no desarrolló su teoría
pensando en los modelos actuales de inteligencia artificial.
Lo que ocurrió es que las herramientas matemáticas que ayudó a
establecer resultaron lo suficientemente generales como para
reutilizarse en numerosos campos décadas después.
Una influencia que va más allá de la informática
La teoría de la información también ha influido o inspirado trabajos en:
estadística;
biología;
neurociencia;
lingüística;
física;
criptografía;
teoría de sistemas;
aprendizaje automático.
Sin embargo, la palabra «información» puede tener significados
diferentes según la disciplina.
La información en el sentido de Shannon posee una definición matemática
precisa. No debe confundirse automáticamente con el conocimiento, la
verdad, el significado o el valor de un mensaje.
Esta distinción es esencial para evitar atribuir a la teoría
afirmaciones que en realidad no hace.
¿Por qué sigue siendo fundamental la teoría de la información?
El mundo digital depende de cantidades gigantescas de datos.
Producimos, comprimimos, almacenamos, transmitimos y copiamos
información continuamente.
En cada etapa vuelven a aparecer las mismas preguntas:
¿cuántos datos son realmente necesarios?
¿qué partes son predecibles o redundantes?
¿cuánta información puede atravesar un canal?
¿cómo puede detectarse un error?
¿cómo puede reconstruirse información dañada?
¿hasta qué punto pueden comprimirse los datos sin pérdida?
La teoría de la información proporciona un lenguaje matemático para
formular estas preguntas con precisión.
No se limita a describir las tecnologías de la década de 1940.
Establece límites fundamentales que las tecnologías modernas siguen
teniendo que respetar.
Lo esencial
La gran contribución de Claude Shannon no fue inventar un nuevo método
concreto de comunicación.
Fue demostrar que la propia información podía medirse y estudiarse
matemáticamente.
Algunas ideas esenciales resumen esta revolución:
el bit permite medir una cantidad de información;
la entropía mide la incertidumbre media de una fuente;
la redundancia hace posible la compresión;
existe un límite teórico para la compresión sin pérdida;
un canal con ruido posee una capacidad máxima;
una codificación adecuada permite transmitir datos con una
fiabilidad extremadamente alta incluso en presencia de ruido;
la redundancia deliberada permite detectar y corregir errores.
Detrás de un archivo ZIP, una conexión Wi-Fi, una fotografía enviada
desde un smartphone o los datos recibidos de una sonda espacial siguen
estando las preguntas que Shannon formuló hace más de setenta años.
La teoría de la información se ha convertido así en uno de los
fundamentos matemáticos de nuestro mundo digital.
Preguntas frecuentes
¿Qué es la teoría de la información?
La teoría de la información es un campo matemático que estudia la
medición, representación, compresión y transmisión de la información.
Claude Shannon la estableció como disciplina moderna con su artículo de
1948 A Mathematical Theory of Communication.
¿Qué es un bit en teoría de la información?
Un bit es una unidad de información. Cuando existen dos posibilidades
igualmente probables, conocer cuál de ellas se ha producido aporta un
bit de información.
¿Qué es la entropía de Shannon?
La entropía mide la incertidumbre media asociada a los posibles
resultados de una fuente. Cuanto más difíciles sean de predecir los
resultados, mayor será la entropía.
¿Por qué no puede comprimirse un archivo indefinidamente sin pérdida?
Porque una fuente posee una cantidad mínima media de información
necesaria para representar sus mensajes. El teorema de codificación de
fuente de Shannon establece un límite teórico para la compresión sin
pérdida.
¿Pueden transmitirse datos sin errores a través de un canal con ruido?
Un canal real puede introducir errores, pero Shannon demostró que, si la
velocidad de transmisión se mantiene por debajo de la capacidad del
canal y se utilizan códigos adecuados, la probabilidad de error puede
hacerse arbitrariamente pequeña.
¿Qué relación existe entre la teoría de la información y la inteligencia artificial?
Conceptos como la entropía, la entropía cruzada y la información mutua
se utilizan en aprendizaje automático. La teoría de Shannon no fue
creada para la IA moderna, pero sus herramientas matemáticas son lo
bastante generales como para resultar muy útiles en este campo.
Descubre el trabajo de Alan Turing sobre la computabilidad, su papel en Bletchley Park, sus diseños de ordenadores y su contribución fundacional a la inteligencia artificial.
