A teoria da informação é uma das fundações invisíveis do mundo digital. Responde a perguntas aparentemente simples, mas durante muito tempo difíceis de formular matematicamente: quanta informação contém uma mensagem? Até que ponto pode ser comprimida? A que velocidade pode ser transmitida de forma fiável através de um canal com ruído?
Em 1948, o matemático e engenheiro norte-americano Claude Shannon apresentou um quadro revolucionário em A Mathematical Theory of Communication. O objetivo não era compreender o significado da mensagem, mas medir a informação que transporta e estudar os limites físicos e matemáticos da transmissão.
Antes de Shannon: transmitir mensagens com fiabilidade
Telégrafo, telefone e rádio já tinham levantado questões essenciais: como transmitir um sinal fielmente? Como utilizar uma linha de comunicação de forma eficiente? Como distinguir a mensagem útil do ruído que a altera?
Shannon trabalhava nos Bell Telephone Laboratories durante a década de 1940. A sua ideia decisiva foi separar dois problemas: o que uma mensagem significa e quanta informação é necessária para a representar e transmitir. Esta separação transformou a comunicação num problema matemático.
O modelo geral de comunicação
Uma fonte de informação produz uma mensagem. Um transmissor transforma-a num sinal adequado ao canal. O sinal atravessa um canal de comunicação, onde o ruído pode perturbá-lo. Um recetor tenta depois reconstruir a mensagem.
O mesmo modelo aplica-se a uma chamada telefónica, rádio, fibra ótica, pacotes numa rede ou dados lidos de um suporte de armazenamento.
O bit: medir informação
Shannon utilizou uma unidade que se tornou universal: o bit. Um bit representa uma escolha entre duas possibilidades, frequentemente escritas como 0 e 1.
Mais profundamente, representa a quantidade de informação necessária para distinguir entre duas possibilidades equiprováveis. O resultado do lançamento de uma moeda equilibrada fornece um bit. Quatro possibilidades equiprováveis requerem dois bits; oito requerem três.
É por isso que o logaritmo de base 2 tem um papel central na teoria.
Informação e surpresa
Uma mensagem contém mais informação quando era mais difícil de prever. Um acontecimento quase certo fornece pouca informação nova; um acontecimento muito improvável fornece mais.
A teoria formaliza esta intuição: quanto menos provável é um acontecimento, mais informativa é a sua ocorrência.
Entropia: medir a incerteza
A entropia mede a incerteza média associada a uma fonte. Se a fonte produz sempre o mesmo símbolo, a entropia é zero. Se vários símbolos têm probabilidades semelhantes, a incerteza aumenta.
Para uma variável aleatória X com probabilidades p(x), a entropia de Shannon é:
H(X) = - Σ p(x) log₂ p(x)
Com logaritmo de base 2, o resultado é expresso em bits. Intuitivamente, mede quanta informação obtemos em média quando conhecemos o resultado.
Uma moeda equilibrada tem entropia de 1 bit. Uma moeda que dá cara 99% das vezes tem menos de um bit; se der sempre cara, a entropia é zero.
Porque é possível comprimir dados?
Dados reais contêm frequentemente redundância. Num texto, caracteres e sequências não aparecem com a mesma frequência. Um sistema de compressão explora essas regularidades, usando representações curtas para acontecimentos frequentes e mais longas para acontecimentos raros.
É o princípio de técnicas como a codificação de Huffman. Métodos mais sofisticados continuam, de uma forma ou de outra, a explorar estrutura, repetição e previsibilidade.
Compressão sem perdas e com perdas
Na compressão sem perdas, os dados originais podem ser reconstruídos exatamente. Isto é essencial para texto, código-fonte, documentos e dados estruturados. ZIP, PNG e FLAC usam técnicas sem perdas.
A compressão com perdas elimina deliberadamente alguma informação para produzir ficheiros muito menores. JPEG, MP3 e muitos codecs de vídeo seguem esta abordagem, preservando qualidade suficiente para o uso pretendido.
Existe um limite para a compressão?
Sim. Se uma fonte tem determinada entropia, existe um limite teórico à compressão média possível sem perder informação.
Nenhum algoritmo mágico pode comprimir indefinidamente todos os ficheiros garantindo reconstrução perfeita. Dados redundantes podem ser muito comprimidos; dados já eficientes ou essencialmente imprevisíveis, muito pouco.
A teoria de Shannon não indica necessariamente qual algoritmo utilizar. Indica o limite que os algoritmos não podem ultrapassar em média.
Ruído: quando a mensagem é perturbada
Num sistema real, interferência eletromagnética, imperfeições de hardware, atenuação ou fenómenos físicos aleatórios podem alterar um sinal. Um 1 enviado pode chegar como 0.
Shannon demonstrou algo fundamental: a informação pode ser transmitida com fiabilidade arbitrariamente elevada através de um canal com ruído, desde que a taxa de transmissão permaneça abaixo de determinado limite e seja utilizada uma codificação adequada.
Capacidade do canal
Cada canal possui uma quantidade máxima de informação que consegue transmitir de forma fiável: a capacidade do canal.
Para um canal afetado por ruído gaussiano, a fórmula de Shannon-Hartley relaciona capacidade C, largura de banda B e relação sinal-ruído:
C = B log₂(1 + S/N)
Aumentar a largura de banda ou melhorar a relação sinal-ruído pode aumentar a capacidade, mas existe sempre um limite físico nas condições dadas.
Adicionar redundância para corrigir erros
Na compressão tentamos remover redundância. Para proteger dados fazemos, por vezes, o contrário: adicionamos deliberadamente redundância.
Em vez de enviar 1, poderíamos enviar 111. Se o recetor receber 101, pode inferir que o valor original era provavelmente 1. Os modernos códigos de correção de erros são muito mais eficientes, mas seguem o mesmo princípio.
São usados em comunicações por satélite, redes móveis, Wi-Fi, suportes de armazenamento, memória, comunicações espaciais e códigos QR.
Uma teoria que não mede o significado
A teoria da informação não tenta medir o significado ou a importância de uma mensagem. Duas mensagens com significados radicalmente diferentes podem transportar a mesma quantidade de informação no sentido de Shannon.
A teoria estuda estrutura estatística, quantidade necessária para representação e condições de transmissão. Esta abstração é precisamente o que a torna aplicável a tantos domínios.
Da teoria às redes digitais
Quando um smartphone envia uma fotografia, a imagem pode ser comprimida, codificada para o sistema de comunicação, protegida com deteção ou correção de erros, transmitida através de um canal sujeito a limites físicos, descodificada e descomprimida.
Por detrás de uma operação quotidiana existem décadas de investigação sobre representação, compressão, transmissão e fiabilidade da informação.
Armazenar também é transmitir através do tempo
Um suporte de armazenamento pode ser visto como um canal que transmite informação através do tempo. Um ficheiro guardado hoje é codificado fisicamente e recuperado mais tarde.
Como os suportes não são perfeitos, os mesmos princípios de deteção e correção de erros melhoram a fiabilidade do armazenamento. Comunicação e armazenamento são duas faces do mesmo problema: preservar informação apesar das imperfeições do mundo físico.
Informação, probabilidade e inteligência artificial
Conceitos da teoria da informação aparecem também na aprendizagem automática. A entropia mede a incerteza de uma distribuição de probabilidade; a entropia cruzada é muito utilizada no treino de classificadores e redes neuronais; a informação mútua ajuda a estudar dependências entre variáveis.
Shannon não desenvolveu a sua teoria para a IA moderna. As ferramentas matemáticas revelaram-se simplesmente suficientemente gerais para serem reutilizadas décadas mais tarde.
Uma influência para além da informática
A teoria da informação influenciou estatística, biologia, neurociência, linguística, física, criptografia, teoria de sistemas e aprendizagem automática.
Informação no sentido de Shannon tem, porém, uma definição matemática precisa e não deve ser confundida automaticamente com conhecimento, verdade, significado ou valor de uma mensagem.
Porque continua fundamental?
O mundo digital produz, comprime, armazena, transmite e copia enormes quantidades de dados. As mesmas perguntas regressam: quantos dados são realmente necessários? Que partes são previsíveis ou redundantes? Quanta informação pode atravessar um canal? Como detetar e corrigir erros? Até onde é possível comprimir sem perdas?
A teoria de Shannon fornece não apenas técnicas, mas limites matemáticos pelos quais os sistemas reais podem ser avaliados.
Perguntas frequentes
Quem fundou a teoria da informação?
Claude Shannon estabeleceu em 1948, com A Mathematical Theory of Communication, o quadro matemático fundamental da moderna teoria da informação.
O que é um bit na teoria da informação?
É a quantidade de informação necessária para distinguir entre duas possibilidades equiprováveis.
O que é entropia?
É uma medida da incerteza média de uma fonte e, portanto, da quantidade média de informação fornecida pelos seus resultados.
Porque é a entropia importante para a compressão?
Estabelece um limite teórico para a representação média sem perdas dos dados produzidos por uma fonte.
O que é a capacidade do canal?
É a taxa máxima de informação que pode ser transmitida com fiabilidade arbitrariamente elevada através de um canal nas condições dadas.
Porque adiciona a correção de erros redundância?
A informação estruturada adicional permite ao recetor detetar e, em alguns casos, corrigir dados alterados sem pedir uma nova transmissão.
Descubra Alan Turing, o seu trabalho sobre computabilidade, o papel em Bletchley Park, os projetos de computadores e o contributo fundador para a inteligência artificial.
Compreenda a máquina de Turing, a sua fita, estados, cabeça de leitura e escrita e o seu papel na definição dos algoritmos e dos limites da computação.
