Die Informationstheorie gehört zu den unsichtbaren Grundlagen der digitalen Welt. Sie beantwortet Fragen, die einfach klingen, aber lange schwer mathematisch zu formulieren waren: Wie viel Information enthält eine Nachricht? Wie stark lässt sie sich komprimieren? Wie schnell kann sie zuverlässig über einen verrauschten Kanal übertragen werden?
1948 schuf der amerikanische Mathematiker und Ingenieur Claude Shannon mit A Mathematical Theory of Communication einen revolutionären Rahmen. Ihn interessierte nicht die Bedeutung einer Nachricht, sondern die Informationsmenge und die physikalischen und mathematischen Grenzen ihrer Übertragung.
Vor Shannon: Nachrichten zuverlässig übertragen
Telegraf, Telefon und Radio hatten längst grundlegende technische Fragen aufgeworfen: Wie lässt sich ein Signal möglichst unverfälscht übertragen? Wie nutzt man eine Leitung effizient? Wie unterscheidet man eine nützliche Nachricht vom Rauschen?
Shannon arbeitete in den 1940er-Jahren bei den Bell Telephone Laboratories. Seine entscheidende Idee war, zwei Probleme zu trennen: was eine Nachricht bedeutet und wie viel Information zu ihrer Darstellung und Übertragung nötig ist. Dadurch wurde Kommunikation zu einem mathematischen Problem.
Das allgemeine Kommunikationsmodell
Shannon beschrieb Kommunikation mit einem einfachen Modell. Eine Informationsquelle erzeugt eine Nachricht. Ein Sender wandelt sie in ein für den Kanal geeignetes Signal um. Dieses durchläuft einen Kommunikationskanal, in dem Rauschen Störungen verursachen kann. Ein Empfänger versucht anschließend, die Nachricht zu rekonstruieren.
Das Modell gilt für Telefongespräche ebenso wie für Funk, Glasfaser, Netzwerkpakete oder Daten auf einem Speichermedium.
Das Bit: Information messen
Shannon verwendete eine universell gewordene Einheit: das Bit. Ein Bit repräsentiert eine Entscheidung zwischen zwei Möglichkeiten, im einfachsten Fall 0 und 1.
Grundlegender bedeutet ein Bit die Informationsmenge, die nötig ist, um zwischen zwei gleich wahrscheinlichen Möglichkeiten zu unterscheiden. Bei einer fairen Münze liefert das Ergebnis eines Wurfs ein Bit. Vier gleich wahrscheinliche Möglichkeiten benötigen zwei Bits, acht Möglichkeiten drei.
Darum spielt der Logarithmus zur Basis 2 in der Informationstheorie eine zentrale Rolle.
Überraschung und Information
Eine Nachricht enthält mehr Information, wenn sie schwerer vorherzusagen war. Ein nahezu sicheres Ereignis liefert wenig neue Information; ein sehr unwahrscheinliches Ereignis liefert mehr.
Shannons Theorie formalisiert diese Intuition: Je unwahrscheinlicher ein Ereignis, desto informativer ist sein Eintreten.
Entropie: Unsicherheit messen
Die Entropie misst die durchschnittliche Unsicherheit einer Informationsquelle. Erzeugt eine Quelle immer dasselbe Symbol, ist ihre Entropie null. Sind mehrere Symbole ähnlich wahrscheinlich, steigt die Unsicherheit.
Für eine Zufallsvariable X mit Wahrscheinlichkeiten p(x) lautet die Shannon-Entropie:
H(X) = - Σ p(x) log₂ p(x)
Bei Logarithmus zur Basis 2 wird das Ergebnis in Bits angegeben. Anschaulich misst die Formel, wie viel Information wir im Durchschnitt gewinnen, wenn wir das Ergebnis erfahren.
Eine faire Münze besitzt eine Entropie von 1 Bit. Eine Münze, die zu 99 % Kopf zeigt, ist leichter vorherzusagen und hat weniger als ein Bit Entropie. Zeigt sie immer Kopf, ist die Entropie null.
Warum lassen sich Daten komprimieren?
Reale Daten enthalten oft Redundanz. In Texten treten Zeichen und Zeichenfolgen nicht gleich häufig auf. Kompressionsverfahren nutzen solche Regelmäßigkeiten, indem häufige Ereignisse kürzer und seltene länger dargestellt werden.
Dieses Prinzip steckt beispielsweise hinter der Huffman-Kodierung. Moderne Verfahren sind komplexer, nutzen aber ebenfalls Strukturen, Wiederholungen und Vorhersagbarkeit.
Verlustfreie und verlustbehaftete Kompression
Bei verlustfreier Kompression kann das Original exakt rekonstruiert werden. Das ist für Text, Quellcode, Dokumente und strukturierte Daten entscheidend. ZIP, PNG und FLAC verwenden verlustfreie Techniken.
Verlustbehaftete Kompression verwirft dagegen bewusst Information, um wesentlich kleinere Dateien zu erzeugen. JPEG, MP3 und viele Videocodecs verfolgen diesen Ansatz. Ziel ist nicht die exakte Rekonstruktion, sondern eine für den Einsatzzweck akzeptable Qualität.
Gibt es eine Grenze der Kompression?
Ja. Hat eine Quelle eine bestimmte Entropie, existiert eine theoretische Grenze dafür, wie weit sie ohne Informationsverlust durchschnittlich komprimiert werden kann.
Kein Algorithmus kann jede Datei beliebig stark komprimieren und gleichzeitig perfekte Rekonstruktion garantieren. Stark redundante Daten lassen sich gut komprimieren; bereits effizient dargestellte oder nahezu unvorhersagbare Daten kaum.
Shannons Theorie sagt nicht unbedingt, welchen Algorithmus man verwenden soll. Sie sagt vielmehr, welche Grenze Algorithmen im Mittel nicht unterschreiten können.
Rauschen und fehlerhafte Übertragung
In realen Systemen kann ein Signal durch elektromagnetische Störungen, Hardwarefehler, Dämpfung, Funkinterferenzen oder zufällige physikalische Vorgänge verändert werden. Ein gesendetes 1 kann als 0 ankommen.
Shannon zeigte etwas Entscheidendes: Über einen verrauschten Kanal kann Information mit beliebig hoher Zuverlässigkeit übertragen werden, sofern die Datenrate unter einer bestimmten Grenze bleibt und geeignete Kodierung eingesetzt wird.
Kanalkapazität
Jeder Kanal besitzt eine maximale Informationsmenge, die er zuverlässig übertragen kann: die Kanalkapazität.
Für einen Kanal mit gaußschem Rauschen verknüpft die Shannon-Hartley-Formel Kapazität C, Bandbreite B und Signal-Rausch-Verhältnis:
C = B log₂(1 + S/N)
Mehr Bandbreite oder ein besseres Signal-Rausch-Verhältnis können die Kapazität erhöhen. Unter gegebenen physikalischen Bedingungen bleibt jedoch eine theoretische Grenze.
Redundanz hinzufügen, um Fehler zu korrigieren
Bei Kompression entfernen wir Redundanz. Bei Fehlerschutz tun wir manchmal das Gegenteil und fügen bewusst Redundanz hinzu.
Statt 1 könnte man etwa 111 senden. Kommt 101 an, lässt sich vermuten, dass das ursprüngliche Bit 1 war. Moderne Fehlerkorrekturcodes sind wesentlich effizienter, folgen aber demselben Grundgedanken.
Sie werden in Satellitenkommunikation, Mobilfunk, WLAN, Speichermedien, Arbeitsspeicher, Raumfahrtkommunikation und QR-Codes eingesetzt.
Eine Theorie ohne Bedeutung
Informationstheorie versucht nicht, die Bedeutung oder Wichtigkeit einer Nachricht zu messen. Zwei Nachrichten mit völlig unterschiedlicher semantischer Bedeutung können im Shannon-Sinn dieselbe Informationsmenge besitzen.
Die Theorie untersucht statistische Struktur, benötigte Darstellung und Übertragungsbedingungen. Gerade diese Abstraktion macht sie so universell einsetzbar.
Von der Theorie zu digitalen Netzen
Wenn ein Smartphone ein Foto sendet, wird das Bild möglicherweise komprimiert, für das Kommunikationssystem kodiert, mit Fehlererkennung oder -korrektur versehen, über einen physikalisch begrenzten Kanal übertragen, dekodiert und dekomprimiert.
Hinter einer alltäglichen Aktion stehen damit Jahrzehnte Forschung über Darstellung, Kompression, Übertragung und Zuverlässigkeit von Information.
Speicherung ist Übertragung durch die Zeit
Ein Speichermedium lässt sich als Kanal betrachten, der Information durch die Zeit überträgt. Eine heute gespeicherte Datei wird physisch kodiert und später wieder gelesen.
Da Speichermedien nicht perfekt sind, gelten viele Prinzipien der Fehlererkennung und -korrektur auch hier. Kommunikation und Speicherung sind zwei Varianten desselben Problems: Information trotz der Unvollkommenheit der physischen Welt bewahren.
Informationstheorie und künstliche Intelligenz
Auch maschinelles Lernen nutzt Konzepte der Informationstheorie. Entropie misst Unsicherheit in Wahrscheinlichkeitsverteilungen, Kreuzentropie ist eine häufige Verlustfunktion bei Klassifikationsmodellen und neuronalen Netzen, und gegenseitige Information hilft, Abhängigkeiten zwischen Variablen zu untersuchen.
Shannon entwickelte seine Theorie natürlich nicht für heutige KI. Seine mathematischen Werkzeuge waren jedoch allgemein genug, um Jahrzehnte später in vielen Gebieten wiederverwendet zu werden.
Dabei darf „Information“ im Shannon-Sinn nicht automatisch mit Wissen, Wahrheit, Bedeutung oder Wert einer Nachricht gleichgesetzt werden. Es handelt sich um einen präzisen mathematischen Begriff.
Warum bleibt Informationstheorie grundlegend?
Die digitale Welt erzeugt, komprimiert, speichert, überträgt und kopiert ständig Daten. Dabei kehren dieselben Fragen wieder: Wie viele Daten sind tatsächlich nötig? Welche Teile sind redundant? Wie viel Information passt durch einen Kanal? Wie erkennt und korrigiert man Fehler? Wie weit lässt sich verlustfrei komprimieren?
Shannons Theorie liefert dafür nicht nur einzelne Verfahren, sondern mathematische Grenzen, an denen sich reale Systeme messen lassen.
Häufig gestellte Fragen
Wer begründete die Informationstheorie?
Claude Shannon schuf 1948 mit A Mathematical Theory of Communication den grundlegenden mathematischen Rahmen der modernen Informationstheorie.
Was ist ein Bit in der Informationstheorie?
Ein Bit ist die Informationsmenge, die benötigt wird, um zwischen zwei gleich wahrscheinlichen Möglichkeiten zu unterscheiden.
Was bedeutet Entropie?
Entropie misst die durchschnittliche Unsicherheit einer Informationsquelle und damit die durchschnittliche Informationsmenge ihrer Ergebnisse.
Warum ist Entropie für Kompression wichtig?
Sie bestimmt eine theoretische Untergrenze dafür, wie kompakt Daten einer Quelle im Mittel verlustfrei dargestellt werden können.
Was ist Kanalkapazität?
Sie ist die maximale Informationsrate, die unter gegebenen Bedingungen mit beliebig hoher Zuverlässigkeit über einen Kanal übertragen werden kann.
Warum fügt Fehlerkorrektur Redundanz hinzu?
Zusätzliche strukturierte Information ermöglicht es dem Empfänger, Übertragungsfehler zu erkennen und teilweise zu korrigieren, ohne die Daten erneut anzufordern.
Entdecke Alan Turings Arbeiten zur Berechenbarkeit, seine Rolle in Bletchley Park, seine Computerentwürfe und seinen grundlegenden Beitrag zur künstlichen Intelligenz.
Verstehe die Turingmaschine, ihr Band, ihre Zustände, ihren Lese-Schreib-Kopf und ihre Rolle bei der Definition von Algorithmen und den Grenzen des Berechenbaren.
