Der Bedeutung Struktur geben

Ungeachtet ihrer Defizite hat der Einfluss von Künstlicher Intelligenz beispiellose Auswirkungen: So stieg in den letzten vier Jahren – parallel zum Weltereignis Pandemie – die Verwendung des von ChatGPT oft genutzten englischen Stilworts „delve“ (dt. „eintauchen“) in wissenschaftlicher Literatur stärker an als die des Wortes „pandemic“.¹ Auch jüngste Zahlen von OpenAI weisen auf eine Dominanz globalen Ausmaßes hin: GPT-4o, die neueste Version der Serie, auf der auch ChatGPT basiert, unterstützt nun über 50 Sprachen und soll damit 97 Prozent der Weltbevölkerung abdecken.² Die Textproduktion solcher Sprachmodelle erfolgt dabei probabilistisch. Der Firmenmitgründer von OpenAI, Ilya Sutskever, erklärt: „Je besser die Vorhersage des nächsten Wortes, desto besser das Verständnis.“³ Aber wovon leitet sich das nächste, unbekannte Wort in einer Sequenz ab? Wie muss natürliche Sprache „verstanden“ werden, damit KI-Modelle sie heute mit solch schillerndem Erfolg verwenden können? Und woher kommt dieses Verständnis?
Large Language Models wie ChatGPT werden mittels eines Korpus an Worten trainiert, welche zu sogenannten Token, das sind Wortteile, heruntergebrochen werden. Bei heutigen Modellen sind das etwa fünf bis sechs Billionen Token, die in den Trainingsdaten in unterschiedlichen Sequenzen (Sätzen) auftauchen. Aus all diesen verschiedenen Kontexten werden Beziehungen zwischen den jeweiligen Wortteilen hergestellt. Das Modell wird also nicht darauf trainiert, die Bedeutung eines Wortes (oder Tokens) zu lernen, sondern das Wort im Verhältnis zu allen anderen zu verstehen.⁴ Die Vorhersage des nächsten Wortes eines Satzes lässt sich demnach nur aus dieser Gesamtheit an Beziehungen gewinnen, das heißt der Sprache als Totalität – oder eben dem Modell davon.
Damit wird hier ein Modell von Sprache bemüht, wie man es schon aus dem Strukturalismus kennt. Begründer der strukturalistischen Linguistik war Ferdinand de Saussure, der 1916 schrieb: „In der Sprache gibt es nur Unterschiede ohne positive Einheiten […] Was ein Zeichen an Inhalt oder an Lautmaterial einschließt, ist viel weniger wichtig als das, was in seinem Umfeld in den anderen Zeichen existiert.“⁵ Ein Wort existiert also nicht als „positive Einheit“, vielmehr erlangt es seine Bedeutung nur aufgrund seiner Rolle innerhalb der ganzen Struktur einer Sprache.
Die Idee, Bedeutung in einer zugrunde liegenden Struktur zu verorten und diese als Totalität zu betrachten, findet im französischen Anthropologen Claude Lévi-Strauss einen ihrer prominentesten Vertreter*innen. Er war daran interessiert, die vermeintlich universellen Strukturen aufzudecken, wie eine Kultur die Welt um sich herum versteht und klassifiziert.
Dabei entwickelte sich sein Denken ganz maßgeblich unter dem Einfluss der Kybernetik und der Linguistik. Nach erzwungenem Exil in New York las er Anfang der 1950er-Jahre Claude Shannons „Mathematical Theory of Communication“, in der Kommunikation als aus geordneten Elementen bestehend beschrieben wird, die bestimmten Wahrscheinlichkeiten unterliegen. Lévi-Strauss schrieb daraufhin selbst von den „mechanistischen und strukturellen Interpretationsmöglichkeiten“ der Sprache sowie von der „probabilistischen Berechnung“⁶ ihrer Verwendung.
Zudem folgte Lévi-Strauss den Ansätzen der Linguisten Saussure und Roman Jakobson, die Sprache anhand von unterscheidbaren Lauten, den Phonemen, differenzierten.⁷ Mit Jakobson (den Lévi-Strauss in New York traf) lässt sich das Erlernen von Sprache über einzelne Laute als „computerähnlicher Denkprozeß“ fassen.⁸ Dazu bedarf es beispielsweise der Unterscheidung in dumpfe und spitze bzw. kompakte und diffuse Vokale, die Lévi-Strauss im Licht von Shannons Theorie als Sets binärer Oppositionen, beschreibbar durch die Informationstheorie, sah. Dies übertrug Lévi-Strauss sogleich auch auf höhere Bedeutungsebenen und Kultur im Allgemeinen.⁹ Über soziale Beziehungen in Gesellschaften schrieb er: „[W]ie die Phoneme sind die Verwandtschaftsbeziehungen Bedeutungselemente, wie diese bekommen sie ihre Bedeutung nur unter der Bedingung, daß sie sich in Systeme eingliedern.“¹⁰ Lévi-Strauss’ Grundgedanke bestand darin, dass, wenn Kulturen Informationen vermitteln können, solche kulturellen Botschaften in einer „algebraischen Struktur“ verschlüsselt sind. Ziel war daher die Aufdeckung einer „semantischen Algebra“, der mathematischen Operationalisierbarkeit von Bedeutung.¹¹ Bei Lévi-Strauss wird so schließlich alles – Sprache, Frauen, Pflanzen, Jagdmethoden und wirtschaftliche Praktiken – als Kommunikationssystem fassbar.¹²
Als er derlei Ideen 1962 in Das Wilde Denken mit einer Studie der Klassifikationssysteme von vermeintlichen „Wilden“ zu veranschaulichen suchte, fand sich darin auch eine Illustration von Bedeutungsstrukturen als in einem multidimensionalen Beziehungsraum erklärbaren Gebilden. Michael Castelle sieht in heutigen Visualisierungen der von KI gelernten Wortbedeutungen, angeordnet in multidimensionalen Räumen, die Artikulation eines Denkens „analog“ zu dem des Strukturalismus.¹³ Allerdings war die Konjunktur der Kybernetik zur Zeit des Wilden Denkens schon vorüber, und Lévi-Strauss ging sparsam mit Verweisen auf die Informationstheorie um. Zurück in Frankreich wurde das strukturalistische Projekt zunehmend als Agent eines US-amerikanischen, technokratischen Imperialismus gedeutet, bei dem ein in Maschinen einer westlichen wissenschaftlichen Kultur gefundenes Vorbild universell auf sämtliche Kulturen angewandt wird.¹⁴
Dieser Kritikpunkt erscheint im Zusammenhang mit heutigen Sprachmodellen in neuem Licht, bedenkt man die oben angesprochene globale Verbreitung und Anwendung solcher Modelle in Wissenschaft, Politik, Wirtschaft etc. Eine Struktur der Sprache, die ChatGPT und Co. zunächst erlernen sollten, scheint von ihnen auch verändert zu werden. Was damit erneut in den Fokus rückt, ist die akademische Faszination mit einer vermeintlichen „semantischen Algebra“ und damit der Idee, dass, wenn die Datenmengen und Modelle nur groß genug sind, sich dann buchstäblich mit allem „rechnen“ lässt; dass sich also durchgehend latente, mathematische Bedeutungsstrukturen aufdecken lassen – von Sprache, und von Kultur im weitesten Sinne.