So funktioniert ChatGPT
Token rein, Token raus – kein echtes Verstehen
Einleitung
Es ist ein vertrautes Szenario: Man führt eine differenzierte Unterhaltung mit einem LLM – etwa ChatGPT oder Claude. Zunächst scheint alles sauber. Das Modell wirkt intelligent, reagiert differenziert, stellt Zusammenhänge her. Doch je komplexer das Thema, desto größer wird die Frustration: Plötzlich werden Fakten durcheinandergebracht, Perspektiven vermischt, zeitliche Abfolgen verdreht. Statt klarer Antworten bekommt man semantisches Rauschen. Was ist passiert?
Die Ursache liegt tiefer, als viele Nutzerinnen und Nutzer ahnen. Große Sprachmodelle (LLMs) funktionieren nicht wie ein Mensch, der einen Gedankenpfad weiterverfolgt. Sie haben kein echtes Gedächtnis und keine persistente Denkstruktur. Alles, was wir als kontinuierlichen Dialog erleben, ist eine „Simulation von Kohärenz“ – erzeugt durch Kontextwiederholung im Prompt.
Kein Gedächtnis, kein echtes Denken
LLMs sind sogenannte stateless architectures: Sie vergessen alles, sobald der Kontext nicht mehr mitgeliefert wird. Bei jeder Eingabe wird der gesamte relevante Kontext – d. h. die vorherigen Nachrichten – neu in das Modell eingespeist. Das Modell hat kein eigenes Vorwissen aus dem laufenden Gespräch, keine interne Struktur, die sich an Denkpfade erinnert oder sich an vorherige semantische Gewichtungen anlehnt. Es kennt nicht einmal sich selbst im aktuellen Dialog.
Was also aussieht wie intelligenter Aufbau, ist in Wahrheit ein Trick: Die Wiederholung des bisherigen Gesprächsverlaufs (Prompt) erzeugt den Anschein von Kontinuität. Doch je länger dieser Verlauf, desto unzuverlässiger wird die Reaktion.
Prompt-Verschmierung und Prioritätsverlust
Bei wachsenden Kontextlängen (also vielen vorangehenden Nachrichten) tritt ein zentrales Problem auf: semantische Verwaschung.
Das Modell muss bei jeder neuen Antwort alle bisherigen Informationen neu interpretieren, sie gewichten, und daraus eine passende Antwort berechnen. Doch dabei treten typische Probleme auf:
• Recency Bias: Spätere Aussagen verdrängen frühere.
• Konfliktblindheit: Widersprüche werden nicht erkannt, sondern durch heuristische Mittel geglättet.
• Prioritätsfehler: Wichtiges wird mit Nebensächlichem gleichgesetzt.
Ergebnis: Die Antwort klingt plausibel, ist aber inhaltlich inkonsistent oder gar falsch.
Warum ist das so? Weil LLMs nicht denken – sie kalkulieren
Ein Sprachmodell ist ein Wahrscheinlichkeitsgenerator: Es berechnet, welches Wort am wahrscheinlichsten als nächstes kommen sollte. Kontextinformationen helfen, aber sie sind nicht strukturiert abgespeichert, sondern temporär eingebettet. Das ist ein großer Unterschied zum menschlichen Denken, wo Erfahrungen, Gedanken und Kontexte modular verarbeitet und abgelegt werden.
Ein echter Denkprozess würde Prioritäten setzen, Kernideen aufrechterhalten, Widersprüche erkennen und Lösungsstrategien adaptiv verändern. All das fehlt bei klassischen LLMs.
Die Lösung? Kontextstrukturen überdenken
Wenn wir wollen, dass KI-Systeme mit wachsendem Kontext besser statt schlechter werden, brauchen wir neue Architekturkonzepte. Eine Möglichkeit: vorgelagerte, temporär trainierbare Sub-Modelle, die Denkpfade halten, Zwischenkonzepte speichern und auditierbar sind.
Das wäre eine Art „Vorfeld-Gehirn“, das nicht mit dem zentralen Modell verschmilzt, sondern als adaptives Modul den Dialogfluss stützt. Solche Systeme würden nicht nur die Halluzinationsrate senken, sondern auch die Anschlussfähigkeit komplexer Diskussionen massiv verbessern.
Fazit
Wenn LLMs nicht mehr einfach nur „antworten“, sondern wirklich mitdenken sollen, müssen wir ihnen helfen, sich zu erinnern. Alles andere bleibt Simulation. Und Simulation wird, je komplexer es wird, zum Hindernis.
Gregor Anthes
Founder
copyright © 2025
in parts generated by AI (GPT4.0)
Image sources generated with ChatGPT – Sora