Wie „denkt“ ein Sprachmodell wirklich?
Ein Beispiel je Baustein – zum Merken
Probier es aus: Temperature
Der Trick hinter scheinbar klugen Antworten
Ein Sprachmodell wie ChatGPT oder Claude sagt in jedem Schritt nur voraus, welches Textstück als Nächstes am wahrscheinlichsten folgt – trainiert an riesigen Mengen Text. Aus dieser einen simplen Fähigkeit entsteht durch schiere Größe ein Verhalten, das erstaunlich klug wirkt.
Die vier Bausteine, die das Verhalten erklären
Tokens – die Bausteine der Sprache: Ein Sprachmodell liest und schreibt nicht in ganzen Wörtern, sondern in Tokens – kleinen Text-Bausteinen, die auch nur Wortteile sein können. Wahrscheinlichkeit – wie das nächste Wort gewählt wird: Für jeden nächsten Token berechnet das Modell Wahrscheinlichkeiten für alle infrage kommenden Kandidaten und wählt einen davon – Token für Token, bis eine ganze Antwort entsteht. Kontextfenster – das Gedächtnis für ein Gespräch: Das Modell „kennt“ nur, was im aktuellen Kontextfenster steht. Beginnst du einen neuen Chat, ist dieses Gedächtnis weg – außer eine App baut separat ein zusätzliches Gedächtnis darüber. Kein Wahrheits-Check – warum Halluzinationen entstehen: Das Modell hat keinen eingebauten Mechanismus, der prüft, ob eine Aussage wahr ist – es optimiert auf plausibel klingenden Text. Deshalb klingen falsche Aussagen manchmal genauso selbstbewusst wie richtige.
Warum das für dich als Entscheider zählt
Diese vier Punkte erklären, warum ein Sprachmodell keine Datenbank ist: Wichtige Fakten solltest du prüfen, wichtigen Kontext musst du explizit mitgeben, und Antworten sind Wahrscheinlichkeiten, keine Garantien. Genau deshalb setzt Beyond Prompt bei Preisen und Berechnungen bewusst auf deterministische Logik statt generative Modelle (siehe der Blogartikel zur Angebotsautomatisierung) – das Sprachmodell darf verstehen und formulieren, entscheiden tut die Regel.
Das Wichtigste in Kürze
- ✓Ein Sprachmodell sagt in jedem Schritt nur das wahrscheinlichste nächste Textstück voraus – es „versteht“ nicht wie ein Mensch.
- ✓Text wird in Tokens zerlegt, die auch nur Wortteile sein können – nicht immer ganze Wörter.
- ✓Das Modell kennt nur, was im aktuellen Kontextfenster steht – kein automatisches Gedächtnis über einzelne Gespräche hinweg.
- ✓Es gibt keinen eingebauten Wahrheits-Check – deshalb können selbstbewusst klingende, aber falsche Antworten entstehen (Halluzination).
- ✓Wichtige Fakten und Berechnungen gehören geprüft bzw. in deterministische Logik – nicht blind ins Sprachmodell.
→ Modelle technisch vergleichen: Open-Source-LLMs im Vergleich
Willst du noch tiefer verstehen, wie Sprachmodelle wirklich funktionieren?