Der Trick hinter scheinbar klugen Antworten
Ein Sprachmodell wie ChatGPT oder Claude sagt in jedem Schritt nur voraus, welches Textstück als Nächstes am wahrscheinlichsten folgt – trainiert an riesigen Mengen Text. Aus dieser einen simplen Fähigkeit entsteht durch schiere Größe ein Verhalten, das erstaunlich klug wirkt.
Die vier Bausteine, die das Verhalten erklären
Tokens – die Bausteine der Sprache
Ein Sprachmodell liest und schreibt nicht in ganzen Wörtern, sondern in Tokens – kleinen Text-Bausteinen, die auch nur Wortteile sein können.
Wahrscheinlichkeit – wie das nächste Wort gewählt wird
Für jeden nächsten Token berechnet das Modell Wahrscheinlichkeiten für alle infrage kommenden Kandidaten und wählt einen davon – Token für Token, bis eine ganze Antwort entsteht.
Kontextfenster – das Gedächtnis für ein Gespräch
Das Modell „kennt“ nur, was im aktuellen Kontextfenster steht. Beginnst du einen neuen Chat, ist dieses Gedächtnis weg – außer eine App baut separat ein zusätzliches Gedächtnis darüber.
Kein Wahrheits-Check – warum Halluzinationen entstehen
Das Modell hat keinen eingebauten Mechanismus, der prüft, ob eine Aussage wahr ist – es optimiert auf plausibel klingenden Text. Deshalb klingen falsche Aussagen manchmal genauso selbstbewusst wie richtige.
Warum das für dich als Entscheider zählt
Diese vier Punkte erklären, warum ein Sprachmodell keine Datenbank ist: Wichtige Fakten solltest du prüfen, wichtigen Kontext musst du explizit mitgeben, und Antworten sind Wahrscheinlichkeiten, keine Garantien. Genau deshalb setzt Beyond Prompt bei Preisen und Berechnungen bewusst auf deterministische Logik statt generative Modelle (siehe der Blogartikel zur Angebotsautomatisierung) – das Sprachmodell darf verstehen und formulieren, entscheiden tut die Regel.