Das Problem mit sequentiellem Lesen
Bis 2017 verarbeiteten Sprachmodelle Text meist Wort für Wort, in fester Reihenfolge. Das bremste zwei Dinge: Das Training ließ sich schlecht parallelisieren, und Zusammenhänge über viele Wörter hinweg gingen leicht verloren.
„Attention Is All You Need“ (2017)
Ein Forschungsteam bei Google veröffentlichte 2017 ein Paper mit dem schlichten Titel „Attention Is All You Need“. Die Kernidee: Der „Transformer“ verarbeitet alle Wörter eines Textes gleichzeitig und berechnet direkt, wie stark jedes Wort mit jedem anderen zusammenhängt (Selbst-Aufmerksamkeit, „Self-Attention“) – statt sie strikt nacheinander zu lesen.
Warum das alles veränderte
Diese parallele Verarbeitung ließ sich auf moderner Hardware massiv skalieren – viel mehr Daten, viel größere Modelle, viel schneller trainiert. Genau diese Skalierbarkeit war die Voraussetzung für die großen Sprachmodelle, wie sie in „Wie ‚denkt‘ ein Sprachmodell wirklich?“ beschrieben werden. Ohne den Transformer gäbe es die heutigen Chatbots nicht in dieser Form.
Vom Paper zum Produkt
Schon ein Jahr später (2018) veröffentlichte OpenAI das erste GPT-Modell, das genau auf dieser Transformer-Architektur aufbaute. In den Folgejahren zeigte sich ein klares Muster: je größer das Modell und je mehr Daten, desto leistungsfähiger – die sogenannten „Skalierungsgesetze“. Diese Erkenntnis trieb den Sprachmodell-Wettlauf der letzten Jahre an.
Warum das für dich als Entscheider zählt
Fast jedes moderne Sprachmodell – egal von welchem Anbieter – baut heute auf derselben Transformer-Grundarchitektur auf. Unterschiede zwischen Anbietern liegen daher seltener in einer geheimen Wundertechnologie, sondern vor allem in Trainingsdaten, Größe, Feinschliff und Philosophie (dazu mehr im nächsten Modul).