Fünf unabhängige Achsen
Wissen und Reasoning (kann das Modell Fakten korrekt abrufen und logisch schlussfolgern?), Coding (löst es Programmieraufgaben zuverlässig?), Agenten-Fähigkeit (kann es mehrstufige Aufgaben selbstständig mit Werkzeugen ausführen?), menschliche Präferenz (gefallen Nutzenden die Antworten im direkten Vergleich?) und Kosteneffizienz (was kostet eine Antwort in Relation zur Qualität?) – das sind fünf weitgehend unabhängige Achsen. Ein Modell kann auf einer stark vorne liegen und auf einer anderen deutlich zurückfallen.
Warum eine Ankündigung fast immer nur eine Achse zeigt
Ein neues Modell auf allen fünf Achsen gleichzeitig zum Marktführer zu machen, ist selten. Eine Ankündigung wählt deshalb fast immer die Achse aus, auf der das neue Modell am besten abschneidet – das ist keine Täuschung im rechtlichen Sinne, aber eine unvollständige Aussage, wenn die anderen vier Achsen unerwähnt bleiben.
Wie man eine Behauptung auseinandernimmt
Bei jeder Schlagzeile der Art „Modell A schlägt Modell B“ lohnt sich dieselbe Nachfrage: Auf welcher der fünf Achsen genau? Und was sagen die anderen vier Achsen? Oft zeigt sich dann ein differenzierteres Bild – etwa ein Modell, das bei Coding vorne liegt, aber bei Kosteneffizienz deutlich hinter einem günstigeren Konkurrenten zurückbleibt.
Warum das für dich als Entscheider zählt
Welche Achse für dich zählt, hängt vom eigenen Anwendungsfall ab – ein Kundenservice-Chatbot braucht andere Stärken als ein Coding-Assistent. Eine Anbieter-Ankündigung, die nur eine Achse nennt, beantwortet damit fast nie die eigentlich relevante Frage: Wie schneidet das Modell auf der Achse ab, die für deinen konkreten Einsatz zählt?