Wie MMLU und GPQA funktionieren
MMLU (Massive Multitask Language Understanding) besteht aus Multiple-Choice-Fragen über 57 Fachgebiete, von Jura bis Medizin. GPQA (Graduate-Level Google-Proof Q&A) geht einen Schritt weiter: Die Fragen aus Biologie, Chemie und Physik sind so anspruchsvoll formuliert, dass selbst Promovierte außerhalb des jeweiligen Fachgebiets nur etwa 34% richtig beantworten – ein bewusst hoch angesetzter menschlicher Vergleichswert.
Die Sättigungsfalle
MMLU sättigt inzwischen bei über 88% für führende Modelle – der Benchmark unterscheidet Spitzenmodelle kaum noch voneinander. GPQA Diamond, die schwierigste Teilmenge, lag lange deutlich darunter, erreicht aber inzwischen ebenfalls hohe Werte bei führenden Modellen und nähert sich der Sättigung. Ein gesättigter Benchmark beantwortet die Frage „ist Modell A besser als Modell B?“ kaum noch, weil beide nahe am Maximum liegen.
Ein sich wiederholendes Muster
Dasselbe ist bereits einmal passiert: Der Sprachverständnis-Benchmark GLUE erschien 2018 – bereits etwa ein Jahr später übertrafen Modelle die menschliche Vergleichsmarke. Als Reaktion erschien 2019 der bewusst schwierigere Nachfolger SuperGLUE. Auch dort zeigte sich schnell: Bei einem Großteil der Teilaufgaben lagen Modelle bereits auf oder über dem Niveau menschlicher Crowdworker. Das Feld wechselte daraufhin zu MMLU und später zu GPQA – demselben Muster folgend, das sich mit MMLU und GPQA gerade wiederholt.
Warum das für dich als Entscheider zählt
Ein einzelner MMLU- oder GPQA-Wert, der zwei Spitzenmodelle vergleicht, sagt heute deutlich weniger aus als noch vor wenigen Jahren – beide liegen oft nah beieinander nahe am Maximum. Wer eine Anbieter-Behauptung auf Basis eines bekannten, weit verbreiteten Benchmarks bewertet, sollte prüfen, ob dieser Benchmark für die verglichenen Modelle überhaupt noch differenziert oder bereits gesättigt ist.