Baustein 1: Was ist überhaupt ein Benchmark?
Ein Benchmark ist im Kern nichts anderes als ein Fragebogen mit bekannten richtigen Antworten: eine feste Menge an Testaufgaben, bei denen vorher klar ist, was „richtig“ ist. Ein Modell bearbeitet diese Aufgaben, und ein Auswertungsverfahren zählt, wie oft die Antwort mit der bekannten richtigen übereinstimmt. Genau dieses einfache Prinzip steckt hinter den meisten „Wissens“-Benchmarks.
Baustein 2: Drei grundverschiedene Arten zu messen
Nicht jeder Benchmark misst auf dieselbe Art. Drei Typen erklären fast die gesamte Landschaft: Bei objektiv korrekten Benchmarks gibt es eine eindeutig richtige Antwort – eine Mathe-Aufgabe, eine Multiple-Choice-Frage, ob ein Code-Fix die Tests besteht. Bei menschlicher Präferenz gibt es keine „richtige“ Antwort, sondern Menschen vergleichen zwei Antworten und sagen, welche ihnen besser gefällt. Und bei KI als Richter bewertet ein anderes Sprachmodell die Antwort nach einem vorgegebenen Kriterienraster – genutzt, weil das deutlich günstiger und schneller ist als menschliche Bewertung.
Jeder dieser drei Typen hat eigene Schwächen, die in den folgenden Modulen im Detail behandelt werden.
Baustein 3: Warum die Stichprobengröße zählt
Ein Modell beantwortet 10 Testfragen, 8 davon richtig – „80%“. Wirft man eine faire Münze 10-mal, landet man aber auch relativ häufig bei 8 oder mehr Treffern, rein durch Zufall. Erst bei ausreichend vielen Testfragen – bei echten Benchmarks meist Hunderte bis Tausende – wird eine Prozentzahl überhaupt aussagekräftig.
Baustein 4: Warum ein kleiner Unterschied oft kein echter Unterschied ist
71% vs. 73% klingt nach einem klaren Sieger. Ist die zugrundeliegende Stichprobe aber klein oder die Aufgabe schwierig, kann dieser Abstand komplett im Bereich des Zufalls liegen. Genau das drückt ein Konfidenzintervall aus, ohne dass man die Formel dahinter kennen muss: Es sagt im Kern „die wahre Punktzahl liegt mit hoher Wahrscheinlichkeit irgendwo in diesem Bereich“ – und wenn sich die Bereiche zweier Modelle überschneiden, ist der behauptete Sieger nicht gesichert.
Warum das für dich als Entscheider zählt
Diese vier Bausteine reichen aus, um jede Benchmark-Zahl kritisch zu lesen, noch bevor man einen konkreten Benchmark im Detail kennt. Die folgenden Module schauen sich die drei Mess-Paradigmen aus Baustein 2 einzeln an – und zeigen, wo jedes davon in der Praxis an seine Grenzen stößt.