Wie Testdaten ins Training gelangen
Sprachmodelle werden auf riesigen Mengen an Internettext trainiert. Öffentlich verfügbare Benchmarks lassen sich frei herunterladen – und landen dadurch, oft ungewollt, in genau diesen Trainingsdaten. Ein Modell, das die Testfragen samt richtiger Antworten bereits gesehen hat, kann sie eher aus dem Gedächtnis wiedergeben als sie tatsächlich zu lösen.
Wie groß das Problem tatsächlich ist
Eine Studie der Johns Hopkins University fand bei 29,1% der MMLU-Testfragen Anzeichen von Kontamination. Andere Audits fanden je nach Benchmark eine Leckage-Rate zwischen 1% und 45%. In einzelnen Untersuchungen zu mehrsprachigen Benchmarks wurden sogar noch höhere Kontaminationsraten gemessen – ein Hinweis darauf, dass das Problem mit der Zeit eher zu- als abnimmt, weil neu veröffentlichte Benchmarks schnell in Foren, Kopien und abgeleiteten Datensätzen weiterverbreitet werden.
Ein konkretes Vorher-Nachher-Beispiel
Werden kontaminierte Testfragen durch eine unveröffentlichte, „saubere“ Variante mit gleichem Schwierigkeitsgrad ersetzt, sinken Ergebnisse oft deutlich: Bei einer solchen Untersuchung fiel der Wert eines Mistral-Modells auf einer bereinigten GSM8K-Variante um bis zu 13 Prozentpunkte gegenüber dem Originalergebnis.
Warum Umformulierung die Kontrolle nicht sicher umgeht
Kontamination beschränkt sich nicht auf wortgleiche Übernahme. Auch eine paraphrasierte oder in eine andere Sprache übersetzte Version einer Testfrage kann Standard-Kontrollverfahren umgehen, obwohl sie inhaltlich dieselbe Aufgabe wie das Original ist – und trotzdem einen künstlich erhöhten Wert erzeugen.
Warum das für dich als Entscheider zählt
Ein einzelner, hoher Benchmark-Wert allein sagt nicht, ob ein Modell die zugrundeliegende Fähigkeit wirklich beherrscht oder ob es die Testfragen bereits kennt. Ergebnisse auf privat gehaltenen, aktuellen oder eigens erstellten Testfragen (dazu mehr im letzten Modul dieses Kurses) sind deutlich aussagekräftiger als ein Wert auf einem seit Jahren öffentlich zugänglichen Benchmark.