Warum statische Benchmarks agentisches Verhalten nicht erfassen
Ein klassischer Benchmark prüft eine einzelne Antwort auf eine einzelne Frage. Ein AI-Agent dagegen plant mehrere Schritte, ruft Werkzeuge auf, prüft deren Ergebnisse, überarbeitet seinen Ansatz und muss auch nach einem Fehlschlag weitermachen können. Ob die Endantwort stimmt, sagt kaum etwas darüber, ob der Agent sich dabei verirrt, das falsche Werkzeug gewählt und sich wieder erholt, oder unbemerkt in einer Schleife hängen geblieben ist.
METRs Zeit-Horizont: ein neuer Ansatz
Die Forschungsorganisation METR misst stattdessen, wie lange eine Aufgabe für einen Menschen dauern würde, die ein Modell noch mit einer bestimmten Erfolgsquote selbstständig lösen kann – der „Zeit-Horizont“ eines Modells. Die Zahlen sind bemerkenswert konkret: GPT-2 lag bei etwa 2 Sekunden, Claude 3.7 Sonnet bei rund 50 Minuten, o3 bei knapp 2 Stunden, und Opus 4.6 erreichte bereits etwa 12 Stunden (bei 50% Erfolgsquote). Seit rund sechs Jahren verdoppelt sich dieser Zeit-Horizont im Schnitt alle sieben Monate.
Der Portfolio-Ansatz statt Einzelbenchmark
Aus allen Modulen dieses Kurses ergibt sich dieselbe Empfehlung: Kein einzelner Benchmark-Typ reicht aus. Ein belastbarer Vergleich triangeliert mehrere Quellen – einen objektiv-korrekten Benchmark passend zur Aufgabe (Modul 58), eine menschliche Präferenz-Einordnung mit Blick auf Konfidenzintervalle (Modul 59), bei Bedarf einen Agenten-Benchmark oder Zeit-Horizont-Wert, und einen eigenen, aktuellen Test mit echten Anfragen aus dem eigenen Anwendungsfall – gerade weil ein öffentlicher Benchmark kontaminiert oder gesättigt sein kann (Module 58 und 61).
Wie Beyond Prompt das selbst umsetzt
Die eigene Vergleichs-Seite dieser Website (siehe „Methodik“ unter /vergleiche/methodik) folgt demselben Prinzip: Leistungskriterien stützen sich, wo möglich, auf unabhängige Quellen wie Artificial Analysis oder SWE-bench statt auf reine Anbieter-Angaben – und werden regelmäßig gegen ihre Quelle geprüft, damit veraltete Werte nicht unbemerkt stehen bleiben.
Warum das für dich als Entscheider zählt
Die fünf Schritte in der Interaktion unten fassen diesen gesamten Kurs zu einem wiederholbaren Vorgehen zusammen, das du auf jede zukünftige Anbieter-Behauptung anwenden kannst – unabhängig davon, welches Modell gerade als „das beste“ beworben wird.