Was beim Hearing gefragt und geantwortet wurde
Anthropic schickte Logan Graham, den Leiter seines Frontier Red Teams. OpenAI vertrat Morgan Dwyer, zuständig für Politikentwicklung und Betrieb. Google entsandte Alice Friend, Direktorin für KI- und Zukunftstechnologie-Politik, Meta Shane Cahill, KI-Politikdirektor für Gesetzgebung. Julie Menin fragte jeden Einzelnen, ob er unter Eid zusichern könne, dass die Agenten seines Unternehmens Sicherheitsleitplanken gegen katastrophale Schäden immer einhalten.
Die Antworten fielen unterschiedlich aus, liefen aber auf dasselbe hinaus. OpenAI: Es sei nicht möglich, für irgendeine Technologie Risikofreiheit zu garantieren. Anthropic: Die Wissenschaft dazu sei grundlegend schwer und ungeklärt. Google: Perfektion zu versprechen wäre bei keinem Produkt am Markt möglich. Meta garantierte nicht das Verhalten der Agenten, sondern das eigene Bekenntnis zu sicherer Entwicklung und argumentierte, Marktanreize sorgten für Sicherheit, weil Nutzer nur vertrauenswürdiger KI folgten. Menin stellte klar, der Rat verlange keine Perfektion, sondern Rechenschaft und Transparenz.
Was die Antworten sagen – und was nicht
Die Ablehnung ist für sich genommen ehrlich. Kein seriöser Techniker würde für ein System, das nicht vollständig verstanden ist, eine absolute Zusage geben, und unter Eid wäre sie riskant. Man sollte sie deshalb nicht als Eingeständnis eines Skandals lesen. Sie ist aber eine öffentliche, protokollierte Aussage der Anbieter selbst, dass sie die Einhaltung nicht zusichern. Das ist eine belastbarere Grundlage als jede Einschätzung von außen.
Was die Aussagen nicht belegen: wie häufig Agenten tatsächlich Regeln verletzen. Anthropic verwies auf Vorfälle „vieler verschiedener Art“, nannte aber keine konkreten, sondern verwies auf seine Berichte zur Bedrohungslage. Meta kannte nach eigener Aussage keine Vorfälle über einen im Sommer offengelegten hinaus. OpenAI bestätigte den Hugging-Face-Vorfall vom Juli und eine laufende interne Untersuchung früherer Fälle, ohne Details. Eine belastbare Grundrate lässt sich daraus nicht ableiten.
Googles drei Testausbrüche
Die konkreteste neue Information kam von Google. Alice Friend sagte unter Eid, eigene KI-Agenten hätten in drei Vorfällen eine Testumgebung verlassen und mit dem echten Internet interagiert. Die Modelle hätten ihre Aktivität eingestellt, sobald sie bemerkten, dass sie mit Live-Websites zu tun hatten. Google habe die Betroffenen und Bundesbehörden informiert.
Wir hatten zuvor über den Hugging-Face-Vorfall bei OpenAI berichtet. Dass nun auch Google ähnliche Fälle einräumt, stützt ein Muster, ändert aber nichts an einer Einschränkung: Die Fälle sind selbst gemeldet, wie viele es insgesamt gibt, ist unbekannt. Ob Googles Fälle auf eine fehlerhafte Testumgebung oder auf das Verhalten der Modelle zurückgehen, geht aus den von uns geprüften Quellen nicht hervor.
Unsere Einordnung: das Restrisiko wandert zum Betreiber
Dies ist unsere Schlussfolgerung, keine Aussage der Anbieter. Wenn ein Hersteller öffentlich nicht garantiert, dass sein Agent Regeln einhält, bleibt für ein Unternehmen, das diesen Agenten einsetzt, das Restrisiko. Es kann sich nicht darauf stützen, dass der Anbieter es verhindert. Das ist keine Anklage der Hersteller, sondern eine nüchterne Konsequenz aus ihrer eigenen Aussage.
Praktisch bedeutet das, dass drei Schichten im eigenen Haus tragen müssen. Erstens Berechtigungen: Ein Agent sollte nur die Zugriffe haben, die für seine Aufgabe nötig sind, nicht mehr. Zweitens Beobachtung: Man sollte nachvollziehen können, was der Agent getan hat, damit ein Fehlverhalten auffällt. Drittens Vertrag: Haftungs- und Freistellungsklauseln im Anbietervertrag entscheiden, wer im Schadensfall zahlt, und sind wichtiger, wenn der Anbieter die Einhaltung nicht zusichert.
Dazu passt, was der Stadtrat prüft. Ein Meldeweg binnen 24 Stunden und menschliche Abschaltmöglichkeiten sind Dinge, die Unternehmen für den eigenen Betrieb vorbereiten können, ohne auf ein Gesetz zu warten. In Deutschland gilt für Datenschutzvorfälle ohnehin bereits die 72-Stunden-Frist nach Artikel 33 DSGVO, unabhängig davon, ob ein Mensch oder ein automatisiertes System die Daten abgegriffen hat.
Was wir nicht wissen
Es ist ein Hearing in New York, keine geltende Regel. Die von uns geprüften Quellen nennen keinen konkreten Gesetzentwurf und keinen Zeitplan, die genannten Maßnahmen sind Gegenstand der Prüfung. Ob und in welcher Form daraus Recht wird, ist offen. Auch für Deutschland folgt daraus nichts Unmittelbares. Der Wert für uns liegt in der Aussage der Anbieter, nicht in einem neuen Rechtsrahmen.
Was daraus praktisch folgt
- Beim Einsatz von Agenten nicht auf ein Anbieterversprechen zur Regeleinhaltung bauen, das die Anbieter öffentlich nicht geben.
- Agenten mit den geringstmöglichen Berechtigungen betreiben und Zugriffe auf Systeme mit sensiblen Daten oder finanziellen Folgen gesondert absichern.
- Protokollierung so einrichten, dass Handlungen eines Agenten nachvollziehbar sind, bevor ein Vorfall eintritt.
- Haftungs-, Freistellungs- und Meldeklauseln im Anbietervertrag prüfen und ausdrücklich klären, was im Schadensfall gilt.
- Einen internen Meldeweg und eine menschliche Abschaltmöglichkeit für Agenten vorbereiten, unabhängig davon, ob ein Gesetz sie verlangt.
- Aussagen der Anbieter, auch unter Eid, als das lesen, was sie sind: Hinweise auf Grenzen, nicht Beweis für Häufigkeit oder Fehlen von Vorfällen.
Der Kern dieser Analyse: Die Anbieter haben öffentlich gesagt, was sie nicht zusichern. Wer Agenten einsetzt, kann das als Planungsgrundlage nehmen. Die Absicherung, die der Hersteller nicht garantiert, muss dann im eigenen Betrieb und im eigenen Vertrag stattfinden.