Menschliche Aufsicht (Art. 14): kein Feigenblatt
Betreiber von Hochrisiko-Systemen müssen echte menschliche Aufsicht sicherstellen, ausgeübt durch qualifiziertes, geschultes Personal. „Echt“ bedeutet konkret: Die aufsichtsführende Person muss die Fähigkeiten und Grenzen des Systems verstehen, Anzeichen für Fehlfunktionen erkennen können, die Ausgabe korrekt interpretieren können, sich in begründeten Fällen bewusst gegen die Systemempfehlung entscheiden können – und die Möglichkeit haben, das System zu unterbrechen oder zu stoppen. Eine Person, die Entscheidungen nur formal abnickt, ohne die genannten Fähigkeiten zu haben, erfüllt diese Anforderung nicht.
Die Grundrechte-Folgenabschätzung (Art. 27): wann sie Pflicht ist
Eine Grundrechte-Folgenabschätzung (Fundamental Rights Impact Assessment, FRIA) ist nicht für jeden Betreiber eines Hochrisiko-Systems Pflicht – sie betrifft vor allem öffentliche Stellen sowie private Betreiber, die bestimmte öffentliche Dienstleistungen erbringen oder Systeme für Kreditwürdigkeitsprüfung bzw. Risikobewertung in der Lebens- und Krankenversicherung einsetzen. Wichtig für die Praxis: Die Pflicht entsteht bei der ERSTEN Verwendung eines konkreten Hochrisiko-Systems, nicht bei jeder einzelnen Nutzung – und ein Betreiber kann sich auf eigene frühere Abschätzungen in vergleichbaren Fällen oder auf eine bereits vorhandene Folgenabschätzung des Anbieters stützen, statt bei null anzufangen.
Die sechs Pflichtelemente im Detail
- Verfahrensbeschreibung: wofür genau wird das System eingesetzt, in welchem Prozess ist es eingebettet.
- Nutzungszeitraum und -häufigkeit: wie oft und über welchen Zeitraum wird das System tatsächlich verwendet.
- Betroffene Personenkreise: wer konkret von den Entscheidungen des Systems betroffen ist.
- Spezifische Schadensrisiken: welche konkreten Grundrechte-Risiken für diese Personenkreise bestehen.
- Maßnahmen zur menschlichen Aufsicht: wie die Aufsicht aus Art. 14 in diesem konkreten Fall organisiert ist.
- Risikominimierungskonzepte: welche Maßnahmen die identifizierten Risiken konkret reduzieren.
Praxis-Teil: So baut ihr eine erste FRIA auf
In der Praxis lohnt es sich, die FRIA nicht als komplett neue Übung zu behandeln: Wer bereits eine Datenschutz-Folgenabschätzung (DPIA) nach DSGVO für ein ähnliches System durchgeführt hat, kann große Teile der Struktur – betroffene Personenkreise, Risiken, Schutzmaßnahmen – wiederverwenden und um die AI-Act-spezifischen Elemente ergänzen. Verantwortlich ist meist dieselbe Stelle, die auch Datenschutz-Folgenabschätzungen verantwortet (Datenschutzbeauftragte oder eine vergleichbare Compliance-Funktion), ergänzt um technisches Fachwissen zum konkreten System. Wichtig: einmal bei erster Nutzung dokumentieren, nicht bei jedem Einzelfall neu – aber überarbeiten, sobald sich der Einsatzzweck oder die betroffenen Personenkreise wesentlich ändern. Diese Einordnung ersetzt keine Rechtsberatung im Einzelfall.