KI-Folgenabschätzung
Bestimmte KI-Anwendungen erfordern eine vertiefte Analyse ihrer gesellschaftlichen und individuellen Folgen — insbesondere bei Hochrisikosystemen in Bereichen wie Personalwesen, Kreditvergabe oder öffentliche Verwaltung. DATUREX führt strukturierte KI-Folgenabschätzungen (AI Impact Assessments) durch, die sowohl technische als auch ethische Risiken adressieren und konkrete Mitigationsmaßnahmen definieren.
Was ist KI-Folgenabschätzung?
Die KI-Folgenabschätzung — im Englischen AI Impact Assessment, häufig auch AI Folgenabschätzung oder Grundrechts-Folgenabschätzung (Fundamental Rights Impact Assessment, FRIA) genannt — ist der in der Praxis am häufigsten übersehene Compliance-Baustein. Art. 27 EU AI Act verpflichtet bestimmte Betreiber von Hochrisiko-KI — insbesondere öffentliche Stellen und bestimmte private Akteure im Bereich kritischer Dienstleistungen — eine strukturierte Analyse der Auswirkungen auf Grundrechte durchzuführen, bevor das System eingesetzt wird.
Im Unterschied zur klassischen Datenschutz-Folgenabschätzung (nach Art. 35 DSGVO) geht die Grundrechts-Folgenabschätzung über den reinen Datenschutz hinaus: Sie adressiert alle Grundrechte, die durch das System betroffen sein können — Diskriminierungsfreiheit, Freiheitsrechte, Informationsrechte, wirtschaftliche Teilhabe. Praktisch bedeutet das: Eine KI zur Bewerber-Vorauswahl erfordert nicht nur eine Datenschutz-Folgenabschätzung für die Personaldatenverarbeitung, sondern zusätzlich eine Grundrechts-Folgenabschätzung, die Diskriminierungsrisiken nach Alter, Geschlecht, ethnischer Herkunft und weiteren Merkmalen analysiert.
In vielen Fällen lassen sich Datenschutz- und Grundrechts-Folgenabschätzung sinnvoll kombinieren — ein einziges strukturiertes Dokument, das beide Regelwerke abdeckt. Das ist effizienter und vermeidet Widersprüche zwischen parallel erstellten Bewertungen. Unser Ansatz: wenn beide Pflichten greifen, erstellen wir eine integrierte Datenschutz- und Grundrechts-Folgenabschätzung mit einheitlicher Methodik und doppeltem rechtlichem Nutzen.
Grundrechts-Folgenabschätzung nach Art. 27 — Schritt für Schritt
Eine KI-Folgenabschätzung — im Englischen AI Impact Assessment — ist eine vertiefte Analyse der möglichen Auswirkungen eines KI-Systems auf betroffene Personen und die Gesellschaft. Sie geht über die technische Risikobewertung hinaus und fragt: Können bestimmte Gruppen durch dieses System benachteiligt werden? Werden Grundrechte berührt? Sind die Entscheidungen des Systems für Betroffene nachvollziehbar und anfechtbar?
Die Pflicht zur Grundrechts-Folgenabschätzung (Fundamental Rights Impact Assessment, FRIA) nach Art. 27 EU AI Act trifft nicht jeden Betreiber eines Hochrisiko-Systems. Sie richtet sich vor allem an öffentlich-rechtliche Einrichtungen und private Erbringer öffentlicher Dienste, die ein Hochrisiko-System nach Anhang III einsetzen (außer Nr. 2), sowie an Betreiber von KI zur Bonitäts- bzw. Kreditwürdigkeitsprüfung (Anhang III Nr. 5 b) und zur Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung (Anhang III Nr. 5 c).
Die FRIA und die Datenschutz-Folgenabschätzung (DSFA) nach Art. 35 DSGVO sind zwei getrennte, aber verwandte Instrumente: Wo bereits eine DSFA durchgeführt wurde, ergänzt die FRIA diese (Art. 27 Abs. 4 EU AI Act) — sie ersetzt sie nicht. Während die DSFA auf den Schutz personenbezogener Daten zielt, betrachtet die FRIA die Auswirkungen des Systems auf Grundrechte insgesamt. DATUREX führt beide Abschätzungen nach einem strukturierten Verfahren durch und verzahnt sie, wo es sinnvoll ist. Das Ergebnis ist ein dokumentierter Bericht, der zeigt, dass Sie die Folgen Ihres KI-Einsatzes sorgfältig abgewogen haben — und der konkrete Mitigationsmaßnahmen für identifizierte Risiken enthält.
FRIA-Pflicht-Check: Müssen Sie eine Folgenabschätzung durchführen?
Drei Fragen genügen für eine erste Einordnung nach Art. 27 EU AI Act — das Ergebnis erscheint sofort:
Hinweis: Der Check ersetzt keine Rechtsberatung — er ordnet Ihren Fall nach Art. 27 Abs. 1 EU AI Act grob ein. Ausnahme: Beim Einsatz als Sicherheitskomponente kritischer Infrastruktur (Anhang III Nr. 2) entfällt die FRIA-Pflicht.
Anhang III im Überblick: Die acht Hochrisiko-Bereiche
Ob eine FRIA-Pflicht besteht, hängt am Anhang III des EU AI Act. Dort sind acht Einsatzbereiche definiert, in denen KI-Systeme als Hochrisiko gelten:
- 1
Biometrie
Biometrische Fernidentifizierung, biometrische Kategorisierung nach sensiblen Merkmalen, Emotionserkennung.
FRIA-relevant für öffentliche Stellen und Erbringer öffentlicher Dienste
- 2
Kritische Infrastruktur
Sicherheitskomponenten für den Betrieb kritischer digitaler Infrastruktur, Straßenverkehr, Wasser-, Gas-, Wärme- und Stromversorgung.
Ausdrücklich von der FRIA-Pflicht ausgenommen (Art. 27 Abs. 1)
- 3
Bildung und berufliche Ausbildung
Zulassung, Lernbewertung, Prüfungsüberwachung, Zuweisung zu Bildungsgängen.
FRIA-relevant — Bildungsträger sind typische Erbringer öffentlicher Dienste
- 4
Beschäftigung und Personalmanagement
KI im Recruiting (Stellenausschreibung, Bewerbungssichtung, Auswahl), bei Beförderung, Kündigung, Aufgabenzuweisung und Leistungsüberwachung.
FRIA-relevant für öffentliche Arbeitgeber; der in der Praxis am häufigsten übersehene Bereich
- 5
Zugang zu wesentlichen Diensten
Anspruchsprüfung bei öffentlichen Leistungen, Bonitäts-/Kreditwürdigkeitsprüfung (Nr. 5 b), Risikobewertung und Preisbildung in Lebens- und Krankenversicherung (Nr. 5 c), Priorisierung von Notrufen.
FRIA-Pflicht bei Nr. 5 b und 5 c auch für rein private Unternehmen
- 6
Strafverfolgung
Risikobewertung von Personen, Beweismittelbewertung, Profiling im Strafverfahren.
FRIA-relevant
- 7
Migration, Asyl und Grenzkontrolle
Risiko- und Sicherheitsbewertungen, Prüfung von Asyl- und Visumanträgen, Identifizierung von Personen.
FRIA-relevant
- 8
Rechtspflege und demokratische Prozesse
KI-Unterstützung bei der richterlichen Sachverhalts- und Rechtsanwendung, Systeme zur Beeinflussung von Wahlen und Abstimmungen.
FRIA-relevant
Vertiefung mit Beispielen je Bereich: Anhang III — Hochrisiko-KI im Detail.
Was beinhaltet KI-Folgenabschätzung?
- ✓ Prüfung der Notwendigkeit einer Grundrechts-Folgenabschätzung anhand EU AI Act Kriterien
- ✓ Analyse potenzieller Auswirkungen auf Grundrechte und vulnerable Gruppen
- ✓ Bewertung von Bias-Risiken in Trainingsdaten und Modellentscheidungen
- ✓ Entwicklung konkreter Mitigationsmaßnahmen für identifizierte Risiken
- ✓ Dokumentierter Folgenabschätzungs-Bericht nach EU-Standardformat
- ✓ Einbindung von Datenschutzbeauftragtem und Betriebsrat
Ihre Vorteile
So gehen wir vor
Unser Prozess folgt einem klaren, praxiserprobten Ablauf — transparent und nachvollziehbar.
Pflicht-Prüfung der Folgenabschätzung
Zuerst die Vorfrage: Ist für dieses System überhaupt eine Grundrechts-Folgenabschätzung nach Art. 27 erforderlich? Prüfung des Betreibertyps (öffentlich/privat, Branche) und des Einsatzzwecks.
Systembeschreibung und Zweckanalyse
Detaillierte Beschreibung des Systems, der Datenflüsse, der betroffenen Personengruppen und der angestrebten Entscheidungen. Grundlage aller weiteren Bewertungen.
Grundrechts-Mapping
Systematische Identifikation aller potenziell betroffenen Grundrechte — nicht nur Datenschutz, sondern auch Gleichbehandlung, Nicht-Diskriminierung, Informationsrechte, wirtschaftliche und soziale Rechte.
Risikobewertung je Grundrecht
Pro identifiziertem Grundrecht: Eintrittswahrscheinlichkeit und Schwere potenzieller Beeinträchtigung. Qualitative Einschätzung mit dokumentierter Begründung.
Mitigationsmaßnahmen
Für jedes relevante Risiko: konkrete Maßnahmen zur Minimierung — technische (z. B. Bias-Testing), organisatorische (z. B. Vier-Augen-Prinzip) oder verfahrensbezogene (z. B. Beschwerdestelle).
Beteiligung relevanter Parteien
Einbindung von Datenschutzbeauftragtem, Betriebsrat und ggf. externen Stellen (z. B. Gleichstellungsbeauftragte, Schwerbehindertenvertretung). Dokumentation der eingeholten Stellungnahmen.
Finaler Folgenabschätzungs-Bericht
Strukturierter Bericht mit Fazit, konkreten Maßnahmen und Monitoring-Plan. Grundlage für die Einsatzfreigabe durch die Geschäftsleitung.
Aus der Praxis: Kreditinstitut mit HR-KI
Eine mittelständische Genossenschaftsbank plante die Einführung einer KI-gestützten Vorauswahl für Stellenbewerbungen. Der Anbieter warb mit "diskriminierungsfreien Algorithmen", ein Nachweis lag nicht bei.
Vor der Einführung war unklar: Welche rechtlichen Risiken birgt das System konkret? Welche Nachweise müssen wir führen? Wie binden wir den Betriebsrat rechtzeitig ein?
Wir führten eine integrierte Datenschutz- und Grundrechts-Folgenabschätzung durch. Kernpunkte: Analyse der Trainingsdaten-Quelle (wurde das Modell auf repräsentativen Bewerberdaten trainiert?), Bias-Testing gegen vier geschützte Merkmale (Alter, Geschlecht, Nationalität, Elternschaft), Dokumentation der Entscheidungsarchitektur (rein vorsortierend, oder entscheidungsersetzend?), Einbindung von Betriebsrat und Schwerbehindertenvertretung.
Das System wurde mit zwei Auflagen eingeführt: (1) Keine automatische Ablehnung — nur Ranking zur manuellen HR-Prüfung, (2) Quartalsweise Bias-Nachmessung durch einen externen Datendienstleister. Die Grundrechts-Folgenabschätzung wurde vom Betriebsrat formal zur Kenntnis genommen, die Einführung erfolgte ohne Widerspruch. Zwei spätere BaFin-Rückfragen zur KI-Nutzung konnten mit dem Folgenabschätzungs-Dokument direkt beantwortet werden.
Beispiel-Szenario: realistisch konstruierter Fall zur Veranschaulichung unseres Vorgehens — kein konkretes Kundenmandat.
Rechtliche Grundlage (EU AI Act)
Verpflichtende Grundrechts-Folgenabschätzung für bestimmte Betreiber von Hochrisiko-KI, insbesondere öffentliche Stellen und private Akteure in kritischen Dienstleistungsbereichen.
Übergeordnetes System zum Umgang mit Risiken bei Hochrisiko-KI — die Grundrechts-Folgenabschätzung ist ein Bestandteil dieses Systems.
Pflicht zur Datenschutz-Folgenabschätzung bei hohem Risiko für die Rechte und Freiheiten natürlicher Personen. Grundrechts-Folgenabschätzung (Art. 27 EU AI Act) und Datenschutz-Folgenabschätzung (Art. 35 DSGVO) sind zwei getrennte Instrumente — die FRIA ergänzt die DSFA (Art. 27 Abs. 4), ersetzt sie nicht.
Häufige Fehler, die wir vermeiden
- Grundrechts- und Datenschutz-Folgenabschätzung als getrennte Projekte zu behandeln. Wo beide Pflichten greifen, ist ein integriertes Dokument effizienter und widerspruchsfreier.
- Die Grundrechts-Folgenabschätzung nur auf technische Bias-Tests zu reduzieren. Grundrechte-Auswirkungen haben auch organisatorische, verfahrensbezogene und gesellschaftliche Dimensionen.
- Betriebsrat und Gleichstellungsbeauftragte erst am Ende einzubinden. Frühzeitige Beteiligung erhöht die Qualität der Analyse und vermeidet spätere Konflikte.
- Folgenabschätzungs-Berichte als rein interne Dokumente zu behandeln. Bei Aufsichtsfragen sollte das Dokument in zwei Tagen vorlegbar sein — entsprechende Ablage und Aktualisierung vorausgesetzt.
Häufig gestellte Fragen
Ist die Grundrechts-Folgenabschätzung für jedes Hochrisikosystem verpflichtend?
Kann die Grundrechts-Folgenabschätzung auch nachträglich erstellt werden?
Wie unterscheidet sich die Grundrechts-Folgenabschätzung von einer Datenschutz-Folgenabschätzung?
Was kostet eine Grundrechts-Folgenabschätzung?
Bereit für rechtssichere KI-Compliance?
Vereinbaren Sie jetzt Ihre kostenlose Erstberatung — 15 Minuten für den ersten Schritt.
Jetzt Erstberatung vereinbaren