ChatGPT & Co. rechtssicher im Unternehmen einsetzen (GPAI)

Die Nutzung generativer KI wie ChatGPT, Claude, Gemini oder Microsoft Copilot ist in deutschen Unternehmen längst Alltag. Für diese Systeme hat der EU AI Act eine eigene Kategorie geschaffen: GPAI (General Purpose AI) — allgemeine KI-Modelle, die für vielfältige Zwecke einsetzbar sind. Für Betreiber entstehen daraus konkrete Pflichten, die oft übersehen werden.

Dieser Ratgeber erklärt, welche Pflichten beim GPAI-Einsatz greifen, was es mit dem seit August 2025 geltenden Code of Practice auf sich hat und wie Unternehmen ihre generative KI rechtssicher einsetzen.

Was ist GPAI und warum eigene Regeln?

Der EU AI Act (Verordnung 2024/1689) definiert in Art. 3 Nr. 63 GPAI-Modelle als KI-Modelle mit „signifikanter Allgemeinheit”, die für eine Vielzahl unterschiedlicher Aufgaben geeignet sind und in nachgelagerte Systeme integriert werden können. Klassische Vertreter:

• OpenAI (GPT-Reihe, Basis für ChatGPT und API)
• Anthropic (Claude-Familie)
• Google (Gemini)
• Meta (Llama)
• Mistral

Konkrete Modellversionen wechseln laufend — die regulatorische Einordnung als GPAI bleibt.

Für diese Modelle gelten eigenständige Pflichten nach Art. 53–56 EU AI Act, ergänzt um besondere Regeln für GPAI mit systemischem Risiko (Art. 51 ff.) — primär die Top-Modelle mit besonders hoher Rechenleistung und Verbreitung.

Der Grund für die eigene Regulierung: GPAI-Modelle werden in tausende Anwendungen eingebettet. Wer ChatGPT im Unternehmen nutzt, baut auf einem Foundation Model auf, dessen Trainingsdaten, Schwachstellen und Bias-Profile er selbst kaum beeinflussen kann. Die Regulierung verlagert daher grundsätzliche Pflichten zum Anbieter des Modells (OpenAI, Anthropic etc.) und lässt dem Betreiber nur die einsatzbezogenen Pflichten.

Die Rollen: Anbieter vs. Betreiber bei GPAI

Für deutsche Unternehmen, die ChatGPT nutzen, ist die Rollenabgrenzung zentral:

OpenAI (als Anbieter) ist verpflichtet:

• Technische Dokumentation bereitzustellen (Art. 53 Abs. 1 lit. a)
• Informationen an nachgelagerte Anbieter zu liefern (Art. 53 Abs. 1 lit. b)
• Eine Zusammenfassung der verwendeten Trainingsdaten zu veröffentlichen (Art. 53 Abs. 1 lit. d)
• Bei systemisch relevanten Modellen: Risikobewertung, Incident Reporting, Cybersicherheit (Art. 55)

Sie (als Betreiber) sind verpflichtet:

• Art. 4: KI-Kompetenzpflicht für alle Mitarbeiter, die mit ChatGPT arbeiten (siehe Art. 4 Ratgeber)
• Art. 50: Transparenzpflichten — generative KI-Outputs müssen als solche kenntlich gemacht werden
• DSGVO: Auftragsverarbeitung, Drittland-Transfer (bei OpenAI: USA), Datenminimierung
• Datenschutz: Keine Eingabe personenbezogener Daten in freie Prompts ohne Absicherung

Wichtig: Sobald Sie ChatGPT für Hochrisiko-Anwendungen einsetzen (z.B. automatisiertes Bewerberscreening), treffen Sie als Betreiber die vollen Betreiberpflichten nach Art. 26 (menschliche Aufsicht, Monitoring, bestimmungsgemäßer Einsatz). Wer das System zusätzlich wesentlich verändert oder unter eigenem Namen in Verkehr bringt, kann nach Art. 25 in die Anbieterrolle mit den Anhang-IV-Pflichten rücken. Das ist die häufigste unterschätzte Falle.

Der GPAI Code of Practice — seit August 2025

Im August 2025 ist der EU GPAI Code of Practice der EU-Kommission in Kraft getreten. Er ist ein freiwilliger Verhaltenskodex für GPAI-Anbieter, an den sich OpenAI, Anthropic, Google und die meisten anderen großen Player gebunden haben.

Für Sie als Betreiber ist das relevant, weil der Code of Practice:

• Transparenz bei Trainingsdaten verbessert — Sie wissen besser, was in die Modelle geflossen ist
• Urheberrechtsfragen strukturiert — die Anbieter müssen Mechanismen für Opt-Out bereithalten
• Incident Reporting verbessert — schwere Vorfälle werden schneller gemeldet
• Cyber-Sicherheit erhöht — GPAI mit systemischem Risiko muss Security-Audits nachweisen

Im Rahmen der vertraglichen Beziehungen zu Ihren GPAI-Anbietern (API-Verträge, Enterprise-Abos) sollten Sie prüfen: Bekennt sich der Anbieter öffentlich zum Code of Practice? Sind die Berichtsverpflichtungen für Sie nachvollziehbar?

Die 5 häufigsten GPAI-Risiken im Unternehmen

Risiko 1: Datenlecks durch Mitarbeiter-Prompts

Ein Klassiker: Mitarbeiter kopieren Kundenlisten, Gehaltsdaten oder Strategieunterlagen in ChatGPT-Prompts, um Zusammenfassungen oder Übersetzungen zu bekommen. Die Daten werden bei OpenAI auf US-Servern verarbeitet und können — je nach Abo-Modell — zum Training genutzt werden.

Mitigation:

• Enterprise-Verträge mit „no training” Clauses
• Prompt-Policy: Was darf in KI-Tools eingegeben werden, was nicht?
• Technische Kontrolle über Browser-Plugins, DLP-Systeme
• Art. 4 Schulung für alle

Risiko 2: Halluzinierte Fakten in Kundenkommunikation

Generative KI produziert je nach Aufgabe und Modell einen relevanten Anteil sachlich falscher Aussagen (Halluzinationen) — oft mit trügerischem Selbstbewusstsein vorgetragen. Wenn Mitarbeiter KI-Outputs ungeprüft weitergeben (Angebote, Verträge, Rechtsberatung), entstehen Haftungsrisiken.

Mitigation:

• Klare Nutzungsregeln: KI-Output ist Entwurf, nie Endprodukt
• Vier-Augen-Prinzip für externe Kommunikation
• Dokumentierte Freigabeprozesse
• Qualifikation der Nutzer (gezielte Schulung zu Halluzinations-Risiken)

Risiko 3: Urheberrechtsverletzungen bei KI-Outputs

KI-generierte Bilder, Texte oder Code können versehentlich geschütztes Material reproduzieren. Für den Betreiber ist die Rechtslage noch uneinheitlich, aber zivilrechtliche Risiken bestehen.

Mitigation:

• Nutzung von KI-Outputs für kommerzielle Zwecke nur nach interner Prüfung
• Bei kritischen Assets (Marketing-Bilder, Produktvideos): menschliche Erstellung bevorzugen
• Protokollierung der Prompts und Outputs für Nachvollziehbarkeit

Risiko 4: Bias und Diskriminierung

GPAI-Modelle haben bekannte Bias-Probleme: Ethnizität, Geschlecht, Alter werden in Empfehlungen oft stereotyp gewichtet. Wer ChatGPT für Bewerbungsvorauswahl oder Kundenpriorisierung einsetzt, übernimmt diese Verzerrungen.

Mitigation:

• Niemals automatisierte Entscheidungen ohne menschliche Prüfung
• Bei Hochrisiko-Einsätzen: vollständige KI-Folgenabschätzung (Anleitung)
• Regelmäßige Bias-Tests mit strukturierten Referenzfällen

Risiko 5: Vertragsbruch durch Drittland-Transfer

Die meisten GPAI-Anbieter betreiben ihre Infrastruktur in den USA. Ohne EU-Hosting-Option (wie sie OpenAI für Enterprise-Kunden inzwischen anbietet) werden personenbezogene Daten in die USA transferiert — DSGVO Art. 44 ff. greift.

Mitigation:

• Enterprise-Verträge mit EU-Data-Residency
• Standardvertragsklauseln (SCC) vereinbaren
• Datenminimierung in Prompts

Was Unternehmen konkret tun sollten

Aus der Mandatspraxis hat sich ein pragmatisches 6-Punkte-Programm bewährt:

1. Inventarisierung aller GPAI-Nutzung — offizielle und Schatten-IT-Nutzung. Schritt eins jeder belastbaren Compliance.
2. Enterprise-Verträge dort, wo ernsthaft genutzt wird — Consumer-Abos sind für Unternehmensdaten ungeeignet.
3. Prompt-Policy erlassen und kommunizieren — welche Daten dürfen in welche Tools?
4. Schulung nach Art. 4 — mit GPAI-spezifischem Modul (Halluzinationen, Datenschutz, Bias).
5. Freigabeprozess für Hochrisiko-Einsätze — Bewerberscreening, Scoring, Content Moderation immer mit KI-Folgenabschätzung.
6. Monitoring — welche Outputs werden tatsächlich genutzt, gab es Vorfälle? Monatlicher Review.

Wie DATUREX unterstützt

Die GPAI-Compliance ist typischer Bestandteil unserer Mandate — gerade weil fast alle Unternehmen mittlerweile ChatGPT, Copilot oder ähnliches einsetzen. In der Praxis übernehmen wir:

• Inventarisierung und Einstufung aller GPAI-Nutzungen (Teil der KI-Inventarisierung)
• Prompt-Policy gemeinsam mit Ihrer IT, HR und Fachabteilungen entwickeln
• Schulungen inkl. GPAI-spezifischer Module
• Enterprise-Vertrags-Review mit Blick auf AI-Act- und DSGVO-Konformität
• Folgenabschätzungen für GPAI-Einsätze in Hochrisiko-Bereichen

Als externer KI-Beauftragter ist diese Arbeit Teil der laufenden Paketleistungen — kein Zusatzaufwand.

Fazit

GPAI-Nutzung ist kein Compliance-Sonderfall mehr, sondern der Normalfall. Wer ChatGPT und Co. im Unternehmen einsetzt, braucht klare Regeln, qualifizierte Nutzer und saubere Verträge — sonst entstehen Haftungsrisiken, die die Produktivitätsgewinne schnell auffressen. Mit strukturiertem Vorgehen und einem gelebten Compliance-Prozess ist die rechtssichere Nutzung auch für mittelständische Unternehmen gut beherrschbar.