Souveräne KI
Souveräne KI bedeutet die Nutzung von Künstlicher Intelligenz ohne Abhängigkeit von US-Hyperscalern. Mit Open-Source-Sprachmodellen wie Mistral, Llama, Qwen und DeepSeek lassen sich vollständig DSGVO-konforme, lokal gehostete KI-Lösungen für Verwaltung, Mittelstand und KRITIS aufbauen — ohne dass ein einziger Token Daten an US-Anbieter abfließt. DATUREX kombiniert Open-Source-LLM-Engineering, EU-AI-Act-Compliance und DSGVO-Beratung zu einem schlüssigen Souveränitäts-Konzept.
Was ist Souveräne KI?
Mit der EU-KI-Verordnung (AI Act, in Kraft seit August 2024) und der DSGVO steigen die Anforderungen an KI-Anwendungen drastisch. Gleichzeitig zeigt sich in der Praxis: ChatGPT, Microsoft Copilot und Google Gemini erfüllen die Anforderungen für Behörden und KRITIS-Betreiber häufig nicht — wegen Datenflüssen in die USA, intransparentem Training und fehlender Auditierbarkeit. Souveräne KI mit Open-Source-Modellen schließt genau diese Lücke.
Die drei Säulen souveräner KI sind quelloffene Modelle (Mistral, Llama, Qwen, DeepSeek, Phi, Granite — alle mit offenen Gewichten), lokale Inference (Ollama, vLLM, llama.cpp, Text Generation Inference) auf eigener Hardware und EU-Hosting bei Hetzner, IONOS, OVHcloud oder im eigenen Rechenzentrum. Damit bleibt die gesamte Wertschöpfungskette in Europa.
DATUREX entwickelt souveräne KI-Lösungen end-to-end: von der Architekturberatung über Modellauswahl und Hardware-Dimensionierung bis zum produktiven Betrieb mit Audit-Logs. Wir kombinieren das mit EU-AI-Act-Compliance — denn Open-Source allein macht KI nicht automatisch konform. Das Zusammenspiel aus dem richtigen Modell, der richtigen Architektur und der richtigen Dokumentation ist entscheidend.
Souveräne KI — Architektur und Hosting
Souveräne KI bedeutet die Nutzung von Künstlicher Intelligenz ohne Abhängigkeit von OpenAI, Anthropic oder Google. Mit Open-Source-Sprachmodellen wie Mistral, Llama, Qwen und DeepSeek lassen sich vollständig DSGVO-konforme, lokal gehostete KI-Lösungen für Verwaltung, Mittelstand und KRITIS aufbauen — ohne dass ein einziger Token Daten an US-Anbieter abfließt.
Bundesregierung und Länder treiben den Wechsel zu Open Source aktiv voran. Das Zentrum für Digitale Souveränität (ZenDiS), die Deutsche Verwaltungscloud (DVC) und Initiativen wie openDesk markieren einen klaren Kurswechsel. Souveräne KI ist die natürliche Erweiterung dieses Kurses in den KI-Bereich. DATUREX kombiniert Open-Source-LLM-Engineering, EU-AI-Act-Compliance und DSGVO-Beratung zu einem schlüssigen Souveränitäts-Konzept — von der Hardware-Auswahl über die RAG-Architektur bis zur vollständigen Audit-Dokumentation.
Was beinhaltet Souveräne KI?
- ✓ Open-Source-LLM-Architektur mit Mistral, Llama 3.3, Qwen 2.5, DeepSeek
- ✓ Lokale Inference auf Ollama, vLLM, TGI oder llama.cpp
- ✓ RAG-Architektur mit Qdrant, Weaviate oder Chroma plus BGE-M3 Embeddings
- ✓ EU-Hosting bei Hetzner, IONOS, OVHcloud oder On-Premise
- ✓ EU AI Act Compliance-Dokumentation für jedes Modell
- ✓ Schulung interner Teams im Betrieb souveräner KI-Stacks
Ihre Vorteile
Open-Source-Stack im Überblick
| Anwendungsfall | Closed-Source | Souveräne Open-Source-Alternative |
|---|---|---|
| Allgemeiner Chat-Assistent | ChatGPT, Claude, Gemini | Mistral Large, Llama 3.3, Qwen 2.5 |
| Code-Assistent | GitHub Copilot, Cursor | DeepSeek-Coder, Qwen-Coder |
| RAG / Wissensdatenbank | Azure AI Search, OpenAI Assistants | Qdrant, Weaviate, Chroma + Mistral |
| Embeddings | text-embedding-3-large (OpenAI) | BGE-M3, E5, Jina Embeddings |
| Sprache zu Text | Whisper API (OpenAI Cloud) | Whisper local, Faster-Whisper |
| Inference-Server | Azure AI, OpenAI API | vLLM, Ollama, TGI, llama.cpp |
| Agenten-Framework | OpenAI Assistants | LangChain, LlamaIndex, n8n + Mistral |
Hardware-Anforderungen für souveräne KI
Lokale Inference benötigt GPU-Speicher. Anhaltspunkte für die Dimensionierung:
7B-Modelle
Mistral 7B, Llama 3.1 8B — 16 GB VRAM, läuft auf RTX 4090 oder A6000.
32B-Modelle
Qwen 2.5 32B, Mistral Small — 48-64 GB VRAM, A100/H100 oder 2× RTX 4090.
70B-Modelle
Llama 3.3 70B — 80-140 GB VRAM, H100 oder 2-4× A100.
Sehr große Modelle
DeepSeek V3 671B, Llama 3.1 405B — Mehrere H100/H200 (Cluster).
Für viele Anwendungsfälle reicht ein 32B-Modell mit Quantisierung (Q4 oder Q5) auf einer RTX 4090. Für Behörden-Größen empfehlen wir On-Premise-Server bei Hetzner, IONOS oder im eigenen Rechenzentrum.
So gehen wir vor
Unser Prozess folgt einem klaren, praxiserprobten Ablauf — transparent und nachvollziehbar.
Use-Case-Analyse und Modellauswahl
Welche Aufgaben soll die KI übernehmen — allgemeine Assistenz, Code-Generierung, RAG auf eigene Wissensdatenbank, Dokumentenanalyse? Daraus leiten wir das passende Open-Source-Modell ab: Mistral Large für allgemein, DeepSeek-Coder für Programmierung, Qwen 32B für deutsche Sprache.
Hardware-Dimensionierung
GPU-Auswahl (RTX 4090, A6000, A100, H100), VRAM-Bedarf je nach Modellgröße und Quantisierung. 7B-Modelle laufen auf 16 GB VRAM, 32B-Modelle benötigen 48-64 GB, 70B-Modelle 80-140 GB. Bei sehr großen Modellen Cluster-Dimensionierung.
Stack-Aufbau
Inference-Server (vLLM oder Ollama), Vektordatenbank für RAG (Qdrant), API-Gateway, Load-Balancer, Monitoring (Prometheus + Grafana), Audit-Logs nach EU AI Act Anforderungen.
EU AI Act Dokumentation
Vollständige technische Dokumentation nach Anhang IV: Trainingsdaten-Herkunft, Modellarchitektur, Bias-Tests, Performance-Metriken, menschliche Aufsichtsmechanismen. Bei Hochrisiko-KI auch Konformitätserklärung.
Schulung und Übergabe
Schulung der internen IT auf Wartung, Modell-Updates und Monitoring. Schulung der End-Anwender auf souveräne KI-Tools. Übergabe der vollständigen Dokumentation und des Source-Codes.
Laufender Betrieb
Optional: laufende Betreuung mit monatlichen Modell-Updates, Sicherheits-Patches, Performance-Optimierung und Erweiterung der RAG-Wissensdatenbank.
Aus der Praxis: Versorgungswerk mit 35.000 Mitgliedern
Ein Versorgungswerk wollte seinen Mitgliederservice mit KI-Unterstützung modernisieren — Beantwortung wiederkehrender Fragen zu Beiträgen, Leistungen und Antragsstellung über einen Chat-Assistenten. ChatGPT war wegen DSGVO und sensibler Versichertendaten nicht möglich.
Die typischen US-API-Anbieter scheiterten an drei Hürden: Datenschutzrechtliche Bewertung der Token-Verarbeitung in den USA, fehlende Auftragsverarbeitungsverträge nach Art. 28 DSGVO und das CLOUD-Act-Risiko. Auch deutsche Anbieter wie Aleph Alpha kamen in Frage, schieden aber wegen begrenzter Funktionalität aus.
DATUREX baute eine RAG-Architektur mit Mistral Large als Sprachmodell, BGE-M3 für Embeddings und Qdrant als Vektordatenbank. Die Wissensbasis (Satzungen, Leistungskataloge, FAQs) wurde indiziert. Inference auf einem A100-Server bei Hetzner in Falkenstein, vollständig DSGVO-konform. Implementierung in 6 Wochen.
Der Mitgliederservice-Chat beantwortet 73 Prozent der Anfragen vollautomatisch korrekt, weitere 18 Prozent werden mit Mensch-in-Schleife beantwortet. Die durchschnittliche Antwortzeit sank von 2 Tagen auf unter 15 Minuten. Betriebskosten 1.100 Euro pro Monat — gegenüber geschätzt 6.000-12.000 Euro bei OpenAI bei vergleichbarem Volumen.
Beispiel-Szenario: realistisch konstruierter Fall zur Veranschaulichung unseres Vorgehens — kein konkretes Kundenmandat.
Rechtliche Grundlage (EU AI Act)
Auch wer souveräne KI einsetzt, muss die KI-Kompetenz seiner Mitarbeiter sicherstellen — Open-Source-Modelle entbinden nicht von Art. 4.
Auch Open-Source-General-Purpose-KI unterliegt den GPAI-Pflichten nach Art. 51 ff. EU AI Act; bei systemischem Risiko (u. a. ab bestimmten FLOPs-Schwellen) gelten erweiterte Pflichten. Mistral 7B, Llama 3 8B liegen darunter; sehr große Modelle (Llama 3 405B, DeepSeek V3) können die Schwelle überschreiten.
Konkrete Pflichten beim Einsatz von Hochrisiko-KI — auch bei Open-Source-Modellen unverändert anwendbar.
Bei Hosting-Diensten (Hetzner, IONOS) ist trotz EU-Sitz ein Auftragsverarbeitungsvertrag erforderlich — bei On-Premise entfällt diese Pflicht.
Häufige Fehler, die wir vermeiden
- Open Source automatisch mit DSGVO-Konformität gleichzusetzen. Auch Open-Source-Modelle benötigen die korrekte technisch-organisatorische Implementierung — falsch konfiguriert leakt auch ein lokales LLM Daten.
- Hardware-Anforderungen unterschätzen. Ein 70B-Modell mit Q4-Quantisierung benötigt mindestens eine A100 mit 80 GB. Auf einer RTX 4090 läuft es nicht performant.
- Modelle ohne klare Lizenz-Prüfung einsetzen. Llama 3 hat eine eigene Lizenz, die kommerzielle Nutzung in bestimmten Größenordnungen einschränkt — Mistral und Qwen haben dagegen Apache-2.0-Lizenzen.
- Den EU AI Act bei Open-Source-Einsatz ignorieren. Die Verordnung gilt unabhängig davon, ob das Modell Open Source oder Closed Source ist — entscheidend ist der Einsatzzweck und das Risiko.
Häufig gestellte Fragen
Welche Open-Source-Modelle sind aktuell empfehlenswert?
Können wir ChatGPT in der Verwaltung einsetzen?
Was kostet eine lokale KI-Installation im Vergleich zu OpenAI API?
Wie sieht eine typische Architektur für souveräne RAG aus?
Brauchen wir trotz Open-Source-KI einen KI-Beauftragten?
Bereit für rechtssichere KI-Compliance?
Vereinbaren Sie jetzt Ihre kostenlose Erstberatung — 15 Minuten für den ersten Schritt.
Jetzt Erstberatung vereinbaren