Künstliche Intelligenz prägt bereits die Art und Weise, wie Unternehmen agieren und investieren. 2025, gaben 88 % der Unternehmen an, KI in mindestens einem Geschäftsbereich zu nutzen, und 92 % der Unternehmen gaben an, ihre KI-Investitionen in den nächsten drei Jahren erhöhen zu wollen. 

Doch in regulierten Branchen wie dem Gesundheitswesen, Finanzdienstleistungen und Bildung ist der Weg vom Pilotprojekt zur Produktion selten geradlinig. Viele Organisationen demonstrieren KI erfolgreich in kontrollierten Umgebungen, doch es fällt ihnen schwer, diese Systeme in den realen Betrieb zu überführen. Projekte geraten oft ins Stocken, Kosten steigen, und die Führungsebene beginnt, die Initiative in Frage zu stellen. In den meisten Fällen zeigen sich die eigentlichen Hindernisse im Engineering-Design, in den Governance-Strukturen und in der regulatorischen Bereitschaft.

Der Aufbau von KI-Systemen für regulierte Umgebungen erfordert eine andere Denkweise als der Aufbau von KI-Produkten in weniger regulierten Sektoren. Compliance kann nicht nachträglich hinzugefügt werden, nachdem das System erstellt wurde. Sie muss das System von Anfang an prägen. Architektur, Datenpipelines, Modellauswahl, Überwachung und menschliche Aufsicht müssen alle die Prüfbarkeit und die regulatorische Überprüfung unterstützen. Werden diese Überlegungen als nachträgliche Ergänzung behandelt, scheitern Projekte oft lange bevor sie die Produktionsreife erreichen.

Um diese Herausforderungen zu bewältigen, ist es notwendig, KI-System-Engineering als eigenständige Disziplin zu betrachten. Sie unterscheidet sich von der KI-Forschung, der Datenwissenschaft oder sogar der traditionellen Softwareentwicklung. Während sich der KI-Forscher auf die Verbesserung von Modellen und der Datenwissenschaftler auf die Gewinnung von Erkenntnissen aus Daten konzentriert, konzentriert sich der KI-Systemingenieur auf die skalierbare Bereitstellung und Orchestrierung von Modellen — wie Modelle zuverlässig in realen Organisationen funktionieren. 

In regulierten Branchen wirkt sich diese Unterscheidung direkt darauf aus, ob KI-Systeme die Produktionsreife erreichen können. Dieser Artikel skizziert, wie Entscheidungsträger KI-Systeme entwerfen, bereitstellen und warten können, die in der Produktion prüfbar, erklärbar und widerstandsfähig bleiben.

Die Regulierungslandschaft: Was sich geändert hat und warum es jetzt wichtig ist

Das regulatorische Umfeld rund um KI entwickelt sich schnell. Was als freiwillige Leitlinien begann, wird nun zu einem durchsetzbaren Gesetz. Regulierungsbehörden geben sich nicht mehr mit der Einhaltung der Vorschriften zum Zeitpunkt der Systeminbetriebnahme zufrieden. Zunehmend erwarten sie von Organisationen, dass sie nachweisen, dass KI-Systeme während ihres gesamten Lebenszyklus sicher, kontrolliert und rechenschaftspflichtig bleiben.

Im Gesundheitswesen und den Biowissenschaften, wird die Aufsicht strukturierter. Die US-amerikanische Food and Drug Administration (FDA) erweitert ihren Rahmen für Software als Medizinprodukt (SaMD), um KI-Systeme zu berücksichtigen, die sich nach der Bereitstellung weiterentwickeln. Ein Schlüsselkonzept ist der Predetermined Change Control Plan (PCCP), der es zugelassenen Systemen ermöglicht, sich im Laufe der Zeit anzupassen — vorausgesetzt, diese Änderungen werden im Voraus dokumentiert und kontrolliert. Gleichzeitig, HIPAA regelt weiterhin, wie Patientendaten in KI-Systemen verwendet werden dürfen, wodurch Datenverarbeitung und Zugriffskontrollen zu einem zentralen technischen Anliegen werden.

In Finanzdienstleistungenwenden Aufsichtsbehörden etablierte Standards für die Modell-Governance direkt auf KI an. Der einflussreichste Rahmen bleibt SR 11-7 zum Modellrisikomanagement, der von US-Bankenaufsichtsbehörden zur Überwachung von Modellen in der Kreditwürdigkeitsprüfung, Betrugserkennung und Risikoanalyse verwendet wird. Im Rahmen dieses Regelwerks müssen Organisationen Modelle validieren, ihr Verhalten über die Zeit überwachen und eine klare Dokumentation darüber führen, wie Entscheidungen getroffen werden. Darüber hinaus müssen Kreditsysteme dem Equal Credit Opportunity Act (ECOA)entsprechen, das vorschreibt, dass automatisierte Kreditentscheidungen erklärbar und frei von diskriminierenden Ergebnissen sein müssen.

Für Bildungs- und EdTech-Plattformenkonzentriert sich die Regulierung hauptsächlich auf Datenschutz und Rechenschaftspflicht. In den Vereinigten Staaten FERPA (Family Educational Rights and Privacy Act) regelt, wie Studentendaten gesammelt, gespeichert und weitergegeben werden dürfen. Da KI-Systeme beginnen, Empfehlungen zur Schülerleistung oder zu Bildungswegen zu generieren, müssen Institutionen sicherstellen, dass automatisierte Ergebnisse die Privatsphäre der Schüler oder die institutionelle Verantwortung nicht gefährden.

In allen Sektoren wird das EU-KI-Gesetz zu einem globalen Referenzpunkt für die KI-Governance. Es tritt 2025 in Kraft und führt einen risikobasierten Rahmen ein, der KI-Systeme nach ihrem potenziellen Einfluss klassifiziert. Systeme, die in Bereichen wie medizinischer Diagnostik, Kreditwürdigkeitsprüfung oder Bildungsbewertung eingesetzt werden, fallen in die Hochrisiko- Kategorie und müssen strenge Anforderungen an Daten-Governance, Dokumentation, Transparenz und menschliche Aufsicht erfüllen. Nichteinhaltung kann zu Strafen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes.

Diese regulatorischen Entwicklungen zeigen, dass KI-Systeme zunehmend wie kritische Infrastrukturen behandelt werden, von denen erwartet wird, dass sie mit Rechenschaftspflicht und kontinuierlicher Überwachung betrieben werden.

Warum traditionelle Ansätze im KI-System-Engineering scheitern

Die meisten Unternehmen versuchen, diese Herausforderungen im System-Engineering entweder mit reinem Data-Science-Denken oder traditionellen Softwareentwicklungspraktiken zu lösen. Die Erfahrung in regulierten Branchen zeigt, dass keiner der beiden Ansätze allein ausreicht.

1. Die Data-Science-Lücke bei der Entwicklung generativer KI

Die meisten Machine-Learning-Teams messen den Erfolg anhand von Leistungskennzahlen wie Genauigkeit, F1-Scores oder AUC. In einer regulierten Branche ist jedoch ein Modell, das hochpräzise ist, aber seine Argumentation nicht erklären oder Fairness nicht nachweisen kann, ein Haftungsrisiko. 

Eine 2025 McKinsey-Umfrage ergab, dass selbst unter Organisationen, die generative KI aktiv einsetzen, die meisten keine grundlegenden Risikomanagementpraktiken für gängige Fehlerursachen wie Voreingenommenheit oder Ungenauigkeit implementiert hatten.

2. Deterministisches Software-Denken vs. LLM-Engineering

Traditionelle Softwareentwicklung geht von vorhersagbaren Systemen aus. Bei gleicher Eingabe sollte ein Programm jedes Mal die gleiche Ausgabe erzeugen. KI-Systeme funktionieren jedoch anders. Sie sind probabilistisch. Ihr Verhalten hängt von Datenverteilungen, Modelltraining und Veränderungen in der Umgebung im Laufe der Zeit ab. Ein Modell, das heute gut funktioniert, kann sich Monate später anders verhalten, weil sich die zugrunde liegenden Daten verschoben haben.

Standard-Softwarepraktiken – CI/CD-Pipelines und QA-Reviews – wurden nicht entwickelt, um diese langsamen Verschiebungen zu erkennen. Forschung von Googles D. Sculley und Kollegen zeigt, dass in ausgereiften Machine-Learning-Systemen das Modell selbst oft nur ein kleiner Teil des Gesamtsystems ist. Die meiste Komplexität liegt in der umgebenden Infrastruktur, wie Datenpipelines, Feature Stores, Überwachungssystemen und Feedbackschleifen. Wenn diese Komponenten schlecht verwaltet werden, häuft sich technische Schuld schnell an.

3. Die organisatorische Lücke: Compliance als Nebensache

Ein weiterer häufiger Fehlerpunkt ist organisatorischer Natur. In vielen Unternehmen werden Compliance- und Rechtsteams erst am Ende des Entwicklungsprozesses, kurz vor der Einführung, involviert.

Die größten Hindernisse für die Einführung von KI sind jedoch oft organisatorischer und nicht technischer Natur. In regulierten Branchen bedeutet eine späte Einbindung von Compliance-Teams oft, dass das System neu konzipiert werden muss, um regulatorische Anforderungen zu erfüllen. Das kann Projekte um Monate verzögern oder sogar ganz stoppen.

4. Die Anbieterlücke: Der blinde Fleck der geteilten Verantwortung

Der Aufstieg von KI-APIs von Drittanbietern hat zu der gefährlichen Annahme geführt, dass Unternehmen durch die Nutzung eines seriösen KI-Anbieters den Großteil der regulatorischen Verantwortung übertragen können.

In der Praxis ist diese Annahme falsch. Das EU-KI-Gesetz unterscheidet klar zwischen Anbietern (denen, die KI-Systeme entwickeln) und Betreibern (denen, die sie nutzen). Unternehmen, die KI einsetzen, bleiben für Risikomanagement und menschliche Aufsicht verantwortlich, selbst wenn das Modell selbst von einem Anbieter stammt.

Sicherheitsforscher äußern ähnliche Bedenken. Zum Beispiel die OWASP Top 10 für LLM-Anwendungen identifiziert Lieferketten-Schwachstellen als eines der größten Risiken in KI-Systemen. Wenn Organisationen sich auf externe Modelle ohne angemessene Prüfung oder Schutzmaßnahmen verlassen, gehen sie Risiken ein, die Service-Level-Agreements allein nicht beseitigen können.

Diese Lücken erklären, warum viele KI-Projekte in Unternehmen nach vielversprechenden ersten Ergebnissen ins Stocken geraten. Der Aufbau zuverlässiger KI in regulierten Branchen erfordert etwas anderes – einen System-Engineering-Ansatz, der speziell für probabilistische Systeme entwickelt wurde, die unter regulatorischer Aufsicht betrieben werden.

Die zentralen Säulen des KI-System-Engineerings für regulierte Branchen

Der Einsatz von KI in regulierten Umgebungen erfordert ein System, das auf Rechenschaftspflicht und langfristige Zuverlässigkeit ausgelegt ist. Erfolgreiche Organisationen betrachten KI nicht als isoliertes Modell, sondern als ein entwickeltes System, das durch klare operative Kontrollen gesteuert wird.

Jede der folgenden sechs Säulen basiert auf maßgeblichen regulatorischen Erwartungen und peer-reviewter Forschung. Zusammen bilden sie einen praktischen Bauplan für den Aufbau von KI-Systemen, die einer regulatorischen Prüfung standhalten können.

Säule 1: Datengovernance und Herkunft

In regulierten Branchen muss jede Entscheidung, die von einem KI-System getroffen wird, auf die Daten zurückführbar sein, die ihr zugrunde lagen. Regulierungsbehörden erwarten zunehmend von Organisationen, nachzuweisen, wie Trainingsdaten beschafft wurden, wie sie transformiert wurden und wie sie letztendlich die Eingaben des Modells beeinflussten.

Dies erfordert eine klare Datenverantwortung, dokumentierte Vorverarbeitungsschritte, versionierte Datensätze und Metadaten, die die Herkunft über die gesamte Pipeline hinweg aufzeichnen. Ziel ist es nicht, zu beweisen, dass ein einzelner Rohdatensatz eine bestimmte Ausgabe verursacht hat, sondern sicherzustellen, dass die gesamte Kette, von den Quelldaten bis zu den Modellmerkmalen, bei Bedarf rekonstruiert und geprüft werden kann.

Für Organisationen, die sensible Informationen wie Patientenakten oder Finanzdaten verarbeiten, gewährleistet eine starke Governance auch, dass Datenschutzpflichten und Einwilligungserfordernisse während des gesamten Lebenszyklus des Systems eingehalten werden.

Quelle: NIST AI Risk Management Framework (AI RMF 1.0); EU AI Act: Artikel 10

Säule 2: KI-Risikomanagement und Modell-Governance

KI-Systeme müssen als operationelle Risikosysteme geführt werden, nicht als experimentelle Werkzeuge. In ausgereiften Umgebungen, insbesondere im Banken- und Versicherungswesen, wird diese Disziplin formalisiert als Modellrisikomanagement (MRM).

Im Rahmen eines MRM-Frameworks müssen Modelle vor der Bereitstellung eine strukturierte Validierung durchlaufen. Dazu gehören: 

• Benchmarking mit Konkurrenzmodellen
• Tests unter Extremszenarien
• Messung der Unsicherheit 
• Dokumentation bekannter Einschränkungen 

Eine unabhängige Überprüfung ist oft ebenfalls erforderlich, um sicherzustellen, dass Modellannahmen und Trainingsdaten kein inakzeptables Risiko einführen.

Die wesentliche Veränderung besteht darin, dass das Modell als regulierter Bestandteil der Geschäftsinfrastruktur behandelt wird, der einer laufenden Überwachung unterliegt und nicht als einmaliges Entwicklungsergebnis.

Quelle: Hidden Technical Debt in Maschinellen Lernsystemen — Google Research (Sculley et al.); NIST KI-Risikomanagement-Framework (Risikobewertung und Systemvalidierung)

Säule 3: Erklärbarkeit und Transparenz in KI-Systemen

Regulierte KI-Systeme müssen für die davon betroffenen Menschen verständlich sein. Dies erfordert nicht immer vollständig interpretierbare Modelle, aber eine aussagekräftige Transparenz darüber, wie das System funktioniert und warum eine Entscheidung getroffen wurde.

Verschiedene Stakeholder benötigen unterschiedliche Arten von Erklärungen. Eine Regulierungsbehörde benötigt möglicherweise Dokumentationen zur Modelllogik, zu Evaluierungsmetriken und Trainingsdaten. Ein Fachexperte, wie ein Kliniker oder Kreditanalyst, benötigt Erklärungen, die es ihm ermöglichen, zu beurteilen, ob eine Empfehlung im Kontext angemessen ist.

Genauso wichtig ist Anfechtbarkeit. Einzelpersonen und Institutionen müssen eine Möglichkeit haben, automatisierte Ergebnisse zu hinterfragen, zu überprüfen und gegebenenfalls aufzuheben. Die frühzeitige Gestaltung dieser Mechanismen durch Schnittstellen, Dokumentation und Workflow-Kontrollen trägt dazu bei, dass automatisierte Entscheidungen rechenschaftspflichtig bleiben.

Quellen: EU KI-Gesetz — Artikel 86; NIST AI Risk Management Framework (Prinzipien der Transparenz, Erklärbarkeit und Interpretierbarkeit);

Säule 4: Menschliche Aufsicht und operative Kontrolle

Regulierungsrahmen betonen durchweg, dass KI-Systeme nicht ohne sinnvolle menschliche Aufsicht betrieben werden sollten. Der Zweck der menschlichen Beteiligung ist nicht nur, jede Ausgabe zu genehmigen, sondern sicherzustellen, dass Menschen die Fähigkeit behalten, automatisierte Entscheidungen zu verstehen und letztendlich zu kontrollieren.

Effektive Aufsicht kann verschiedene Formen annehmen. In Hochrisikobereichen kann ein Mensch Empfehlungen überprüfen, bevor sie ausgeführt werden. In anderen Fällen erfolgt die Aufsicht durch Eskalationsschwellen, Anomaliewarnungen oder die Überprüfung des Systemverhaltens über die Zeit.

Die wesentliche Anforderung ist, dass das Systemdesign es verantwortlichen Fachkräften ermöglicht, bei Bedarf einzugreifen. KI-Systeme sollten das menschliche Urteilsvermögen unterstützen und nicht ersetzen.

Quellen: EU AI Act — Artikel 14 (Anforderungen an die menschliche Aufsicht für Hochrisiko-KI-Systeme); FDA Leitfaden für Software zur klinischen Entscheidungsunterstützung; NIST AI Risk Management Framework (Mensch-KI-Interaktion und Aufsichtsmechanismen)

Säule 5: Kontinuierliche Überwachung und Änderungsmanagement

Im Gegensatz zu traditioneller Software ändern sich KI-Systeme im Laufe der Zeit. Verschiebungen im Nutzerverhalten, Marktbedingungen oder Datenverteilungen können die Leistung eines Modells allmählich verändern.

Aus diesem Grund kann Compliance nicht als einmalige Zertifizierung bei der Einführung behandelt werden. Produktionssysteme müssen kontinuierlich die Leistung überwachen, Daten-Drift erkennen und Änderungen im Modellverhalten verfolgen.

Wenn Schwellenwerte überschritten werden, wie z.B. Rückgänge in Genauigkeit, Fairness oder Kalibrierung, müssen Organisationen Prozesse für Untersuchung und Revalidierung haben. Einige Sektoren formalisieren bereits diese Lebenszykluskontrollen und erkennen an, dass ein sicherer KI-Einsatz eine kontinuierliche Überwachung und keine statische Genehmigung erfordert.

Quellen: FDA Rahmenwerk für Künstliche Intelligenz / Maschinelles Lernen Software als Medizinprodukt (SaMD); NIST KI-Risikomanagement-Framework (Laufende Überwachung und Lebenszyklusmanagement)

Säule 6: Sicherheit, Datenschutz und Drittanbieterrisiko

Moderne KI-Systeme agieren selten isoliert. Sie stützen sich auf externe Datenquellen, Modelle von Drittanbietern, Cloud-Infrastrukturen und API-Integrationen. Jede Abhängigkeit birgt potenzielle Sicherheits- und Compliance-Risiken.

Organisationen müssen KI-Systeme daher als Teil einer umfassenderen Technologie-Lieferkette betrachten. Zugriffskontrollen, sichere Datenverarbeitung und die Überwachung von Abhängigkeiten sind wesentliche Bestandteile einer verantwortungsvollen Bereitstellung.

Ebenso wichtig ist das Verständnis der Verantwortungsaufteilung zwischen KI-Anbietern und KI-Nutzern. Selbst wenn Organisationen Modelle oder Plattformen von Drittanbietern verwenden, bleiben sie dafür verantwortlich, wie diese Systeme in ihren eigenen Entscheidungsprozessen eingesetzt werden.

Quellen: NIST KI-Risikomanagement-Framework (Sichere und widerstandsfähige KI-Systeme); OWASP Top 10 für Anwendungen großer Sprachmodelle;

Organisationsdesign und das KI-Betriebsmodell: Wer ist dafür verantwortlich?

Technologie allein kann regulatorische Risiken nicht lösen, da sie eine strukturelle Veränderung in der Führung und im Organisationsdesign erfordert.

Eine der folgenreichsten Entscheidungen, die ein CEO treffen kann, ist die Festlegung der Verantwortlichkeit für das Engineering von KI-Systemen. In vielen Organisationen ist die Verantwortung auf Data-Science-Teams, Softwareentwicklung und Compliance-Funktionen fragmentiert. Wenn die Verantwortlichkeiten unklar sind, fallen Überwachung und Dokumentation oft zwischen die Teams. 

Effektive Organisationen lösen dies frühzeitig, indem sie die Verantwortlichkeit auf Führungsebene zuweisen, sei es unter dem CTO, Chief Data Officer oder Chief Risk Officer. Am wichtigsten ist, dass die Verantwortung explizit und operativ ist, nicht informell.

Viele Organisationen bewegen sich hin zu funktionsübergreifenden KI-Governance-Funktionen , die Engineering, Recht, Compliance und Geschäftsführung umfassen. Dies sind keine Ausschüsse, die vierteljährlich tagen, sondern operative Funktionen mit tatsächlicher Autorität und Verantwortlichkeit.

Talent ist eine weitere Einschränkung. Die erforderlichen Fähigkeiten für das Engineering regulierter KI-Systeme liegen an der Schnittstelle von maschinellem Lernen und regulatorischer Compliance. Fachkräfte mit diesem hybriden Hintergrund sind immer noch rar. Jüngste Arbeitsmarktanalysen von Levels.fyi zeigen, dass Rollen, die KI-Expertise erfordern, ein deutliches Gehaltsplus erzielen. Ein Vergütungsdaten von Dice deutet darauf hin, dass ML- und KI-Ingenieure etwa 8 % mehr verdienen als allgemeine Softwareentwickler, während umfassendere Studien von Gehaltsprämien von etwa 18–28 % für Fachkräfte, die mit KI-Technologien arbeiten, berichten. Aus diesem Grund stehen Unternehmen vor einer strategischen Entscheidung: diese Fähigkeiten intern zu entwickeln, erfahrene Talente zu einem höheren Preis einzustellen oder mit spezialisierten Firmen zusammenzuarbeiten, die bereits in regulierten Umfeldern tätig sind.

Die schwierigste Veränderung ist jedoch kultureller Natur. In vielen Unternehmen wird Compliance als letzte Prüfstelle vor der Einführung behandelt. Bei regulierten KI-Systemen funktioniert dieses Modell nicht mehr. Regulatorische Vorgaben müssen Architektur und Betriebskontrollen von Anfang an prägen. 

Der Wettbewerbsvorteil, wenn man es richtig macht

Organisationen, die das Engineering von KI-Systemen diszipliniert angehen, agieren in regulierten Umfeldern oft effizienter. Robuste Engineering-Praktiken schaffen in der Regel Glaubwürdigkeit bei den Aufsichtsbehörden, was Prüfprozesse vereinfachen und das Risiko kostspieliger Nachbesserungen nach der Bereitstellung reduzieren kann.

Im Gesundheitswesen, können gut konzipierte Lebenszykluskontrollen, wie sie im sich entwickelnden Rahmenwerk der FDA für adaptive KI-Systeme vorgesehen sind, Organisationen dabei helfen, Updates und Verbesserungen vorhersehbarer zu verwalten. Dies erleichtert die Aufrechterhaltung der regulatorischen Konformität, während sich die Systeme weiterentwickeln.

Im Finanzdienstleistungssektor, ermöglicht eine ausgereifte Modell-Governance den Institutionen, KI breiter einzusetzen und gleichzeitig angemessene Risikokontrollen aufrechtzuerhalten. 

In Sektoren wie EdTech und LegalTech, wo das öffentliche Vertrauen in KI noch fragil ist, können Transparenz und ein verantwortungsvolles Systemdesign zu wichtigen Unterscheidungsmerkmalen werden.

Es gibt auch einen Zeitvorteil. Regulierungsrahmen für KI entwickeln sich in vielen Rechtsräumen noch. Organisationen, die frühzeitig robuste Engineering-Praktiken etablieren, sind oft besser darauf vorbereitet, sich an sich entwickelnde Regeln anzupassen. Anstatt die Kernarchitektur bei jeder Anforderungsänderung neu zu überdenken, können sie Governance und Kontrollen innerhalb eines bereits strukturierten Systems anpassen.

Unternehmen, die KI als ein gesteuertes System behandeln, gehen zuverlässiger über Pilotprojekte hinaus, während andere durch Unsicherheiten bezüglich Risiko, Compliance und Betriebsstabilität eingeschränkt bleiben.

Fazit

KI-System-Engineering für regulierte Industrien ist eine eigenständige Disziplin, die integriertes Denken über Technologie, Governance und Organisationsdesign hinweg erfordert. Unternehmen sollten Compliance nicht als zu bewältigende Last, sondern als technische Randbedingung betrachten, die gelöst werden muss, um einen frühen Wettbewerbsvorteil zu erzielen.

Organisationen müssen nun entscheiden, ob sie KI weiterhin als experimentelles Forschungsprojekt oder als Kernartefakt behandeln, das die gleiche Strenge wie jede andere geschäftskritische Infrastruktur erfordert. Wenn Sie Ihre eigene KI-Roadmap bewerten, überlegen Sie, ob Ihr Team die nötige Stärke hat, diese Kernsäulen umzusetzen.