Wenn Ihr Risikomodell zum Risiko wird
Risikomodell · Einsatzgrenzen · Gegenprüfung · Künstliche Intelligenz
KI-gestützte Risikobewertung benötigt erkennbare Einsatzgrenzen und unabhängige Gegenprüfung. Ein niedriger Risikowert ist nicht dasselbe wie eine belastbare Einschätzung bei unbekannten Bedingungen.
Das Problem
Ein Risikomodell unterstützt Entscheidungen, indem es ausgewählte Informationen nach einer festgelegten Logik zusammenführt. Problematisch wird die Verwendung, wenn die Organisation seinen Output als vollständiges Bild der Lage behandelt und unabhängige Prüfungsmöglichkeiten zurücknimmt.
Begründetes Vertrauen ist dabei nicht das Problem. Das Risiko entsteht durch eine Abhängigkeit, bei der Annahmen, Einsatzgrenzen und abweichende Hinweise nicht mehr ausreichend geprüft werden.
Was das Modell abbildet und was seine Werte bedeuten
Jedes Risikomodell vereinfacht. Es berücksichtigt bestimmte Variablen, Beziehungen und Ereignisse. Was außerhalb dieses Rahmens liegt, verschwindet dadurch nicht als Risiko; es wird lediglich mit diesem Modell nicht angemessen erfasst. Das gilt für einfache Tabellen ebenso wie für Systeme, die künstliche Intelligenz (KI) einsetzen.
Bei komplexen Modellen kann es für Nutzer schwierig sein, diese Grenze zu erkennen. Eine kompakte Ergebnisanzeige sollte deshalb nicht mit einer vollständigen Erklärung ihrer Voraussetzungen verwechselt werden. Für die Entscheidung bleibt relevant, unter welchen Bedingungen das Modell erprobt wurde und welche Informationen die aktuelle Bewertung tragen.
Ein Risikowert beschreibt die modellierte Risikoeinschätzung. Konfidenz bezeichnet dagegen, je nach Verfahren, eine Aussage zur Sicherheit einer Zuordnung oder Schätzung. Geringe Konfidenz bedeutet nicht geringes Risiko. Ebenso weist hohe Konfidenz für sich genommen nicht nach, dass ein neuartiger Fall innerhalb des geeigneten Anwendungsbereichs liegt. Wie ein konkreter Konfidenzwert zu lesen ist, muss anhand des jeweiligen Verfahrens geklärt werden.
Das Versagensmuster
Zwischen 2023 und 2025 habe ich in Mandaten wiederholt eine ähnliche Folge beobachtet: Eine Organisation führte KI-gestützte Risikobewertung ein und richtete ihre Entscheidungen zunehmend an deren Ergebnissen aus. Nach 18–24 Monaten als gut wahrgenommenen Betriebs hatte sich institutionelles Vertrauen aufgebaut. Anschließend trat ein neuartiges Risikoszenario auf, das außerhalb der bisher abgebildeten Bedingungen lag.
In der beschriebenen Folge gab das Modell einen niedrigen Risikowert aus. Menschliche Risikoverantwortliche folgten dem Ergebnis, und das Risiko trat ein. Ein niedriger Risikowert beantwortete dabei nicht die Frage, ob die neuartigen Bedingungen vom Modell angemessen erfasst wurden. Für die organisatorische Betrachtung ist entscheidend, dass der niedrige Wert die Prüfung der veränderten Bedingungen nicht auslöste.
Die Erfahrung lenkt meinen Blick deshalb auf die Verbindung zwischen Modelloutput und Entscheidung. Eine falsche Bewertung kann technisch, organisatorisch oder durch beides bedingt sein. Zu untersuchen ist, welche Gegenprüfung vorgesehen war und warum sie die ungeeignete Anwendung nicht sichtbar machte.
Die Diagnosefragen
Zur Prüfung gehören sowohl die fachliche Eignung des Modells als auch die Arbeitsweise der Organisation. Ich würde insbesondere folgende Fragen stellen:
- Für welche Bedingungen wurde das Modell erprobt, und welche liegen außerhalb dieses Bereichs?
- Wie werden Risikowert, Unsicherheit und fehlende Informationen in der Entscheidung getrennt berücksichtigt?
- Welche abweichenden Hinweise würden eine zusätzliche fachliche Prüfung auslösen?
- Wer darf einen Output übersteuern, und wie wird die Begründung behandelt?
- Wer untersucht Risiken, die durch das Bewertungsverfahren und seine Verwendung selbst entstehen?
Bleiben diese Fragen unbeantwortet, besteht ein konkreter Klärungsbedarf. Daraus folgt noch nicht, dass das Modell ungeeignet ist; seine Verwendung ist aber nicht ausreichend erklärt.
Das Beratungsprinzip
Eine Bewertung der Risikoarchitektur muss auch die eingesetzten Bewertungsverfahren und die daran gebundenen Entscheidungen umfassen. Ziel ist, die Unterstützung durch KI mit fachlicher Gegenprüfung und klarer Entscheidungsbefugnis zu verbinden.
Die Einsatzgrenzen sind unabhängig vom angezeigten Konfidenzwert zu prüfen. Verantwortliche Personen benötigen sowohl das Mandat zum Eingreifen als auch die Fähigkeit, neue Bedingungen zu erkennen und eine abweichende Bewertung zu begründen. So bleibt Vertrauen an überprüfbare Voraussetzungen gebunden.
→ Wie Rico Kerstan Risikoarchitektur adressiert: Risikoarchitektur & Bewertung → Das systematische Review-Framework: HORIZON-Methodik
Vom Beitrag zur Organisationsfrage
Organisationale Resilienz · KI-Transformation · Führung und Krisenmanagement