Die Geschwindigkeitsfalle: Wenn KI-Ausführung menschliche Prüfung überholt

Das Problem

Ein System mit künstlicher Intelligenz (KI) kann einen Vorschlag erzeugen und eine Maßnahme auslösen, bevor die zuständige Person deren Voraussetzungen und Folgen geprüft hat. Ist eine menschliche Freigabe vorgesehen, wird sie dadurch möglicherweise zur nachträglichen Bestätigung eines bereits eingeleiteten Vorgangs. Die formale Zuständigkeit und die tatsächliche Einflussmöglichkeit fallen auseinander.

Ich bezeichne diesen Zeitkonflikt als Geschwindigkeitsfalle. Entscheidend ist nicht die Geschwindigkeit allein, sondern ob die Organisation die vorgesehene Prüfung noch vor einer folgenreichen Ausführung ermöglichen kann.

Was die Geschwindigkeitsfalle ist

Die Falle entsteht, wenn Ausführung oder verbindliche Festlegung schneller erfolgen als die dafür erforderliche menschliche Bewertung und die Freigaberegeln diesen Unterschied nicht berücksichtigen. Wie viel Zeit eine Prüfung benötigt, hängt unter anderem von der Aufgabe, den verfügbaren Informationen und den möglichen Folgen ab.

Zu betrachten sind daher drei Zeitpunkte: wann ein Vorschlag vorliegt, bis wann eine sachliche Prüfung möglich sein muss und wann die Maßnahme wirksam wird. Liegt die Ausführung vor dem Abschluss der erforderlichen Prüfung, muss entweder die Befugnis zur autonomen Ausführung bewusst festgelegt oder die Ausführung entsprechend zurückgehalten werden.

Mögliche Folgen des Zeitkonflikts

Vorweggenommene Ausführung. Ein System leitet etwa eine Lieferkette um oder versendet eine Kommunikation, bevor die zuständige Person den Vorschlag bewerten kann. Nachgelagerte Schritte sind dann bereits angestoßen. Die Prüfung findet unter veränderten Bedingungen statt, weil eine Korrektur zusätzlichen Aufwand erzeugt oder nicht mehr vollständig möglich ist.

Unklare Verantwortlichkeit. Wenn Beteiligte ihr Handeln nur noch als Reaktion auf eine Systementscheidung beschreiben, kann offenbleiben, wer deren Voraussetzungen beurteilt und die Folgen verantwortet. Das Problem liegt dann nicht in der Bezeichnung als KI-Entscheidung, sondern in der fehlenden Zuordnung von Entscheidung und Ausführung.

Abnehmende eigene Urteilspraxis. Werden Vorschläge regelmäßig ungeprüft übernommen, üben die zuständigen Personen die eigenständige Bewertung seltener aus. Daraus entsteht ein Vorbereitungsproblem für Situationen, in denen das System ausfällt oder einen unpassenden Vorschlag liefert. Die Organisation muss deshalb auch die Fähigkeit erhalten, Annahmen und Handlungsalternativen selbst zu erklären.

Die organisationale Antwort

Die Rechenzeit eines Systems und der Zeitpunkt seiner Ausführung sind getrennt zu gestalten. Eine schnelle Analyse kann nützlich bleiben, während eine folgenschwere Maßnahme bis zur erforderlichen Freigabe wartet. Ein solcher Haltezeitraum verlangsamt die Ausführung bewusst, nicht zwingend die Erstellung des Vorschlags.

Entscheidungskategorien festlegen. Die Organisation sollte bestimmen, welche Maßnahmen autonom ausgeführt werden dürfen, welche eine Benachrichtigung auslösen und welche vorab autorisiert werden müssen. Maßgeblich sind die Folgen, die Korrigierbarkeit und die Informationen, die für eine verantwortbare Entscheidung benötigt werden.

Prüfzeit ermöglichen. Für vorab zu autorisierende Maßnahmen ist ein zur Aufgabe passender Ablauf erforderlich. Eine Wartefrist allein genügt nicht: Die zuständige Rolle benötigt die Informationen, die Befugnis und die verfügbare Zeit für die Prüfung.

Anfragen und Kapazität zusammen betrachten. Volumen und Komplexität der Freigabeanfragen müssen mit der verfügbaren Bearbeitungskapazität abgeglichen werden. Wenn Anfragen nur noch bestätigt werden können, ist zu klären, ob die Zuordnung, die Priorisierung oder der Ausführungsablauf verändert werden muss.

Den Konflikt üben. Eine Übung kann Vorschläge unter Zeitdruck vorlegen und beobachten, ob die Beteiligten Voraussetzungen prüfen, eine Ausführung zurückhalten und erforderliche Entscheidungen eskalieren. So wird erkennbar, ob die vorgesehene Einflussmöglichkeit tatsächlich besteht.

Urteilsvermögen erhalten

Wenn Risikoverantwortliche ihre Bewertung nur anhand eines Modelloutputs erklären können oder Gremien Vorschläge ohne Erörterung bestätigen, sollte die Arbeitsweise genauer untersucht werden. Solche Beobachtungen sind Prüfhinweise, noch kein Nachweis eines dauerhaften Kompetenzverlusts.

Für mich folgt daraus, eigenständige Bewertung als Teil der Arbeit zu erhalten. Die Beteiligten müssen nicht jede Systemberechnung wiederholen. Sie sollten aber erklären können, auf welchen Annahmen eine Entscheidung beruht, welche Alternativen bestehen und unter welchen Bedingungen sie den Vorschlag nicht übernehmen würden.

→ Wie Rico Kerstan Entscheidungsfindung unter Druck adressiert: Beratungsleistungen → Das systematische Framework: HORIZON-Methodik