Jede Organisation, die KI-Agenten Handlungsspielraum einräumt, benötigt eine lückenlose und überprüfbare Rückverfolgbarkeit jeder Aktion bis hin zu einer verantwortlichen Person. Das ist für Unternehmen in allen Branchen wichtig, doch besonders für solche, die in regulierten Märkten tätig sind.
KI-Agenten übernehmen zunehmend Aufgaben im Finanzwesen. Aber je autonomer diese Systeme werden, desto schwieriger lässt sich später erklären, warum eine Maschine eine bestimmte Entscheidung getroffen hat. Ein Logfile allein wird dafür nicht ausreichen.
Ein Logfile ist noch kein Audit Trail
Entscheidet ein KI-Agent am Montag um 02:14 Uhr, einen Vorgang anders zu behandeln als noch am Freitag, mag er dafür gute Gründe haben: neue Informationen, eine veränderte Risikoeinschätzung oder eine andere Priorisierung. Alle Schritte werden sauber protokolliert. Klingt nach perfekter Nachvollziehbarkeit. Ist es aber nicht.
Denn wenn ein Unternehmen einem Regulator später erklären muss, was der Agent getan hat – und vor allem, warum –, reicht ein Logfile nicht aus. Ein detailliertes Protokoll allein ist kein belastbarer Audit-Trail. Die Herausforderung besteht darin, nachzuweisen, dass eine Aktion zum Zeitpunkt ihrer Ausführung nachvollziehbar, autorisiert und Compliance-konform war.
Bei klassischer Software gilt die Annahme, dass alles, was ein System tut, protokolliert wird. So lässt sich später rekonstruieren, was passiert ist. Bei autonomen KI-Agenten funktioniert diese Logik jedoch nicht. Ein Agent kann Daten aus unterschiedlichen Quellen beziehen, andere Agenten anstossen und innerhalb eines definierten Rahmens eigenständig Entscheidungen treffen.
Ein Log hält dann zwar fest: "15.03., 02:14 → Kredit genehmigt"
Was jedoch fehlt, ist der Kontext, in dem die Entscheidung getroffen wurde: die geltende Geschäftsregel, der aktive Prozessschritt, die zugrundeliegende Datenbasis, erforderliche Genehmigungen und die gültige Version der Richtlinie. Hier lauert eine Compliance-Falle, denn Unternehmen können jede einzelne Aktion eines KI-Agenten dokumentiert haben und dennoch nicht erklären, wie eine Entscheidung zustande kam.
Verantwortung darf nicht zwischen Agenten verschwinden
Dieses Problem wird noch dringlicher, wenn mehrere Agenten in einem Unternehmen zusammenarbeiten. Der eine prüft einen Antrag, der nächste bewertet ein Risiko, ein dritter ruft Informationen aus einem Kernsystem ab und ein vierter erstellt daraus eine Empfehlung.
Technisch gesehen funktioniert das beeindruckend. Aus Governance-Sicht entsteht jedoch eine zentrale Frage: Wer ist eigentlich verantwortlich?
Wenn jeder Agent nur seinen eigenen Teil des Vorgangs kennt und protokolliert, kann die Verantwortungszuweisung zwischen den Systemen verschwimmen. Jeder einzelne Schritt mag nachvollziehbar sein, die Gesamtentscheidung jedoch nicht. Hinzu kommt, dass langlaufende KI-Agenten die ihnen vorgegebenen Regeln aus den Augen verlieren können. Und wenn ein Agent zu dem Schluss kommt, dass ein Regelverstoss der beste Weg ist, um das vorgegebene Ziel zu erreichen, wird er dies häufig auch tun.
Deshalb braucht es neben den Agenten eine übergeordnete Orchestrierungsebene. Diese sollte nicht selbst die fachlichen Entscheidungen treffen, sondern den Rahmen definieren, in dem autonome Systeme handeln dürfen. Sie muss Prozesse steuern, Regeln und Versionen verwalten sowie Zuständigkeiten festlegen und nachvollziehbar dokumentieren, was wann unter welchen Bedingungen passiert ist.
Der Mensch darf nicht nur auf dem Papier im Prozess vorkommen
Ähnliches gilt für den vielbeschworenen Begriff "Human-in-the-Loop".
In vielen KI-Konzepten bedeutet menschliche Kontrolle noch immer, dass die Maschine selbstständig arbeitet und ein Mensch am Ende stichprobenartig darüber schaut. Das mag für manche Anwendungen ausreichen. Bei kritischen Entscheidungen ist das jedoch keine belastbare Governance.
Die menschliche Prüfung muss als echter Prozessschritt definiert werden, mit klaren Kriterien dafür, wann sie erforderlich ist, welche Informationen der Mensch erhält, welche Entscheidungsmöglichkeiten er hat und was passiert, wenn er eine Empfehlung ablehnt.
Der Mensch wird damit nicht zum Bremsklotz der Automatisierung. Im Gegenteil: Erst wenn seine Rolle klar in den Prozess eingebettet ist, kann ein Unternehmen entscheiden, welche Aufgaben es einer KI tatsächlich überlassen will.
KI-Agenten sind keine schnelleren RPA-Bots
RPA-Bots und regelbasierte Automatisierung folgen weitgehend vorhersehbaren Pfaden. Auf A folgt B. Ein generativer KI-Agent bewegt sich dagegen in einem grösseren Entscheidungsraum. Er kann Informationen unterschiedlich gewichten, neue Konstellationen einordnen und daraus verschiedene nächste Schritte ableiten. Er übernimmt also nicht einfach einen bestehenden Automatisierungsschritt, sondern interpretiert, wägt ab und handelt innerhalb eines Prozesses selbstständig.
Damit verschiebt sich auch die Governance-Frage. Wer einem Agenten Handlungsspielraum gibt, muss nicht nur definieren, was er tun soll, sondern auch, innerhalb welcher Grenzen er entscheiden darf und wie sich diese Grenzen später nachweisen lassen.
Dafür braucht es eine Prozessarchitektur, die autonome Entscheidungen in einen nachvollziehbaren Rahmen einbettet. Standards wie BPMN (Business Process Model and Notation), CMMN (Case Management Model and Notation) und DMN (Decision Model and Notation) helfen dabei, Prozesse, Entscheidungslogiken und Zuständigkeiten explizit zu modellieren.
Das Ziel ist nicht, jede KI-Entscheidung vorherzusagen. Das wäre unrealistisch. Vielmehr ist es entscheidend, Kontext, Grenzen und Verantwortlichkeiten so zu definieren, dass auch eine autonome Entscheidung später nachvollziehbar bleibt.
Compliance beginnt nicht beim Audit
Der EU AI Act wird diese Fragen zusätzlich in den Mittelpunkt rücken. Für Banken und Versicherer geht es dabei allerdings um mehr als nur um europäische Regulierung. Es geht um eine grundlegendere Herausforderung: Wie baut man KI-Systeme, denen man in einem geschäftskritischen Prozess vertrauen kann?
Ein vollständiger Audit Trail entsteht nicht nachträglich aus möglichst vielen technischen Logfiles. Er muss bereits im Prozessdesign berücksichtigt werden.
Dafür sind klare Verantwortlichkeiten, versionierte Regeln, nachvollziehbare Entscheidungen, definierte Eskalationswege und eine dokumentierte Rolle des Menschen entscheidend. Das bedeutet auch, dass KI-Agenten nicht als isolierte digitale Mitarbeiter, sondern als Akteure innerhalb eines kontrollierten Geschäftsprozesses betrachtet werden.
Der vielleicht wichtigste Paradigmenwechsel lautet deshalb: Nicht der Agent muss alles erklären können. Der Prozess muss erklären können, was passiert ist.
Je autonomer die KI wird, desto weniger reicht es, ihr bei der Arbeit zuzusehen. Unternehmen müssen ihre Entscheidungen auch dann noch nachvollziehen und verantworten können, wenn niemand mehr genau weiss, was am Montag, dem 15.03. um 02:14 Uhr passiert ist.
