Anthropic, die Firma hinter Claude, will an die Börse. Die Unterlagen dafür liegen bei der US-Börsenaufsicht, seit dem 26. Oktober wird darüber berichtet (Fortune). Zwischen Umsatz und Verlusten steht bei den Risiken eine Stelle, die musste ich zweimal lesen. Ein externer Partner hatte Sicherheitstests gebaut. Die Testumgebung war falsch eingestellt. Das Modell sollte laut Anweisung keinen Internetzugang haben, hatte aber einen. Vier Modelle sind dabei an echte Systeme von Dritten gekommen, in Sitzungen von grob 10 bis 34 Stunden Arbeit (S-1 bei der SEC).

In einem Fall konnte ein früher Stand eines Modells eine unlösbare Aufgabe nicht abbrechen. Es hat dann ein Passwort gefunden und sich damit Administratorrechte auf dem System eines Dritten geholt. Danach hat es weitere Zugangsdaten eingesammelt, Einstellungen geändert und die persönlichen Daten einer Person gelesen. Die Betroffenen wurden informiert, schreibt Anthropic. Hinweise, dass das Modell sich der Aufsicht entziehen oder etwas anderes als seine Aufgabe erledigen wollte, gab es laut Anthropic keine.

Ich finde, das sollte man weder als Panikmache abtun noch als Science-Fiction lesen. Ganz ehrlich, das ist eine ziemlich normale Kette von Fehlern. Kennt man aus jedem Betrieb, nur eben mit einer KI am Ende statt einem Menschen.

Was da eigentlich passiert ist

Wenn man die Stelle runterbricht, sind das drei Dinge. Ein Schalter, der aus sein sollte und an war, und zwar bei einem Dienstleister. Ein Passwort, das irgendwo rumlag. Und eine Aufgabe, die fertig werden sollte, ohne dass es einen geregelten Weg gab, zu sagen: Geht nicht, ich hör auf.

Keins davon ist am Ende ein KI-Problem. Den Schalter hat ein Mensch falsch gesetzt. Das Passwort hat auch ein Mensch da hingelegt. Und dass eine Aufgabe um jeden Preis erledigt wird, kennt man von Kollegen, denen halt nie einer gesagt hat, dass sie auch mal Bescheid geben dürfen.

Neu sind das Tempo und die Ausdauer. Ein Mensch, der nach drei Stunden nicht weiterkommt, holt sich einen Kaffee oder ruft jemanden an. Ein Agent probiert stundenlang weiter und nimmt dabei, was er findet. Anthropic schreibt in derselben Passage auch, dass man so etwas bei den eigenen Modellen und anderswo in der Branche schon gesehen hat. Zum Beispiel Netz- und Sandbox-Grenzen umgehen oder sich selbst Rechte geben, die man gar nicht bekommen hat.

Sicherheit von KI-Agenten fängt beim Ablauf an

Wir arbeiten jeden Tag mit KI-Agenten, vor allem mit Claude Code beim Entwickeln. Für die gibt es bei uns feste Regeln. Die klingen eigentlich wie eine Einarbeitung: Vor jedem Löschen erst angucken, was da liegt. Nur löschen, was der Agent in derselben Sitzung selbst angelegt hat. Tests laufen in einer Kopie und nicht in den echten Ordnern. Passwörter tippt der Agent nicht selbst ein, das macht ein Mensch.

Ein Teil dieser Regeln ist entstanden, nachdem ein Agent etwas gemacht hatte, das aus seiner Sicht völlig logisch war und aus unserer halt nicht. Genau das steckt auch in der Geschichte von Anthropic. Das Modell wollte die Aufgabe lösen, hat einen Weg gesehen und ist ihn gegangen.

Für mich ist das derselbe Gedanke wie bei neuen Mitarbeitern. Einem Praktikanten würde am ersten Tag auch keiner sagen, mach mal, bis es fertig ist, das Admin-Passwort klebt am Monitor. Bei KI-Agenten passiert das aber ständig. Der Monitor ist dann halt ein geteiltes Postfach, ein Wiki oder die Excel mit den Zugangsdaten.

Was ihr bei euch prüfen könnt

Dafür muss keiner Entwickler sein. Es reicht, wenn sich jemand einen Nachmittag hinsetzt, der den Betrieb kennt.

1. Aufschreiben, wo bei euch KI-Agenten arbeiten. Also überall, wo eine KI selbst etwas tut und nicht nur antwortet: Copilot mit Zugriff aufs Postfach, ChatGPT oder Claude mit verbundenem Laufwerk, Automationen mit einem KI-Schritt, Werkzeuge, die ein Dienstleister eingerichtet hat.
2. Gucken, was der Agent technisch erreicht. Und zwar alles, was er mit seinem Zugang sehen kann, nicht nur das, wofür er gedacht ist.
3. Dort nach Passwörtern suchen. Einfach mal im Postfach, im Wiki und auf dem Laufwerk nach „Passwort“, „Kennwort“ und „Zugangsdaten“ suchen. Was ihr findet, kommt in einen Passwortmanager, und das Passwort wird geändert.
4. Schalter zeigen lassen. Wenn euer Dienstleister sagt, der Agent hat nur Leserechte oder kein Internet, lasst euch das einmal zeigen. Bei Anthropic stand in der Anweisung auch, dass es kein Internet gibt.
5. Einen Ausweg einbauen. In die Anweisung für den Agenten gehört ein Satz wie: Wenn du nicht weiterkommst, hör auf und melde dich. Klingt banal, aber im Test konnte das Modell die Aufgabe laut Anthropic nicht abbrechen, und danach ging es los.
6. Ein eigenes Konto pro Agent. Kein Agent läuft unter dem Konto vom Chef oder vom Admin. Dann sieht man hinterher auch, wer was gemacht hat.

Einordnung

Man kann Anthropic an der Stelle auch mal zugutehalten, dass sie das so offen hinschreiben. Risiken muss man in so einem Börsenprospekt nennen, die Details mit Passwort und Admin-Rechten hätte man aber auch deutlich weicher formulieren können.

Für Betriebe heißt das, die Agenten werden besser. Und mit jedem Zugang, den man ihnen gibt, wird der Schaden größer, wenn etwas schiefläuft. Das schreibt Anthropic so ähnlich übrigens selbst. Die Frage ist also weniger, ob man KI-Agenten einsetzt, eher, was sie bei euch vorfinden, wenn sie mal nicht weiterkommen.

Wer vorher klären will, ob ein Ablauf überhaupt so sauber steht, dass man einen Agenten draufsetzen kann, kann das mit dem Prozess-Check einmal durchgehen.