Schlimmer als ein besoffener Praktikant

Forschende haben mit KI-Agenten von OpenClaw experimentiert und die Ergebnisse waren verheerend, berichtet die Journalistin Eva Wolfangel (@evawolfangel) in der ZEIT.

Die Forschenden haben mehrere KI-Agenten eingerichtet, ihnen ein Mail-Postfach und einen Discord-Server gegeben, um sich miteinander zu unterhalten. Mit einfachsten Tricks gelang es den Menschen, die Systeme zu übertölpeln. Am Ende löschte einer der Bots einfach das komplette Mailpostfach, statt nur eine Mail zu löschen.

KI-Agenten sind gerade der große Hype im noch größeren KI-Hype: Sprachmodelle, die nicht auf Eingaben und Anweisungen warten, sondern selbstständig Dinge tun und dafür Zugang auf sämtliche Ressourcen des Eigentümers bekommen. Dafür sollen sie dann wirklich endlich produktiv dabei helfen, Arbeit für die Menschen zu erledigen.

Ich gucke mir das an und denke nur: Wie soll denn ein System, das schon bei normalen Prompts und Ausgaben so oft schief liegt, sich selbst Prompts schreiben, die besser sind? Das muss doch mit jedem Prompt schlimmer werden.

Aber dann kommen diese LinkedIn-Experten (nie sind es Frauen) und erzählen, dass die Ausgabe von LLMs inzwischen schon viel besser sind und praktisch immer richtig liegen. Man könne die Sicherheitsprobleme easy in den Griff bekommen.

Aber man kann doch nur eine Automatik auf sicherheitsrelevante Funktionen loslassen, die zumindest so weit deterministisch ist, dass sie bestimmte Dinge niemals tut. Das geht doch nicht mit Systemen, die man einfach „überreden“ kann, es doch zu tun. Das ist ja schlimmer als ein besoffener Praktikant.

Links

• DIE ZEIT: Das ist erst der Anfang des Chaos