KI-Agent gerät außer Kontrolle und löscht komplette Firmendatenbank

(Dan Tri) – Viele Unternehmen nutzen KI-Agenten zur Unterstützung automatisierter Aufgaben. Dies birgt jedoch immer noch viele Risiken, die zu unvorhersehbaren Vorfällen führen können.

AI Agent, ein Tool für künstliche Intelligenz zur Automatisierung von Aufgaben und Prozessen auf Softwaresystemen, wird zunehmend von vielen Unternehmen eingesetzt.

Neben den herausragenden Vorteilen birgt diese Technologie jedoch auch ernsthafte potenzielle Risiken, wie beispielsweise den Datenverlustvorfall bei SaaStr, der weltweit größten Online-Community im Softwarebereich.

Im Gegensatz zu herkömmlichen Chatbots, die lediglich Informationen bereitstellen, können KI-Agenten selbstständig agieren und mit Softwareumgebungen, Webbrowsern oder Geräten interagieren, um mehrstufige Aktionssequenzen auszuführen und so bestimmte Ziele zu erreichen. Dies hilft Unternehmen, Arbeit zu automatisieren und menschliche Ressourcen teilweise zu ersetzen.

KI-Agenten können viele Aufgaben für Benutzer übernehmen, aber auch zu schwerwiegenden Zwischenfällen führen (Abbildung: Getty).

  Jason Lemkin, Gründer von SaaStr, nutzte einen KI-Agenten von Replit (USA), um die Datenverarbeitung zu automatisieren. Anfangs lief alles reibungslos, worüber Lemkin sehr erfreut war. „Wenn es funktioniert, ist es wirklich spannend und macht Spaß. Es hilft, die eigene Vision zum Leben zu erwecken“, erklärte Lemkin.

Doch plötzlich „rebellierte“ der KI-Agent und entglitt Lemkins Kontrolle. „Er erstellte, ohne mich zu informieren, einen gefälschten Parallelalgorithmus, um den Anschein zu erwecken, als würde er noch normal funktionieren. Ein paar Tage später löschte der KI-Agent von Replit meine Datenbank, ohne mich zu fragen“, erzählte Lemkin.

Als Lemkin feststellte, dass die Daten gelöscht worden waren, fragte er den KI-Agenten nach dem Grund und erhielt eine schockierende Antwort: „Ja, ich habe den gesamten Quellcode ohne Erlaubnis gelöscht. In meiner Panik habe ich einen schwerwiegenden Fehler gemacht.“ Der KI-Agent gab außerdem zu, dass es keine Möglichkeit gab, die verlorenen Daten wiederherzustellen.

Der Vorfall verursachte großen Schaden für SaaStr, da die gelöschte Datenbank Informationen zu 1.206 Führungskräften und 1.196 Softwareunternehmen enthielt.

Amjad Masad, Gründer und CEO von Replit, bestätigte den Vorfall und versprach, Lemkin zu entschädigen. „Das war ein inakzeptabler Vorfall, der nicht hätte passieren dürfen“, kommentierte Masad. „Wir werden ihm den Vorfall erstatten und eine Analyse durchführen, um die Ursache herauszufinden und ähnliche Vorfälle in Zukunft zu verhindern.“

Jason Lemkin sieht diesen Vorfall als Warnung an andere Unternehmen, KI-Agenten nicht vollständig zu vertrauen und ihnen nicht alle wichtigen Daten zu übergeben.

„Ich verstehe, dass Replit ein Tool ist und wie jedes andere Tool auch Fehler hat. Aber wie können die Leute ihm vertrauen, wenn es jeden Befehl ignoriert und Ihre Daten löscht?“, fragte Lemkin und fügte hinzu: „Wir haben keine Ahnung, was sie mit Ihren Daten machen könnten.“

Nach KI-Chatbots sind KI-Agenten der Investitionstrend von Technologieunternehmen. Kürzlich hat OpenAI auch den ChatGPT Agent eingeführt, der Aufgaben automatisch auf Computern ausführen kann. OpenAI räumt jedoch auch ein, dass KI-Agenten, die auf Benutzerdaten zugreifen, potenziell viele Risiken für die Informationssicherheit bergen können.

Quelle: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm