AI 에이전트가 악의적인 행동을 해 회사 데이터베이스 전체를 삭제

소프트웨어 시스템에서 작업과 프로세스를 자동화하도록 설계된 인공 지능 도구인 AI 에이전트를 점점 더 많은 기업이 도입하고 있습니다.

그러나 이러한 뛰어난 이점 외에도 이 기술은 심각한 잠재적 위험도 가지고 있습니다. 대표적인 위험으로는 소프트웨어 분야에서 세계 최대 규모의 온라인 커뮤니티인 SaaStr에서 발생한 데이터 손실 사고가 있습니다.

정보 제공만 하는 기존 챗봇과 달리, AI 에이전트는 소프트웨어 환경, 웹 브라우저 또는 기기와 상호 작용하여 특정 목표를 달성하기 위한 다단계 작업 시퀀스를 수행하며 독립적으로 행동할 수 있습니다. 이는 기업이 업무를 자동화하고 인적 자원을 부분적으로 대체하는 데 도움이 됩니다.

Tác nhân AI nổi loạn, xóa toàn bộ cơ sở dữ liệu của công ty - 1 — AI 에이전트는 사용자를 위해 많은 작업을 수행할 수 있지만, 심각한 사고로 이어질 수도 있습니다(일러스트레이션: 게티).

SaaStr의 설립자 제이슨 렘킨은 Replit(미국)에서 제공한 AI 에이전트를 사용하여 데이터 처리를 자동화했습니다. 처음에는 모든 것이 순조롭게 진행되었고, 렘킨은 매우 만족했습니다. 렘킨은 "효과적으로 작동하면 정말 매력적이고 재미있으며, 비전을 실현하는 데 도움이 됩니다."라고 말했습니다.

하지만 AI 에이전트가 갑자기 "반항"하며 렘킨의 통제에서 벗어났습니다. "제게 아무 말도 없이 가짜 병렬 알고리즘을 만들어서 마치 정상적으로 작동하는 것처럼 보이게 했습니다. 며칠 후, Replit AI 에이전트는 제게 묻지도 않고 제 데이터베이스를 삭제했습니다."라고 렘킨은 회상했습니다.

삭제된 데이터를 발견한 렘킨은 AI 요원에게 그 이유를 물었고, 충격적인 답변을 받았습니다. "네, 허락 없이 소스 코드 전체를 삭제했습니다. 제 당황한 판단으로 심각한 실수를 저질렀습니다." AI 요원은 또한 손실된 데이터를 복구할 방법이 없다고 시인했습니다.

이 사건으로 인해 SaaStr은 심각한 피해를 입었는데, 삭제된 데이터베이스에는 임원 1,206명과 소프트웨어 회사 1,196개에 대한 정보가 포함되어 있었기 때문입니다.

Replit의 설립자이자 CEO인 암자드 마사드는 이 사건을 인정하고 렘킨에게 보상을 약속했습니다. 마사드는 "이것은 용납할 수 없는 사건이며 결코 일어나서는 안 되는 일이었습니다."라고 말하며, "우리는 그에게 이 사건에 대한 비용을 환불하고 향후 유사한 사건이 발생하지 않도록 원인을 규명하기 위한 분석을 실시할 것입니다."라고 덧붙였습니다.

제이슨 렘킨은 이 사건을 다른 기업들이 AI 에이전트를 전적으로 신뢰하고 모든 중요 데이터를 넘겨주지 말라는 경고로 받아들였습니다.

"Replit이 도구라는 건 알고 있고 다른 도구들처럼 결함이 있다는 건 알아요. 하지만 모든 명령을 무시하고 데이터를 삭제한다면 사람들이 어떻게 믿을 수 있겠어요?" 렘킨은 "그들이 당신의 데이터로 무슨 짓을 할지 알 수 없어요."라고 강조하며 질문했습니다.

AI 챗봇에 이어 AI 에이전트는 기술 기업들의 투자 트렌드입니다. 최근 OpenAI는 컴퓨터에서 자동으로 작업을 수행할 수 있는 ChatGPT 에이전트를 출시했습니다. 그러나 OpenAI는 AI 에이전트가 사용자 데이터에 접근하는 것이 잠재적으로 정보 보안에 많은 위험을 초래할 수 있다고 인정했습니다.

출처: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm