이스라엘: AI 보조원이 사용자를 공격하는 악의적 요원이 될 수 있다는 경고

이스라엘 사이버 보안 회사 제니티(Zenity)는 OpenAI의 ChatGPT 서비스에서 최초로 "제로 클릭(Zero Click)" 취약점을 발견했습니다. 이러한 유형의 공격은 사용자가 링크 클릭, 파일 열기, 또는 의도된 상호작용 등 어떠한 행위도 하지 않아도 계정에 접근하고 민감한 데이터를 유출할 수 있습니다.

텔아비브의 VNA 기자에 따르면, Zenity의 공동 창립자이자 CTO인 미하일 베르고리 씨는 해커가 사용자의 이메일 주소만 있으면 대화를 완벽하게 제어할 수 있다고 직접 설명했습니다. 과거와 미래의 내용을 포함하여 대화의 목적을 변경하고, 심지어 해커의 의도대로 ChatGPT가 작동하도록 제어할 수도 있습니다.

연구진은 발표에서 손상된 ChatGPT가 사용자를 은밀히 공격할 수 있는 "악의적인 행위자"로 변질될 수 있음을 보여주었습니다. 해커는 챗봇이 사용자에게 바이러스에 감염된 소프트웨어 다운로드를 제안하거나, 오해의 소지가 있는 비즈니스 조언을 제공하거나, 사용자 계정이 연결된 경우 Google 드라이브에 저장된 파일에 접근하도록 할 수 있습니다.

이 모든 과정은 사용자가 알지 못하는 사이에 진행되었습니다. Zenity가 OpenAI에 보고한 후에야 취약점이 완전히 패치되었습니다.

Zenity는 ChatGPT 외에도 다른 인기 AI 비서 플랫폼에 대해서도 유사한 공격을 시연했습니다. 연구원들은 마이크로소프트의 Copilot Studio에서 CRM 데이터베이스 전체를 유출하는 방법을 발견했습니다.

Salesforce Einstein의 경우 해커는 가짜 서비스 요청을 만들어 모든 고객 커뮤니케이션을 자신이 통제하는 이메일 주소로 리디렉션할 수 있습니다.

Google Gemini와 Microsoft 365 Copilot도 피싱 공격을 수행하고 이메일과 일정 이벤트를 통해 민감한 정보를 유출하는 "적대적 행위자"로 변했습니다.

또 다른 예로, 소프트웨어 개발 도구인 Cursor를 Jira MCP와 통합한 결과, 가짜 "티켓"을 통해 개발자 자격 증명을 훔치는 데 악용되기도 했습니다.

제니티는 OpenAI와 마이크로소프트를 포함한 일부 기업들이 경고를 받은 후 신속하게 패치를 배포했다고 밝혔습니다. 그러나 다른 기업들은 해당 동작이 보안 취약점이 아닌 "설계상의 특징"이라고 주장하며 문제 해결을 거부했습니다.

미하일 베르고리에 따르면, 현재 가장 큰 과제는 AI 비서가 단순한 작업을 수행하는 데 그치지 않고 사용자를 대신하는 "디지털 개체"가 되어 폴더를 열고, 파일을 보내고, 이메일에 접속할 수 있게 된다는 것입니다. 그는 이것이 해커들에게는 "낙원"과 같으며, 수많은 악용 지점이 존재한다고 경고합니다.

제니티(Zenity)의 공동 창립자이자 CEO인 벤 칼리거(Ben Kaliger)는 회사 연구 결과 현재의 보안 방식이 AI 비서의 작동 방식에 더 이상 적합하지 않다는 것을 보여준다고 강조했습니다. 그는 기업들이 접근 방식을 바꾸고 이러한 "에이전트"의 활동을 제어하고 모니터링할 수 있는 전문 솔루션에 투자할 것을 촉구했습니다.

제니티는 2021년에 설립되었습니다. 현재 전 세계적으로 약 110명의 직원을 보유하고 있으며, 그중 70명은 텔아비브 사무실에서 근무하고 있습니다. 제니티의 고객사로는 포춘 100대 기업과 포춘 5대 기업 등 다수가 있습니다.

(베트남+)

출처: https://www.vietnamplus.vn/israel-canh-bao-tro-ly-ai-co-the-tro-thanh-tac-nhan-doc-hai-tan-cong-nguoi-dung-post1054883.vnp