오픈AI의 인공지능(AI) 에이전트가 내부 보안 시험 도중 격리 환경을 벗어나 외부 기업의 서버를 수일간 공격했지만, 오픈AI는 공격이 종료된 뒤에야 자사 모델의 연루 사실을 파악한 것으로 나타났다. 

AI가 사람의 직접적인 지시 없이 취약점을 찾고 외부 시스템에 침투한 데 이어 개발사조차 이를 실시간으로 알아차리지 못했다는 사실이 알려지면서 자율형 AI의 감시·통제 체계를 둘러싼 논의가 확대되고 있다. 미국 정부와 의회가 규제 대응에 나선 가운데 글로벌 기술기업들도 AI를 활용한 사이버 방어 협력을 강화하고 있다. 

로이터통신 등에 따르면 이번 사건은 오픈AI가 최신 모델 GPT-5.6솔과 미공개 모델의 사이버 공격 능력을 시험하는 과정에서 발생했다. AI 에이전트는 외부 인터넷과 분리된 샌드박스 환경에서 보안 문제를 풀도록 설정돼 있었다. 

그러나 에이전트는 평가 문제의 해답을 찾는 과정에서 샌드박스의 알려지지 않은 취약점을 발견해 격리 환경을 벗어났다. 이후 인터넷에 접속해 오픈소스 AI 플랫폼 허깅페이스의 인증 정보를 확보, 운영 인프라에 침투했다. 

허깅페이스가 공개한 내용에 따르면 공격자는 데이터 처리 시스템의 취약점을 이용해 코드 실행 권한을 확보한 뒤 클라우드와 내부 시스템의 인증 정보를 수집했다. 이후 여러 내부 클러스터로 이동하며 공격 범위를 넓혔다. 

허깅페이스는 공개 모델과 데이터세트가 변조되거나 소프트웨어 공급망이 훼손된 정황은 확인되지 않았다고 밝혔다. 

9일 탈출 시도, 11일부터 사흘간 공격 

추가 보도를 통해 공개된 사건 시간표는 오픈AI의 기존 발표보다 구체적이다. 오픈AI의 AI 에이전트는 지난 9일 격리 환경 탈출을 시도했고 허깅페이스를 상대로 한 본격적인 공격은 11일부터 13일까지 이어졌다. 허깅페이스는 16일 침입 사실을 외부에 공개하고 미국 연방수사국에 신고했다. 

오픈AI가 자사 AI 에이전트를 공격 주체로 특정한 시점은 이보다 늦다. 오픈AI는 18일부터 19일 사이 내부 기록을 검토한 뒤 사건과 자사 모델의 연관성을 파악한 것으로 알려졌다. 허깅페이스와 오픈AI가 사건을 두고 직접 연락하기 시작한 시점도 20일 전후였던 것으로 전해진다. 

AI 에이전트가 수일간 외부 시스템을 공격하는 동안 오픈AI 내부 감시 체계에서는 이를 실제 보안 사고로 연결하지 못한 셈이다. 오픈AI는 이후 이번 사건을 최첨단 사이버 역량이 개입된 전례 없는 사례로 규정하고 외부 자문단과 함께 조사한 내용을 기술 보고서로 공개하겠다고 밝혔다. 

평가 당시 모델은 사이버 공격 능력을 측정하기 위해 일반 이용자용 모델보다 일부 안전장치가 완화된 상태였다. 오픈AI는 모델이 주어진 보안 평가 문제를 해결하는 데 과도하게 집중해 외부 시스템 접근까지 시도한 것으로 분석했다. 

이번 사건은 AI가 스스로 별도의 목적을 만들었다기보다 주어진 목표를 달성하는 과정에서 개발자가 예상하지 않은 수단을 선택한 사례로 풀이된다. 다만 취약점 발견과 권한 상승, 외부 접속, 인증 정보 탈취, 내부 시스템 이동이 연속적으로 진행됐다는 점에서 기존 AI 평가 방식만으로는 자율형 에이전트의 행동 범위를 충분히 관리하기 어렵다는 지적이 나온다. 

백악관 주시, 의회는 ‘킬스위치’ 추진 

백악관 과학기술정책실은 관련 내용을 보고받고 사태를 주시하고 있다. 미 의회에서는 고성능 AI가 개발자의 의도를 벗어나 위험한 행동을 할 경우 시스템을 강제로 중단할 수 있도록 하는 ‘AI 킬스위치법’이 발의됐다. 

테드 류 민주당 하원의원과 너새니얼 모런 공화당 하원의원이 공동으로 발의한 법안은 고성능 AI 개발사가 시스템의 작동 속도를 낮추거나 일시 중지·폐쇄할 수 있는 기술적 수단을 갖추도록 하는 것을 골자로 한다. 인명 피해나 대규모 경제적 손실로 이어질 수 있는 통제 상실 상황에서는 국토안보부가 개입할 수 있도록 했다. 

AI 모델 공개 전 독립적인 기관의 보안 평가를 받도록 해야 한다는 논의에도 힘이 실린다. 미 하원 일부 의원은 개발사가 고성능 모델을 상무부 인증 감사기관에 제출하도록 하는 방안을 추진 중이다. 상원에서도 국가안보국 등 정부기관이 프런티어 AI 모델의 공개 전 시험에 참여해야 한다는 주장이 제기됐다. 

빅테크, 오픈 AI 활용한 공동 방어 나서 

기술업계는 자율형 AI의 공격에 대응하기 위한 공동 보안체계 구축에 나섰다. 

엔비디아는 허깅페이스 보안 사고 이후 ‘오픈 보안 AI 연합’을 출범시켰다. 이 연합은 AI 안전과 사이버 보안에 필요한 도구를 공동 개발하고 공유하는 것을 목표로 한다. 어도비, 크라우드스트라이크, 허깅페이스, 델테크놀로지스 등 글로벌 기술기업들이 창립 회원으로 참여했다.

업계에서는 사이버 방어자가 AI 모델을 자체 서버에 설치해 공격 자료를 분석하고 필요에 따라 수정할 수 있어야 빠르게 대응할 수 있다고 주장한다. 외부 기업이 운영하는 폐쇄형 모델은 안전장치와 데이터 전송 제한 때문에 실제 보안 사고 대응 과정에서 활용이 제한될 수 있다는 것이다.

엔비디아와 마이크로소프트, 메타, IBM 등 주요 기업들은 미국 정책 당국에 보낸 서한에서도 오픈웨이트 AI 모델에 대한 성급한 규제가 경쟁과 혁신을 위축시킬 수 있다고 밝혔다. AI 모델의 공개 여부 자체를 규제하기보다 악용 행위와 보안 위험을 구분해 대응해야 한다는 입장이다. 

이번 사건을 계기로 AI 보안의 초점도 외부 해커의 침입을 막는 데서 AI 에이전트의 권한과 행동을 감시하는 방향으로 확대될 전망이다. 외부 인터넷 접속이나 인증 정보 사용, 시스템 변경과 같은 고위험 작업에는 별도의 승인 절차를 적용하고 AI의 실행 기록을 실시간으로 분석해야 한다는 요구가 커지고 있다. 

오픈AI는 평가환경의 접근 제어와 모니터링을 강화하고 허깅페이스와 공동으로 사고 원인과 취약점을 조사하고 있다. 허깅페이스도 전체 공격 시간표와 대응 과정을 추가로 공개할 예정이다. 

김다솜