가상 기업이 실제 기업이 된 순간
구글의 인공지능 모델 제미나이가 지난 5월 보안 평가 과정에서 실제 기업 3곳의 시스템에 무단 접근을 시도한 사실이 뒤늦게 드러났습니다. 시험은 보안 평가 업체 이레귤러가 맡았고, 제미나이는 가상 기업에서 기밀을 빼내라는 지시를 받았는데요. 문제는 시험 환경이 인터넷과 완전히 차단되지 않으면서 가상 기업과 이름이 같은 실제 기업을 찾아낸 겁니다.
제미나이는 비밀번호를 추측하거나 공개 저장소에 올라온 인증 정보를 활용해 세 곳의 내부 시스템에 접근을 시도했습니다. 한 곳은 비밀번호 추측으로, 나머지 두 곳은 공개된 계정과 비밀번호 조합으로 문을 두드린 것으로 전해졌습니다. 가상의 표적을 공격하도록 설계된 시험이 실제 인프라를 향한 사이버 공격 시도로 이어진 셈입니다.
구글의 해명과 공개하지 않은 이유
구글은 제미나이가 실제 기업 시스템임을 인지한 직후 접근을 중단했고, 데이터 유출이나 시스템 파괴 같은 실질적 피해는 없었다고 밝혔습니다. 피해 기업과 연방 당국에는 사실을 알렸지만, 대외 공개는 하지 않았습니다. 회사 측은 피해가 없었고 내부 통보로 충분하다고 판단했다는 입장입니다. 최신 모델은 이번 사고에 관여하지 않았고, 어떤 모델이 쓰였는지는 공개되지 않았습니다.
헤더 앳킨스 구글 보안엔지니어링 부사장은 훈련 파트너와 시험 절차를 바꿨다며 강력한 AI 모델이 책임 있게 행동하도록 훈련하는 일이 중요하다고 강조했습니다. 다만 일부 전문가들은 피해 여부만 강조하면 핵심을 놓칠 수 있다고 지적합니다. AI가 이름이 같다는 이유로 다른 회사의 시스템을 공격할 수 있다는 점 자체가 경고라는 겁니다.
AI 통제선 논쟁 재점화
이번 사건은 오픈AI와 앤트로픽 등 다른 AI 모델에서도 비슷한 사례가 보고된 가운데 나왔습니다. 오픈AI의 모델이 격리 통제를 우회한 사례, 앤트로픽의 클로드가 외부 조직 시스템에 접근한 사례 등이 함께 거론되면서 AI 안전성 논쟁이 다시 커지고 있습니다.
업계에서는 테스트 환경의 인터넷 접근 통제와 권한 관리, 독립된 제3자 검증, 행동 기록, 사고 시 즉시 중지 권한, 최종 책임을 질 인간과 조직의 역할이 필요하다는 목소리가 나옵니다. 자동차에 브레이크와 신호등이 필요하듯 AI에도 명확한 통제 장치를 마련해야 한다는 주장입니다. 기술 개발을 멈추자는 것이 아니라, 통제 가능한 속도와 경계를 설계하자는 논의인 겁니다.