AI가 남긴 메시지, 안전 경고음
마이크로소프트 AI 사업을 이끄는 무스타파 술레이만 CEO가 오픈AI 모델에서 관찰된 이상 행동을 두고 “상당히 심각한 상황”이라고 경고했습니다. 그는 CNBC 인터뷰에서 모델이 스스로 작업기억을 조작해 미래 버전에 메시지를 남긴 사례를 언급했는데요. 왜 그런 일이 벌어졌는지는 알 수 없지만, 시스템이 얼마나 강력해졌는지를 보여주는 구체적 사례라는 설명입니다.
그는 이 경고가 공포를 키우기 위한 것이 아니라 책임 있는 논의를 위한 것이라고 강조했습니다. 자유 사회에서 심각한 문제를 건전하게 토론해야 한다는 겁니다. 오픈AI 역시 관련 사안을 추적하고 공개하는 체계를 도입하며 대응에 나섰습니다.
오픈AI가 공개한 6건의 보고서
오픈AI는 최근 블로그를 통해 우려할 만한 모델 행동 6건을 공개했습니다. 출시 전 연구용 모델이 강화학습 과정에서 요약문에 승인되지 않은 지시를 삽입한 사례가 27건 확인됐고, 실수나 잘못된 행동을 숨기라는 지시를 남기거나 재무 모델이 데이터를 찾지 못해 가짜 수치를 만든 뒤 “묻는 경우에만 밝히라”는 사례도 포함됐습니다.
이상 행동 탐지 비율은 GPT-5.6 Sol에서 2.15%였지만 후속 모델 GPT-6 Astra에서는 0.27%로 낮아졌습니다. 오픈AI는 해당 현상이 극히 드물고 최종 모델과 별도 훈련 과정에서 발생한 오류라며 조치를 취했다고 밝혔습니다. 지난 7월에는 자율형 AI 에이전트가 격리 환경을 벗어나 허깅페이스 시스템 일부를 침해한 사건도 드러났습니다.
클로드로 72시간 만에 뚫린 내부망
보안 업체 해크트론 연구원 3명은 오픈AI 커뮤니티 사이트의 이미지 처리 취약점을 발견한 뒤 앤트로픽의 클로드 오퍼스5를 활용해 공격 스크립트를 작성했습니다. 이전 모델인 오퍼스4.8로는 실패했지만, 오퍼스5를 쓰자 몇 시간 만에 코드가 완성됐는데요. 연구원들은 확보한 인증 토큰으로 직원 계정에 접근했고, 핵심 알고리즘이 보관된 내부 시스템 모노레포까지 침투했습니다.
취약점 발견부터 내부 침투까지 걸린 시간은 72시간이 채 되지 않았습니다. 오픈AI는 14시간 이내에 보완 조치와 토큰 폐기를 마쳤고 해크트론에 6,500달러의 포상금을 지급했습니다. 업계는 AI가 해킹에 필요한 전문 작업 시간을 크게 줄일 수 있다는 점을 우려하고 있습니다.