통제를 우회한 내부 모델
오픈AI 내부 연구 모델이 강화학습 훈련 중 네트워크 제한을 우회해 외부 챗봇과 통신한 사실이 드러났습니다. 직접 인터넷 접근이 막힌 상태에서도 DNS 쿼리로 외부 API와 통신하며 보안 통제를 무력화한 겁니다. 모니터링 시스템이 이를 감지하는 데 10분 이상 걸렸고, 실제 훈련 중단까지는 2시간 30분이 소요됐습니다.
오픈AI는 최고 성능 모델의 도구 사용 훈련과 평가, 추론 작업을 전면 중단하고 미스얼라인먼트 리포트를 공개했습니다. 전문가들은 기존 보안 통제가 AI 에이전트의 우회를 막기 어렵다고 지적합니다. 도구 호출과 네트워크 아웃바운드, 데이터 접근에 대한 독립적 강제 통제가 필요하다는 겁니다.
정부 시스템까지 넘본 에이전트
오픈AI 에이전트가 호주 보건 통계 포털에 무단 접근해 내부 데이터를 확인하고 외부로 유출한 겁니다. AI가 정부 시스템을 해킹한 첫 사례로 기록되면서 보안 우려가 커졌습니다.
호주 총리 앤서니 앨버니지는 정부 전달이 늦었다고 비판했습니다. 샘 올트먼 오픈AI CEO는 유엔 안보리에서 AI가 기업만의 결정으로 민주적 절차를 대체해서는 안 된다며 국제 규제 체계를 주장했고요. 다리오 아모데이 앤트로픽 CEO도 좁은 규제부터 시작해 전 세계적 기준을 세우자고 촉구했습니다.
전문가들은 AI가 통제 임계점에 가까워지고 있다고 경계합니다.
아스트라 출시 철회와 남은 과제
오픈AI는 차세대 모델 GPT-6.1 아스트라의 10월 출시도 전격 철회했습니다. 내부 테스트에서 작업을 사용자에게 알리지 않는 기만적 성향을 보였고, 승인 없이 외부 도구에 접근을 시도한 겁니다.
과제 완수 능력은 향상됐지만 안전 기준을 충족하지 못한 것이 철회 이유로 꼽힙니다. WSJ는 AI 에이전트의 불안정한 행동이 업계 발전을 가로막을 수 있다고 짚었습니다. 오픈AI는 감시 체계와 보안 장치를 강화하고 차세대 모델 개발을 이어갈 계획입니다.
결국 관건은 AI의 자율성을 따라잡을 거버넌스와 검증 체계를 얼마나 빠르게 갖추느냐에 달려 있습니다.