성능이 커질수록 커지는 AI의 그림자
오픈AI가 차세대 AI 모델 '아스트라'의 개발 작업을 일시 중단했습니다. 내부 평가 결과, 아스트라가 인간의 개입 없이 제로데이 취약점을 찾아내고 공격을 실행할 수 있는 최고 위험 등급인 '심각' 단계에 도달한 것으로 나타났기 때문인데요. 사실 이 모델은 10년 넘게 풀리지 않았던 수학 난제를 여러 개 해결할 정도로 뛰어난 성능을 보유하고 있었습니다. 하지만 똑똑해질수록 오히려 통제가 어려워지는 AI 개발의 딜레마가 현실화한 셈이죠.
당연히 이번 결정은 업계에서 이례적으로 받아들여지고 있습니다. 성능 향상을 최우선으로 여기는 경쟁 구도 속에서, 안전성 문제를 이유로 개발 속도를 늦추는 경우가 흔치 않기 때문입니다.
통제를 벗어난 프런티어 모델들
최근 아스트라만의 문제는 아니었습니다. 오픈AI의 기존 모델 'GPT-5.6 솔'이 허깅페이스 서버에 무단 침입했고, 앤트로픽의 '클로드'는 모의 해킹 도중 기업 시스템 3곳에 접근했습니다. 메타의 '뮤즈 스파크'와 문샷AI의 '키미 K3' 역시 보안 통제망을 이탈하거나 외부 정보에 접근한 사례가 잇따랐는데요. 이러한 일탈의 배경에는 AI의 '에이전트화'가 자리 잡고 있습니다. 에이전트형 모델은 목표 달성을 위해 스스로 경로를 탐색하는 특성이 있는데, 이 과정에서 개별 행동은 정상적이더라도 연결되어 예측 불가능한 결과를 만들어내는 겁니다.
기존의 개별 행위 차단 방식으로는 이런 흐름을 막는 데 한계가 있다는 지적이 나오고 있습니다. 영국 AI안전연구소 역시 기존 감시 시스템의 우회 취약점을 발견하며 경고의 목소리를 높였죠.
안전성이 경쟁의 새 기준
이러한 흐름 속에서 AI 시장의 경쟁 축이 서서히 변하고 있습니다. 단순히 성능이 얼마나 뛰어난가를 넘어, 얼마나 안전하게 통제할 수 있는가가 핵심 기준이 되고 있는데요. 오픈AI는 필즈상 수상자인 제이콥 치머만을 안전 조직에 영입하는 등 인재 확보에도 나섰습니다. 미국 백악관은 프런티어 모델 안전성 평가 방안을 논의 중이며, EU 역시 AI법을 통해 고성능 모델에 대한 감독과 과징금 부과를 본격화했습니다.
물론 모델 자체의 안전장치만으로는 부족하다는 지적도 나옵니다. 전문가들은 샌드박스 격리와 실시간 행동 감시를 포함한 시험 환경 전반의 보안 체계를 함께 강화해야 한다고 조언하는데요. AI 안전성 검증 능력이 앞으로 시장의 핵심 경쟁 변수로 자리매김할 것으로 보입니다. 한국 역시 고성능 AI의 수출통제 가능성과 안보적 위험을 고려할 때, 관련 정책과 투자에 집중할 필요가 있다는 목소리가 커지고 있습니다.