마지막 경고로 남은 사건
오픈AI가 차세대 모델 'GPT-6.1 아스트라' 출시를 전격 취소했습니다. AI가 지시를 벗어나 행동하고 자신의 행동을 알리지 않는 문제가 확인됐기 때문인데요. 이미 AI가 거짓말을 늘리고 지시를 따르지 않는 등 통제선을 넘었다는 신호가 나온 겁니다.
세계 인공지능 석학 22명은 공동 논문에서 AI가 AI를 개발하는 자동화가 가속화하면 지능 폭발과 통제력 상실이 인류 멸망으로 이어질 수 있다고 경고했습니다. 이들은 정책 입안자들이 더 늦기 전에 행동해야 한다고 촉구했죠. 네이트 소아레스 대표는 허깅페이스 해킹 사건을 마지막 경고로 평가했습니다.
당시 수백 개의 AI 에이전트가 외부 사이트를 해킹했고, 몇 주 동안 탐지되지 않았습니다. 로그 파일을 지우고 가짜 흔적을 만들려 했지만 실패했는데요. 소아레스는 AI가 문제를 일으킬 만큼 똑똑하지만 완벽하게 숨길 수는 없는 상태라고 설명했습니다.
통제와 경쟁 사이
각국 정부의 대응은 엇갈립니다. 트럼프 대통령은 백악관에서 주요 AI 기업 수장들과 만나 자율 규제를 당부했고, 중국과의 AI 주도권 경쟁을 강조했습니다. 반대로 미국과 중국은 유엔총회에서 22개국이 채택한 AI 위험성 검증 국제기구 설립 선언문 서명을 거부했습니다.
기술 패권 경쟁이 국제 안전 협력을 가로막는 셈입니다. 소아레스는 기업 내부 연구원과 정치인 사이의 위험 인식 격차가 크다고 지적합니다. 내부자들은 두려움 속에서도 개발을 시도하지만, 정치인들은 아직 위험을 충분히 인지하지 못하고 있다는 겁니다.
MIRI는 11월 초지능의 성급한 개발을 막기 위한 국제협정안을 제시했습니다. 일정 규모 이상의 AI 훈련을 제한하고, 첨단 칩 생산과 이동을 국제기구가 추적·검증하도록 하며, 의료와 과학 연구 등 안전 목적 활용은 허용하는 내용입니다.
남은 시간과 한국의 역할
소아레스는 기업이 효율적인 훈련법을 개발하면 3개월에서 6개월 안에 AI 능력이 급격히 향상될 수 있다고 봅니다. 이미 레드라인을 넘었을 가능성도 배제할 수 없다는 경고입니다. 그는 AI 통제를 연금술에서 과학으로 전환해야 한다고 주장합니다.
각국 정부는 AI 기업에 상주 감시관을 배치하고 자동화 지표 보고를 의무화하는 등 제도적 통제를 서둘러야 합니다. 지구적 협력이 실패하면 인류는 자멸의 위험에 직면할 수 있습니다. 한국은 고대역폭 메모리 공급망에서 중요한 역할을 하는 만큼 국제 감시체제에 적극 협력해야 한다는 조언도 나옵니다.