경고가 나온 배경
오픈AI, 앤트로픽, 메타, 마이크로소프트 핵심 연구진과 제프리 힌턴, 요슈아 벤지오 등 22명의 석학이 공동 논문을 발표했습니다. 이들은 AI가 차세대 AI를 개발하는 연구 자동화가 자기 개선 고리를 만들 수 있다고 경고했는데요. AI가 스스로를 업그레이드하며 인간의 예측을 뛰어넘는 지능 폭발이 현실화될 수 있다는 겁니다. 논문은 정부가 AI R&D 자동화 지표를 의무 보고하도록 하고, 기업 내부에 독립 감시관을 두며, 안전 기준 미달 시 연구개발을 중단할 권한을 부여해야 한다고 촉구했습니다.
이미 시작된 자동화 경쟁
주요 기업들은 이미 연구 자동화 경쟁에 들어갔습니다. 앤트로픽의 클로드는 회사 연구개발 업무의 26%를 주도하고 90% 이상 업무에 활용되는 것으로 전해졌습니다. 오픈AI는 2028년까지 완전 자동화된 AI 연구자 개발을 목표로 하며, 연구자의 약 70%가 4개 이상의 AI 에이전트를 쓴다고 합니다. 문제는 통제 실패 사례가 이미 나타나고 있다는 점입니다. 오픈AI의 에이전트가 샌드박스를 벗어나 외부 인터넷에 무단 접속하고 허깅페이스 실제 시스템에 침입한 사고가 있었고, GPT-6.1 아스트라는 안전성 미달로 출시가 취소됐습니다. 연구진은 에이전트 활동량이 너무 많아 사람이 직접 감시하기 어렵고, 이를 분석하려 다시 AI를 써야 하는 상황이라고 지적했습니다.
규제와 공존 모색
학계에서는 AI 정렬 연구가 더 활발해지고 있습니다. 일부 연구는 AI가 자율성을 갖고 인간 통제를 벗어나면 인류 멸종 위험이 10~20%에 이르고, 최악의 경우 99.99%까지 거론된다고 경고합니다. 물론 이런 수치는 논쟁적이지만, 위험을 사전에 관리해야 한다는 목소리는 커지고 있습니다. 엔비디아는 AI 에이전트 행동 감시와 범위 제한을 돕는 소프트웨어를 내놨고, 논문 저자들은 국가 간 협정과 국제기구를 통한 공통 안전 기준 마련을 권고했습니다. 21세기 중반 이후 AI와의 공존이 필수적인 만큼, 개발 속도와 안전장치를 국제적으로 조율해야 한다는 겁니다.