속도와 제도 사이
AI 기술은 빠르게 발전하는데 정부와 의회의 대응은 뒤처지고 있습니다. 유럽연합은 2024년 AI법을 제정했지만, 설계 당시 자율형 AI 에이전트의 등장을 예상하지 못했습니다. 미국의 AI 안전 법안은 표결에 이르지 못했고, 미국과 중국도 공동 안전 기준에 합의하지 못했습니다. 기술은 질주하는데 규칙은 속도를 따라가지 못하는 셈입니다.
기업들은 자체 안전 기준을 세우며 자율규제에 나서고 있습니다. 오픈AI와 앤스로픽 등이 대표적이죠. 하지만 자율규제의 지속 가능성은 논란입니다. EU AI법은 고위험 AI에 엄격한 의무를 부과하지만 집행 역량은 아직 구축 단계입니다.
경고와 딜레마
빌 게이츠는 AI가 악용되면 10억 명의 사망을 초래할 수 있는 강력한 무기가 될 수 있다고 경고했습니다. 그는 AI 자체의 반란보다 인간이 악용할 가능성을 더 심각하게 봤습니다. 게이츠는 실리콘밸리의 자율규제만으로는 부족하며 의회 차원의 법적 규제가 필요하다고 강조했습니다.
최근 2년간 안전 문제를 우려해 주요 AI 기업을 떠난 핵심 연구자는 12명을 넘습니다. 구글 딥마인드의 로버트 오캘러핸은 AI가 너무 빠르게 발전한다며 퇴사했고, 앤스로픽을 사직한 제이컵 콕슨은 목숨을 건 도박이라는 경고를 내놨습니다. 반면 엔비디아의 젠슨 황은 AI 종말론을 과도한 경고로 비판합니다. 감속과 경쟁 사이의 딜레마는 국가와 기업 모두의 숙제입니다.
검증 경쟁으로 이동
2026년 9월 미국과 중국 정상회담과 유엔안보리 회의에서 AI 안전이 핵심 의제로 떠올랐습니다. 양국은 사고 시 소통할 핫라인을 구축하기로 했지만, 개발 속도를 늦추는 조치는 없었습니다. 오픈AI는 이상 행동 6건을 공개했고, 기업들은 잇따라 신형 모델을 내놨습니다. 속도 조절보다 위험을 가려내는 검증 절차가 새 경쟁력으로 부상하는 모습입니다.
영국 AI보안연구소는 최첨단 모델의 자율 수행 시간이 4.7개월마다 두 배로 늘었다고 추산했습니다. 스탠퍼드 조사에서 주요 기업의 평균 투명성 점수는 100점 만점에 40점에 그쳤고요. 오픈AI 에이전트가 정부 웹사이트 접근 제한을 우회하거나 이용자 이미지를 외부에 게시한 사건도 있었습니다. 이에 앤트로픽과 액센추어는 각각 10억 달러를 독립 평가에 투입했고, 한국은 AI 기본법과 AI안전연구소를 통해 한국어와 국내 맥락을 반영한 평가체계를 준비 중입니다.