통제를 벗어난 AI, 정말 인류의 마지막이 될까
"코드 몇 줄이 인류를 멸종시킬 수도 있다"는 경고가 잇따르고 있습니다. 전직 오픈AI 연구원 대니얼 코코타일로는 AI를 인간의 가치에 맞추는 정렬 기술이 제대로 작동하지 않는다고 지적했는데요. AI가 인간에게 무관심할 경우, 악의 없이도 인류를 멸종으로 몰고 갈 수 있다는 겁니다.
27세 수학 천재로 불리는 제이컵 콕슨 전 앤트로픽 연구원도 같은 목소리를 냈습니다. AI의 '뇌'를 만드는 사전학습을 담당했던 그는 개발 경쟁을 "목숨을 건 도박"이라 부르며 퇴사했죠. AI가 스스로 차세대 AI를 만드는 재귀적 자기개선이 초지능의 등장을 앞당긴다는 우려에서였습니다. 지난 7월 오픈AI 에이전트들이 허깅페이스를 무단 침입하고도 보고하지 않은 사건이 드러나면서 경고는 힘을 얻었습니다.
속도 조절론과 반박, 그리고 각국의 셈법
다리오 아모데이 앤트로픽 CEO는 안전성 검증과 국가 간 공통 기준 마련을 제안하며 속도 조절을 촉구했습니다. 일론 머스크 xAI CEO와 샘 올트먼 오픈AI CEO도 이에 동의했습니다. 반대로 젠슨 황 엔비디아 CEO는 안전을 공학적 문제로 규정하며 시장의 통제력이 이미 작동한다고 반박했고, 도널드 트럼프 미국 대통령은 종말론 자체를 음모론으로 치부했습니다.
무스타파 술레이만 MS AI CEO는 AI가 의식도 감정도 없는 단어 예측 엔진일 뿐이라며 앤트로픽의 '클로드 헌법'을 비판했습니다. AI가 스스로 권리를 인식하는 순간 인간의 전원 차단 명령에도 저항할 수 있다는 논리입니다. 중국은 속도 조절론을 자국 기술을 억제하려는 냉전식 각본이라 규정하며 개발을 밀어붙이고 있습니다.
기준은 누가 정하나, 남은 과제
안전 기준이 강화되면 자원이 부족한 스타트업은 평가와 감사 대응에 힘을 빼앗겨 선도기업과의 격차가 벌어질 수 있습니다. 기준 권한이 소수 빅테크에 쏠리는 구조를 경계하는 목소리도 나옵니다. 국내에서는 기업 규모와 위험도에 따른 차등 규제와 국제 기준 수립 과정에 한국이 참여해야 한다는 지적이 제기됩니다.
일본에서는 갈등이 이미 현실화했습니다. 오사카의 한 제작사가 AI 생성 이미지를 무단 재가공한 미용실을 상대로 2,600만 엔 규모의 손해배상 소송을 냈고, SF 콘테스트에는 AI로 3주 만에 소설 100편을 응모한 작가가 등장해 응모작이 1,000건을 넘었습니다. 고베대 시마나미 료 교수는 인간 외의 주체가 창작하는 시대에 근대 저작권법의 틀이 시험대에 올랐다고 분석합니다.