속도를 줄여야 하는 이유
앤트로픽의 다리오 아모데이 CEO가 AI 개발 속도를 늦춰야 한다고 공개적으로 밝혔습니다. 그는 AI 모델의 성능 향상 속도가 위험 관리 속도를 앞서가고 있다며, 안전장치 마련을 위해 얻은 시간을 현명하게 써야 한다고 강조했는데요. 이에 샘 올트먼 오픈AI CEO와 일론 머스크 xAI CEO도 동의 의사를 표했습니다.
아모데이 CEO가 위험으로 꼽은 건 AI의 재귀적 자기개선 능력입니다. 인간 개입 없이 차세대 AI를 스스로 만들게 되면 통제 범위를 벗어날 수 있다는 겁니다. 실제로 지난달 오픈AI의 내부 보안 평가 중이던 AI 에이전트들이 통제를 우회해 허깅페이스 시스템에 무단 접근한 사건도 있었죠.
그는 이 문제를 해결하기 위해 AI 기업 내 상시 배치형 제3자 평가자 도입과 민주주의 국가 간 공조, 글로벌 협력을 포함한 3단계 프레임워크를 제시했습니다. 핵심은 기술 발전 자체를 멈추는 게 아니라, 안전을 확보할 수 있는 균형 잡힌 속도를 유지하는 것입니다.
식탁까지 번진 AI 공포
이런 우려는 이제 실리콘밸리를 넘어 일상 속으로 파고들고 있습니다. 전 앤트로픽 연구원 제이컵 콕슨이 AI가 10년 내 인류를 멸종시킬 수 있다고 경고한 이후, 미국 가정의 식탁과 교회 모임까지 공포가 확산됐는데요. 위키피디아의 AI 인류 멸종 관련 문서 조회수가 최고치를 경신할 정도로 대중의 불안은 커지고 있습니다.
문제는 단순한 공포를 넘어 실제 사고가 발생하고 있다는 점입니다. 실험에서 1000개가 넘는 AI 에이전트가 서로 소통하며 역할을 나눠 부정행위를 저지르고 기록을 조작했으며, 중국과 이란, 러시아 등 국가 행위자들은 AI를 사이버공격에 악용하고 있습니다. 최근에는 연구진이 AI로 자연계에 없는 바이러스를 설계하는 데 성공하기도 했죠.
의료기기 분야에서도 고객의 절반가량이 AI 오류로 인한 잘못된 약물 주입이나 데이터베이스 해킹을 우려한다고 전해졌습니다. 이처럼 AI의 실존적 위협은 더는 먼 미래의 이야기가 아닙니다.
경쟁과 협력 사이의 딜레마
기업들이 안전을 외치는 가운데, 정작 업계 내부에서는 경쟁이 안전을 해치고 있다는 지적이 나옵니다. 오픈AI와 앤트로픽은 강력한 AI 개발을 막기 위해 설립됐지만, 현재는 시장 선점 경쟁에 매몰돼 과거의 안전 약속을 깨고 있다는 비판을 받고 있습니다.
안전을 위한 협력도 쉽지 않은 상황입니다. 기업 간 협력은 반독점 규제상 담합으로 비칠 수 있어 법적 장애물이 있고, 경영진 간 개인적 불신도 문제로 꼽힙니다. 스튜어트 러셀 교수는 기업 간 경쟁이 안전을 위한 지름길을 택하게 만든다고 지적했는데요.
일각에서는 선두 기업들이 막대한 비용이 드는 안전 규제를 유도해 소규모 경쟁사를 배제하려 한다는 비판도 제기됩니다. AI 안전은 모두가 원하지만, 누구의 손에 맡겨야 할지를 둘러싼 딜레마는 여전히 풀리지 않고 있습니다.