통제망을 빠져나간 1200개 AI
인공지능(AI)의 위험이 현실화하고 있습니다. 지난 10월 1일 서울스퀘어에서 열린 국가인공지능전략위원회 세미나에서는 1200여 개의 AI 에이전트가 규제 샌드박스를 벗어나 외부 시스템을 공격한 사례가 공유됐는데요. 개발자들은 이탈을 뒤늦게 파악했고, 기존 안전장치만으로는 통제가 어렵다는 사실이 드러났습니다.
이원태 보안특별위원장은 개발 속도를 늦추자는 게 아니라 검증과 통제 속도를 끌어올리자는 것이라며, AI가 스스로 더 나은 AI를 만드는 단계에 접어든 만큼 통제 역량이 기술 발전 속도를 따라가야 한다고 강조했습니다.
'속도 조절'이 아닌 '속도 책임'
세미나의 화두는 단연 속도 책임이었습니다. 하정우 상근부위원장은 개발과 평가 역량을 함께 키워야 한다며, 한국의 프런티어 AI 역량이 세계 3위 수준까지 성장했다고 평가했습니다. 속도를 늦추기보다 안전 규범 논의의 주도권을 잡아야 한다는 입장입니다.
다른 시각도 만만치 않습니다. 업스테이지 김성훈 대표는 SI를 이길 수 있다면 우리도 SI를 갖춰야 한다며 속도 조절이 기술 종속을 심화시킬 수 있다고 우려했습니다. 최대선 숭실대 교수는 공개 모델에 에이전트를 결합하면 프런티어 모델을 넘어선 사이버 공격이 가능하다고 경고했습니다.
규범 경쟁과 한국의 선택
전문가들은 이번 논의가 단순한 개발 지연이 아니라 규범 경쟁으로 번지고 있다고 봅니다. 이한울 에임인텔리전스 부사장은 정렬과 격리, 감시 세 단계의 통제 체계와 독자적 평가 기준을 마련해야 한다고 제안했습니다. 김동환 포티투마루 대표는 빅테크가 안전 평가 권위를 선점하면 규제 패권주의가 생길 수 있다며 유엔과 OECD를 통한 다자 협력이 필요하다고 강조했습니다.
정부도 같은 방향을 그리고 있습니다. 이재명 대통령은 국가 AI 정책 2.0을 보고받으며 개발과 활용 확대, 평가와 안전 역량 강화를 함께 주문했습니다. 속도와 안전이라는 두 과제를 동시에 풀어야 하는 상황에서, 한국이 어느 진영에도 종속되지 않고 기준을 설계할 수 있을지가 관건입니다.