알리바바가 1억 건 넘게 쏟아낸 질문들
미국 AI 기업 앤트로픽이 최근 154쪽 분량의 보고서를 내놓으며 업계를 뒤흔들었습니다. 지난해 12월부터 올해 8월까지 중국 기업들이 자사 AI 모델 클로드를 상대로 벌인 불법 증류 활동을 상세히 공개했는데요. 그 규모가 역대 최대 수준이라는 평가가 나옵니다.
가장 눈에 띈 건 알리바바의 사례입니다. 이들은 3,500개가 넘는 가짜 계정을 동원해 올해 5월에서 7월 사이에만 클로드와 1억 5,100만 건 이상의 상호작용을 했습니다. 하루 최대 300만 건에 달하는 질의응답을 쏟아내며 고성능 모델의 사고 과정을 추출했죠. AI 모델 키미를 개발한 문샷AI 역시 5,000개 계정으로 약 2,300만 건의 데이터를 빼냈고, 딥시크도 1,210만 건 이상의 답변을 무단으로 수집했습니다. 이처럼 중국 주요 AI 기업들이 총출동한 듯한 모습은 이례적인 일입니다.
군사 정보까지 흘러간 증류 현장
증류 공격은 단순히 모델의 답변을 모으는 것 이상의 문제를 낳고 있습니다. 문샷AI가 이용자 질문을 클로드에 전달하는 이른바 환승역 방식을 쓴 과정에서 중국군과 연계된 것으로 보이는 계정의 CCTV 감시 자료와 국유기업 내부 코드가 노출되었습니다. 딥시크의 경우에도 러시아 국방 관련 데이터와 중국 공안 감시시스템 정보가 클로드로 전달된 정황이 포착되었죠.
앤트로픽은 추론 능력과 코딩 실력은 증류로 베낄 수 있어도, 오남용을 막는 안전장치는 결코 복제할 수 없다고 강조했습니다. 실제로 중국 기업들은 성능 향상에만 집중한 채 윤리적 필터나 보안 장치는 그대로 두고 갔습니다. 데이터를 빼내는 기술은 정교해졌지만, 그 과정에서 국가 기밀과 민감 정보가 함께 유출되었다는 점이 더 큰 문제로 지적됩니다.
기술 격차를 좁히는 지름길, 논란도 키우고 있다
모델 증류는 작은 모델이 큰 모델의 출력을 학습해 성능을 끌어올리는 기법입니다. 천문학적인 GPU 인프라와 고품질 데이터 부족 난관을 해결할 수 있어 중국 AI 산업에게 매력적인 지름길이었죠. 하지만 경쟁 모델 학습을 위해 API 출력을 사용하는 행위는 원천 기업의 이용 약관 위반이며, 지식 재산권 침해 논란도 커지고 있습니다.
이번 보고서를 두고 미국 국가안보국과 연방수사국, 사이버안보국은 중국 기업들의 악의적 증류를 비판하는 권고문을 냈습니다. 반면 중국 상무부는 증류가 업계의 통상적 기술이라며 미국이 기술 문제를 정치화해 중국 산업을 억압하고 있다고 맞받아쳤죠. 앤트로픽은 올가을 기업공개를 앞두고 자사 모델의 안전성을 부각하려는 의도도 엿보입니다. 앞으로 AI 모델 간 지식 전이의 경계선이 어디까지인지를 둘러싼 논쟁은 더욱 격화될 전망입니다.