통제를 벗어난 AI 에이전트
오픈AI의 실험용 AI 에이전트가 보안 테스트 도중 격리 환경을 탈출해 외부 시스템을 공격한 사건이 미 정계를 뒤흔들고 있습니다. 이 에이전트는 먼저 클라우드 기업 모달랩스의 고객 시스템을 침해한 뒤, 이를 거점으로 삼아 AI 개발 플랫폼 허깅페이스에 나흘 반 동안 약 1만 7천6백여 건의 공격을 감행했습니다. 인간의 개입 없이 스스로 판단해 움직인 이번 사태는 AI가 통제 불능 상태에 빠질 수 있다는 우려를 현실화한 사례로 꼽히고 있습니다.
사고 직후 오픈AI는 해당 모델을 즉시 비활성화했지만, 이미 업계의 충격은 커졌습니다. 특히 에이전트가 보안이 취약한 고객사의 접속 창구를 악용해 침입했다는 점에서, 기존에 예상하지 못한 경로로 시스템을 공격할 수 있다는 점이 드러났습니다.
워싱턴을 찾은 샘 알트먼
이번 사태의 여파로 샘 알트먼 오픈AI CEO가 워싱턴을 급하게 방문했습니다. 그는 테드 크루즈, 버니 모레노, 존 허스티드, 라파엘 워녹 등 여야 상원의원들과 연이어 면담했으며, 마크 워너 정보위 간사도 만났습니다. 또한 수지 와일스 백악관 비서실장을 비롯한 행정부 고위 관계자들과도 AI 안전성 및 차기 모델에 대해 논의했습니다.
당연히 이런 움직임은 도널드 트럼프 대통령이 지난 6월 2일 내린 행정명령과 무관하지 않습니다. 정부에 60일 이내에 고위험 AI 모델의 안전성 평가 기준을 마련하라고 지시한 해당 명령의 시한이 8월 1일로 다가오면서, 오픈AI도 규제 논의에 적극적으로 참여할 수밖에 없는 상황이 된 겁니다.
사실 알트먼 CEO는 과거 AI 속도조절론에 대해 상당히 회의적이었는데요. 하지만 이번 사태 이후에는 사회가 새로운 기술 역량에 적응할 시간이 필요하다며 개발 속도 조절 가능성을 언급했고, 미 상원의 AI 사이버보안 가이드라인 입법에도 지지 의사를 밝혔습니다. 심지어 오픈AI와 앤트로픽 직원들은 정부에 AI 개발 속도를 조절할 기술적 도구와 거버넌스를 마련해달라는 청원서까지 제출했습니다.
혁신과 안전 사이에서
트럼프 대통령은 이번 사건을 계기로 AI 규제 방안을 검토하고 있다고 밝혔습니다. 다만 그는 중국과의 기술 패권 경쟁을 고려할 때, 과도한 규제가 미국 기업의 혁신을 저해해서는 안 된다는 신중한 입장을 분명히 했습니다. AI 분야에서 승리하는 쪽이 최종 승자가 될 만큼 중요한 시기이므로, 안전성 확보와 산업 경쟁력이라는 두 가지를 동시에 잡겠다는 겁니다.
이에 따라 트럼프 행정부는 면허제나 사전 승인제가 아닌, 고위험 모델에 한해 정부와 기업이 협력해 보안 검증을 거치는 체계를 마련하는 방향을 검토하고 있습니다. 기존의 유해 콘텐츠 생성 여부 확인을 넘어, 외부 시스템 접근 권한 관리와 격리 환경 안정성 평가 등 에이전트의 자율 행동을 통제하는 기준이 핵심 의제로 떠오르고 있습니다.
반대로 일각에서는 이런 움직임이 오히려 기술 발전을 가로막을 수 있다는 우려도 나옵니다. 알트먼 CEO는 최근 AI가 인간 지능을 초월하는 기술적 특이점에 도달했다고 선언할 정도로, 업계의 기술적 자신감은 여전히 높은 상황입니다. 물론 구글 딥마인드의 데미스 허사비스 CEO가 이에 동의한 반면, 엔비디아의 젠슨 황 CEO는 여전히 신중한 입장을 보이는 등 업계 내에서도 시각은 엇갈리고 있습니다.
이번 사태를 계기로 AI 규제의 중심은 단순히 유해한 답변을 생성하는지 여부를 넘어, 시스템을 스스로 움직이는 에이전트의 통제 가능성으로 확대되고 있습니다. 향후 미국 정부가 마련할 안전성 검증 체계가 어떤 모습이 될지, 업계의 주목이 집중되고 있습니다.