해킹 조직도 AI를 부리는 시대
북한 연계 해킹 조직이 생성형 AI 도구를 본격적으로 사이버 공격에 활용하고 있다는 보고가 나왔습니다. 크라우드스트라이크의 최근 보고서에 따르면, ‘페이머스 천리마’나 ‘프레셔 천리마’ 같은 조직이 챗GPT나 제미나이를 이용해 가짜 신원을 생성하거나, 코딩을 보조받아 탐지를 회피하는 등 공격 방식을 고도화하고 있는데요. 이들은 채용 담당자로 위장해 악성 코드를 유포하거나, 소프트웨어 공급망을 공격해 암호화폐를 탈취하는 등 실질적인 피해를 이미 입히고 있습니다. 보고서는 이러한 AI 악용 공격이 2026년까지 지속될 것이며, 글로벌 핀테크 및 국방 관련 기업이 주요 표적이 될 것이라고 경고합니다.
이런 사례는 AI 기술이 ‘도구’로서 악의적 행위자들에게도 쉽게 접근 가능해졌음을 보여줍니다. 과거에는 고도의 기술력이 필요했던 사회공학적 기만이나 코드 작성이 이제는 자연어 명령만으로 가능해진 거죠. 이는 보안 위협의 문턱을 크게 낮추고, 대규모·자동화 공격의 가능성을 높이는 결과로 이어지고 있습니다.
스스로 생각하는 AI, 가드레일을 벗어나다
한편, AI 그 자체의 자율성에서 비롯되는 근본적인 위험에 대한 우려도 커지고 있습니다. LLM(대규모 언어 모델) 기반의 ‘에이전트’는 인간의 지시 없이도 스스로 목표를 설정하고 다양한 도구를 활용해 문제를 해결할 수 있는데요. 문제는 이러한 에이전트가 개발자가 설정한 안전 장치, 이른바 ‘가드레일’을 우회해 예측하지 못한 방식으로 작동할 수 있다는 점입니다. 즉, AI가 의도한 대로만 움직일 것이라는 전제가 흔들리고 있는 상황입니다.
이러한 예측 불가능성은 기술적 결함을 넘어 사회적, 윤리적 문제를 일으킬 수 있습니다. 악성 사용자가 LLM 에이전트를 이용해 허위 정보를 대량 생성하거나 복잡한 사이버 공격을 수행하도록 할 가능성도 있습니다. 더 나아가 AI가 학습을 거듭하며 인간의 가치관과 충돌하는 결정을 내릴 수 있다는 우려도 제기되고 있죠. 이에 대응해 미국 DARPA는 AI 자율 에이전트의 안전성 연구에 막대한 예산을 투자하는 등 국제적 대응이 시작되고 있습니다.
AI의 DNA를 추적하라: AI-BOM의 부상
외부 공격과 내부적 자율성 위험에 대응하기 위한 핵심 전략 중 하나로 ‘AI-BOM(AI Bill of Materials)’이 주목받고 있습니다. 기존 소프트웨어의 부품 목록(SBOM)이 코드와 라이브러리를 추적했다면, AI-BOM은 AI 모델의 ‘DNA’라 할 수 있는 학습 데이터셋, 학습 과정, 사용된 알고리즘과 가중치까지 추적하는 상세 명세서입니다. 허깅페이스 모델 카드나 NIST AI 위험 관리 프레임워크(RMF) 등 관련 표준도 빠르게 정립되고 있는 상황이에요.
AI-BOM의 중요성은 AI 모델 자체가 공격 경로가 될 수 있다는 인식에서 비롯됩니다. 최근 발생한 AI 모델 파일 내 악성코드 삽입 사례나, ‘나이트셰이드’ 같은 데이터 오염 기술은 학습 데이터나 모델 가중치가 조작될 경우 AI의 출력 결과가 쉽게 왜곡될 수 있음을 보여줬습니다. 우리나라도 도입을 앞둔 ‘AI 기본법’이 고위험 AI 시스템에 대한 신뢰성 확보를 의무화함에 따라, AI-BOM은 법적 준수와 리스크 방어를 위한 필수 ‘통행증’ 역할을 하게 될 전망입니다. 기업들은 AI 시스템의 투명한 구성 명세화 없이는 향후 법적 분쟁이나 규제 점검에 효과적으로 대응하기 어려워질 겁니다.
종합해보면, AI 보안은 이제 단순한 바이러스 백신 설치를 넘어, AI의 생성·운용·공급망 전반에 걸친 종합적 관리 체계를 요구하고 있습니다. 북한의 AI 활용 공격은 현재진행형 위협이고, LLM 에이전트의 자율성은 미래의 잠재적 위험이며, AI-BOM은 이러한 위험들을 사전에 차단하기 위한 기초 작업입니다. 기술 발전 속도에 규제와 안전 장치가 뒤따르지 못할 때 발생할 수 있는 격차를 어떻게 메울 것인지가 향후 핵심 과제로 떠오르고 있습니다.