자사 AI를 공격해 취약점을 찾는다
오픈AI가 자사 AI 모델의 보안 취약점을 자동으로 탐색하는 전용 모델 'GPT-Red'를 공개했습니다. 공격과 방어 모델이 서로 경쟁하며 학습하는 '자기대전(Self-play) 강화학습' 방식을 적용한 것이 특징입니다. 이메일이나 파일 등에 숨긴 악성 명령을 AI가 오인하게 만드는 프롬프트 인젝션 공격 시나리오를 자동으로 생성합니다.
성과가 상당합니다. GPT-5.1을 대상으로 한 평가에서 인간 레드팀 전문가는 13%의 성공률을 보인 반면, GPT-Red는 연산량에 따라 51%에서 최대 84%까지 유효한 공격을 찾아냈습니다. 시뮬레이션에서는 AI 자판기 에이전트의 고가 상품 가격을 0.5달러로 조작하고 다른 이용자의 주문을 취소하게 만드는 결함까지 발굴해냈습니다.
GPT-Red로 발견한 취약점은 차세대 모델 GPT-5.6 Sol 훈련에 반영돼 프롬프트 인젝션 평가 실패율을 4개월 전 대비 6분의 1로 낮추는 데 기여했습니다. 다만 여전히 약 3.8%의 강한 공격은 방어망을 통과해 과제가 남아 있습니다.
평가 기준이 '지식'에서 '업무 완수'로
같은 시기에 공개된 GPT-5.6은 AI 경쟁력 기준 자체를 바꿔놨습니다. 단순히 더 많은 지식을 아는 모델이 아니라, 실제 업무를 얼마나 안정적으로 완수하느냐가 핵심이 됐습니다. 복잡한 추론용 Sol, 균형형 Terra, 대량 처리용 Luna 세 모델로 구성됐고, 업무 난이도에 따라 자동으로 배분하는 '모델 라우팅' 체계가 도입됐습니다.
AI가 단순 답변을 넘어 시스템으로 작동하도록 'AI 하네스'와 '프로그래매틱 툴 콜링' 기술이 함께 적용됐습니다. 계획-실행-수정-재검사 과정을 반복하며 일관성을 확보하는 방식으로, Sol Ultra는 여러 하위 에이전트가 병렬로 작업해 Terminal-Bench 2.1에서 91.9%의 성과를 기록했습니다.
물론 비용 판단 기준도 달라졌습니다. 토큰당 가격이 낮은 모델을 고르는 것이 아니라, 재작업과 검토 시간까지 포함한 전체 공정 비용을 기준으로 골라야 한다는 겁니다.
사람의 역할은 설계와 판단으로
AI 에이전트의 권한이 확대될수록 통제 장치의 중요성도 커지고 있습니다. 목표 설정부터 결과 검수까지 스스로 수행하지만, 파일 삭제나 결제, 시스템 배포처럼 되돌리기 어려운 작업에는 반드시 사람의 승인을 거치도록 권한을 설계해야 합니다. ChatGPT Work는 회의 메모, 문서, 스프레드시트 등 흩어진 자료를 연결해 결과물을 만들어내는 기능을 제공합니다.
결국 기업의 핵심 경쟁력은 어떤 모델을 보유하느냐가 아니라, 업무를 세분화하고 AI와 사람을 적재적소에 배치해 안전하게 완수하게 만드는 설계 능력에 달려 있습니다.