해킹에 무방비한 의료 AI
의료 분야에 생성형 AI가 도입되고 있지만, 해킹에 취약해 심각한 오진이나 위험한 처방을 내릴 수 있다는 연구 결과가 나왔습니다. 서울아산병원 서준교·전태준 교수팀과 인하대병원 이로운 교수팀은 의료용 대형언어모델(LLM) 3종(GPT-4o-mini, Gemini-2.0-flash-lite, Claude-3-haiku)을 대상으로 프롬프트 주입 공격을 시험했습니다. 전체 공격 성공률은 94.4%에 달했고, 최고 위험 단계인 임산부에게 태아 기형 유발 약물을 처방하는 경우에도 91.7%가 성공했습니다.
공격 방법과 실험 결과
프롬프트 주입 공격은 해커가 악성 명령어를 삽입해 AI의 출력을 조작하는 기법입니다. 연구팀은 만성질환 치료제 추천, 활동성 출혈 환자에게 생약 성분 추천, 임신부 금기 약물 권고 등 12개 임상 시나리오를 구성했습니다. 공격은 상황인지형 프롬프트 주입과 증거 조작을 활용했으며, 총 216건의 대화를 분석했습니다. 그 결과 중간 위험 단계에서는 100% 성공했고, 최고 위험 단계에서도 91.7%의 성공률을 보였습니다. 최상위 AI 모델(GPT-5, Gemini 2.5 Pro, Claude 4.5 Sonnet)도 임신부 금기 약물 공격에서 각각 100%, 100%, 80%의 성공률을 기록했습니다. 잘못된 권고가 대화가 이어지는 동안 지속되는 비율도 의료용 LLM에서는 69.4%, 최상위 모델에서는 80% 이상으로 나타났습니다.
안전 장치의 한계와 대책
이번 실험은 현재 AI에 적용된 안전 장치만으로는 조작된 정보를 차단하기 어렵다는 것을 보여줍니다. 서준교 교수는 "의료용 AI가 의도적 조작에 구조적으로 취약하다"며 "의사 감독 없이 치료 결정을 맡기기는 아직 시기상조"라고 말했습니다. 연구진은 의료용 AI를 임상에 적용하기 전에 해킹 공격을 가정한 철저한 검증과 다층적인 안전 장치 마련이 필수적이라고 강조했습니다.