의대생 주도 연구, AI가 의료진보다 정확했다
연세대 용인세브란스병원 연구팀이 의대 본과생을 중심으로 AI 모델의 임상 판단 정확도를 평가한 결과, AI가 의료진보다 높은 정확도를 보인 것으로 나타났습니다. 연구팀은 2011년부터 2024년까지 의료 전문 사이트 ‘메드스케이프’에 공개된 1,426건의 실제 임상 증례를 분석했습니다. 증례에는 환자의 병력, 신체검사 소견, 혈액검사 결과, 다양한 의료 영상 등이 포함되어 있어 실제 진료 환경을 그대로 반영했습니다.
비교 대상은 메드스케이프에 등록된 의료진이 제출한 답변과 AI 모델(GPT-4o, o1)의 답변이었습니다. 그 결과, **의료진의 평균 정확도는 85.0%**였던 반면, **GPT-4o는 88.4%, o1은 94.3%**를 기록했습니다. 특히 의료 영상이 포함된 증례에서는 두 AI 모델 모두 의료진보다 유의미하게 높은 정확도를 보였습니다. 이는 AI가 시각 정보까지 통합해 활용할 수 있기 때문으로 풀이됩니다.
연구를 주도한 의대생들은 “AI가 실제 임상에서 어떻게 쓰일 수 있는지 직접 확인할 수 있었다”며 “교수님들의 지도 아래 학부생도 의미 있는 연구에 참여할 수 있었다”고 소감을 밝혔습니다.
모든 영역에서 90% 넘어… o1 모델의 압도적 성능
최신 추론 AI 모델인 o1의 성능은 더욱 주목할 만했습니다. **진단 정확도 92.6%, 질병 특성 파악 97.0%, 검사 계획 수립 92.6%, 치료 방향 설정 94.8%**로 모든 임상 판단 영역에서 90% 이상의 높은 정확도를 유지했습니다. 내과, 외과, 정신과 등 전공 분야에 관계없이 안정적인 성능을 보였습니다.
연구팀은 AI 모델의 판단 일관성을 확인하기 위해 동일 증례를 5회 반복 분석했습니다. 그 결과, o1은 90.7%의 증례에서 5회 모두 정확한 답변을 제시했고, GPT-4o도 86.2%에서 5회 모두 정답을 맞혔습니다. 이는 AI가 단순히 우연이 아니라 체계적인 추론 과정을 거쳐 답을 도출한다는 것을 보여줍니다.
배성아·박진영 교수는 “o1 모델은 텍스트와 의료 영상을 통합해 실제 임상 수준의 판단을 내릴 수 있음을 입증했다”고 설명했습니다.
AI, 의료진의 보조 도구로 활용될 것
이번 연구는 AI가 의료진을 대체하기보다는 의사결정 보조 도구로 활용될 가능성을 시사합니다. AI가 복잡한 임상 상황에서도 높은 정확도와 일관성을 보이면, 의료진은 AI의 판단을 참고해 최종 결정을 내리는 방식으로 활용할 수 있습니다. 이는 의료 안전성을 높이고 진료 효율을 개선하는 데 기여할 것으로 기대됩니다.
연구 결과는 국제학술지 ‘Medicine (Baltimore)’에 게재될 예정이며, 연구에 사용된 데이터와 분석 코드는 깃허브를 통해 오픈소스로 공개됐습니다. 전 세계 연구자들이 자유롭게 활용할 수 있어 AI 의료 연구의 발전에 도움이 될 것으로 보입니다.
연구팀은 “이번 연구가 학부생 주도로 이루어졌다는 점에서도 의미가 있다”며 “앞으로도 젊은 연구자들이 적극적으로 AI 의료 연구에 참여할 수 있는 환경이 더욱 확대되길 바란다”고 밝혔습니다.