삼성전자가 인공지능(AI) 모델의 실제 업무 생산성을 측정하기 위한 자체 개발 벤치마크 도구인 '트루벤치(TRUEBench)'를 공개했습니다. 글로벌 오픈소스 플랫폼 허깅페이스(Hugging Face)에 공개된 트루벤치는 기존 AI 평가 방식의 한계를 극복하고, 기업 현장의 다양한 업무 시나리오를 반영하여 AI 기술 발전에 기여할 것으로 기대됩니다.
AI 생산성 평가의 새로운 기준을 제시하다
그동안 AI 모델의 성능을 평가하는 벤치마크는 주로 언어 능력이나 특정 작업의 정확도에 초점을 맞춰왔습니다. 하지만 실제 기업 환경에서 AI를 업무에 도입하려는 시도가 늘면서, AI가 얼마나 효율적으로 생산성을 높일 수 있는지에 대한 객관적인 측정의 필요성이 커졌습니다. 기존 벤치마크는 영어 중심이거나 실제 업무에서 마주하는 복잡하고 긴 요청을 처리하는 능력을 평가하기 어렵다는 지적이 있었습니다. 이러한 배경에서 삼성전자는 사내 생성형 AI 모델 적용 경험을 바탕으로, 이러한 기존 평가 방식의 한계를 보완할 '트루벤치' 개발에 착수했습니다.
실제 업무 환경 반영한 다차원 평가
'트루벤치'는 기업에서 실제로 수행되는 다양한 업무를 포괄적으로 평가하기 위해 10개 카테고리와 46개 세부 업무, 총 2,485개의 평가 항목으로 구성되었습니다. 단순히 질문에 답하는 것을 넘어, 문서 요약, 콘텐츠 생성, 데이터 분석, 번역 등 실제 오피스 환경에서 AI가 어떻게 활용될 수 있는지를 면밀히 측정합니다. 특히, 짧은 질의응답부터 최대 2만자에 달하는 긴 문서 요약까지, 다양한 길이의 요청을 처리하는 AI의 능력을 평가할 수 있습니다. 이는 AI 모델이 복잡하고 심층적인 업무를 얼마나 효과적으로 수행하는지를 가늠할 수 있게 합니다. '트루벤치'는 12개 언어를 지원하여 글로벌 환경에서의 AI 활용성을 높였으며, 여러 언어가 혼합된 교차 언어 번역 기능까지 평가합니다. 이는 한국어, 일본어, 중국어, 스페인어 등 다양한 언어 사용자들에게도 유용하게 활용될 수 있습니다.
AI 기반 객관적 평가와 효율성 측정
'트루벤치'는 AI 모델의 답변 정확성뿐만 아니라, 사용자의 의도와 맥락을 얼마나 잘 이해하는지도 평가에 반영합니다. 이를 위해 평가 항목 자체의 검증에도 AI를 적극 활용하는 독창적인 방식을 채택했습니다. 사람이 구축한 평가 기준을 AI가 검토하여 오류나 모순점을 찾아내고, 지속적인 교차 검증을 통해 주관적 편견을 최소화하며 일관성 있고 정교한 평가 결과를 제공하는 것이 특징입니다. 사용자는 '트루벤치'를 통해 최대 5개의 AI 모델 성능을 동시에 비교할 수 있으며, 각 모델의 전체 점수와 함께 세부 항목별 점수, 평균 응답 길이와 같은 효율성 지표까지 한눈에 파악할 수 있습니다. 이러한 다각적인 정보 제공은 AI 모델의 강점과 약점을 명확히 파악하는 데 도움을 줍니다.
기술 리더십 강화 및 AI 생태계 기여
삼성전자 DX부문 CTO 겸 삼성리서치장인 전경훈 사장은 "트루벤치 공개를 통해 생산성 성능 평가 기준을 정립하고 삼성전자의 기술 리더십을 더욱 공고히 할 것"이라고 밝혔습니다. 삼성전자는 이번 '트루벤치' 공개가 AI 모델의 실질적인 업무 효율성을 객관적으로 평가하는 새로운 기준을 제시하며, AI 기술 발전과 오픈소스 생태계에 긍정적인 영향을 미칠 것으로 기대하고 있습니다. 삼성전자는 실제 다양한 업무 환경에서의 AI 적용 경험을 바탕으로 쌓아온 차별화된 생산성 AI 기술 경쟁력을 이번 벤치마크를 통해 더욱 강화해 나갈 계획입니다.