추론으로 옮겨간 AI 경쟁
AI 업계의 화두가 모델 크기 경쟁에서 '추론'으로 옮겨가고 있습니다. 오픈AI가 공개한 GPT-6 아스트라는 답을 한 번에 내놓는 대신 같은 연산을 반복하며 더 깊이 따져 묻는 방식으로 설계됐는데요. 그 결과 ARC-AGI-3 벤치마크에서 99.9%, 프런티어매스에서 97.6%를 기록했습니다. 학습에 쏟던 자원을 추론 단계로 재배치하는 흐름이 뚜렷해진 겁니다.
이 변화는 곧 연산량의 증가로 이어집니다. 문제를 오래 고민할수록 처리해야 할 데이터가 늘어나고, 그 데이터를 빠르게 오가야 하는 메모리의 역할도 커지기 때문입니다.
메모리가 다시 주인공으로
시장에서는 이 흐름을 메모리 반도체의 중장기 호재로 보고 있습니다. AI 속도 조절론이 오히려 메모리 수요를 더 키울 것이라는 분석인데요. 실제로 삼성전자는 가속기 위에 메모리를 쌓아 올리는 zHBM을 내세우며 속도를 10배까지 높일 수 있다고 밝혔습니다. 연산을 반복하는 구조일수록 메모리 대역폭과 용량이 성능을 좌우한다는 판단입니다.
학습보다 추론에 무게가 실리면 GPU 활용 방식도 달라집니다. 메리츠증권은 아스트라 사전 학습에 10만 개 이상의 엔비디아 블랙웰 GPU가 투입돼 10주간 12억1천만 달러의 기회비용이 발생했다고 추산했습니다. 같은 자원을 추론에 돌릴 때 수익성이 더 높아질 수 있다는 계산이 깔려 있습니다.
감시하려면 AI가 더 필요하다
또 하나 주목받는 대목은 안전입니다. 샘 올트먼 오픈AI CEO는 AI를 통제하려면 'AI를 위한 AI'가 필요하다고 강조했습니다. 반도체 업계에서는 감시와 제어를 위해 연산량을 20%가량 더 늘려야 한다는 관측이 나옵니다.
반대로 우려의 목소리도 있습니다. 반복 연산이 생각의 사슬을 수학적 벡터로 처리하면서 투명성이 떨어지고, 예측하기 어려운 위험이 생길 수 있다는 겁니다. 영국 AI 안전 연구소는 기존 모니터링이 약해질 수 있다고 경고했고, 벤지오 교수는 핵무기 통제에 준하는 국제적 안전장치가 필요하다고 주장했습니다. 결국 성능과 안전, 그리고 이를 떠받칠 메모리 수요가 함께 커지는 국면입니다.