AI 반도체 전쟁, 왜 '추론'이 관건인가

AI 오디오북AI 반도체 전쟁, 왜 '추론'이 관건인가

0:00

0:00

요즘 ChatGPT나 클로드(Claude)에게 질문을 던지면 몇 초 만에 답이 돌아오죠. 너무 자연스러워서 의심하지 않지만, 그 짧은 순간에 엄청난 연산이 일어납니다. 모델이 학습된 지식을 바탕으로 답을 만들어내는 과정, 바로 '추론(inference)'이에요. 최근 반도체 시장에서 이 추론이라는 단어가 자주 등장합니다. 엔비디아(Nvidia)가 분기 매출 962억 달러를 기록하며 2028 회계연도 약 70% 성장을 전망한 그 주에, OpenAI가 자체 추론 칩 'Jalapeño'의 성능을 공개했거든요. 왜 지금 추론이 반도체 경쟁의 새로운 축으로 떠오르는 걸까요?

훈련과 추론, 무엇이 다를까?

요리사에 비유해볼게요. 레시피북을 완성하는 데는 수년이 걸려요. 수천 가지 요리를 직접 만들어보고 실패하며 '정답'을 찾아가는 과정이죠. 이게 AI의 '훈련(training)'입니다. 반면 레시피북이 완성된 뒤 매일 식당에서 요리를 만드는 일은 다릅니다. 손님이 주문한 메뉴를 레시피대로 빠르게 만들어내야 하죠. 이게 바로 '추론(inference)'이에요.

훈련은 모델이 방대한 데이터로부터 가중치를 업데이트하는 복잡한 과정이에요. 엔비디아의 범용 GPU가 압도적으로 강한 영역이죠. 반면 추론은 이미 학습된 모델로 사용자의 질문에 답하는 과정입니다. 한 번 훈련된 모델은 몇 달이고 몇 년이고 계속 추론을 해야 하니, 시간이 지날수록 추론이 차지하는 연산 비중이 커집니다.

2026년 기준으로 추론이 전체 AI 컴퓨팅의 약 3분의 2를 차지해요. 2023년에는 학습과 추론이 비슷했는데, 불과 3년 만에 비중이 역전됐죠. AI가 실제 서비스에 쓰이기 시작하면서 추론 연산이 폭증한 겁니다.

왜 추론 비용이 기하급수적으로 늘어날까?

단순한 질문-답변이라면 추론 비용이 크지 않겠죠. 하지만 최근 부상하는 '에이전트 AI(Agentic AI)'는 이야기가 달라요. 스스로 계획을 세우고 도구를 사용하고 결과를 확인하는 에이전트는 일반 채팅보다 ​​15배에서 100배​​ 더 많은 토큰을 소비합니다. 젠슨 황 엔비디아 CEO는 "인간 1명당 15~100배의 컴퓨팅이 필요하다"고 설명했어요.

여기서 재미있는 역설이 생겨요. 토큰당 비용은 계속 떨어지는데, 전체 AI 비용은 오히려 오르는 현상이죠. 가트너(Gartner)는 이를 '추론의 역설(Inference Paradox)'이라고 불렀어요. 토큰 가격은 95% 하락해도, 에이전트가 소비하는 토큰 양이 그보다 훨씬 빠르게 늘어나니까요. 실제로 기업 AI 예산의 약 85%가 추론 비용에 할당되고 있습니다.

그렇다면 이 거대한 추론 비용을 어떻게 줄일 수 있을까요? 바로 여기서 '맞춤형 칩'이 등장해요.

맞춤형 칩(ASIC)이 추론에서 강한 이유

엔비디아의 GPU는 다재다능한 '맥가이버칼' 같아요. 학습도 하고 추론도 하고, 다양한 모델 구조에 대응할 수 있죠. 반면 OpenAI와 브로드컴(Broadcom)이 함께 만든 'Jalapeño'는 추론만을 위해 설계된 '주방장 칼'입니다. 한 가지 작업에 극도로 최적화된 대신, 다른 용도에는 쓸 수 없죠.

최근 공개된 벤치마크에서 Jalapeño는 엔비디아 GB300 대비 ​​1.5~1.9배​​ 높은 와트당 처리량을 기록했어요. 응답 속도는 ​​1.7~3.6배​​ 빠르고, 전력 소모는 700W로 GB300의 1,400W 절반 수준이에요. 추론이라는 특정 작업에 설계를 집중하면 이런 효율을 얻을 수 있거든요.

커스텀 ASIC 시장은 연평균 약 44.6% 성장하며 범용 GPU의 16.1% 성장률을 크게 앞서요. 브로드컴과 마벨(Marvell)이 이 시장의 약 95%를 양분하고 있습니다. 구글의 TPU, 아마존의 Trainium, 마이크로소프트의 Maia까지 거대 클라우드 기업들이 앞다퉈 자체 칩을 내놓고 있어요.

다만 중요한 점이 있어요. Jalapeño조차도 HBM4 고대역폭 메모리를 대량으로 탑재해요. 128개 칩이 탑재된 랙 하나에 27.5TB의 HBM4가 들어가죠. 추론 전용 칩이 나온다고 메모리 수요가 줄어드는 게 아니라, 오히려 더 집중적으로 필요해요. SK하이닉스, 삼성전자, 마이크론(Micron) 같은 메모리 공급업체에는 긍정적인 신호입니다.

엔비디아의 지배력은 흔들릴까?

단기적으로는 아닐 것으로 보입니다. 엔비디아가 2028 회계연도 매출 약 70% 성장을 전망한 배경을 보면, 수요가 아니라 공급이 한계예요. 젠슨 황 CEO는 "실제 수요는 100% 넘게 성장하지만 공급 제약으로 70%만 자신 있게 제시한다"고 했어요. 학습 분야에서는 CUDA 생태계와 범용성이 여전히 압도적이에요. OpenAI도 Jalapeño가 엔비디아를 '대체'하는 게 아니라 '보완'한다고 명시했고요.

하지만 장기적으로는 고빈도 추론 작업이 커스텀 칩으로 이동하면서 엔비디아의 수익 구조 일부에 압력이 생길 수 있어요. 골드만삭스는 "추론 시장이 고도 집중 상태에서 다변화 단계에 진입했다"고 평가했어요.

전력과 메모리는 여전히 가장 큰 병목입니다. 2027년까지 HBM 공급 부족이 지속될 것으로 보이며, SK하이닉스 곽노정 CEO는 메모리 부족 현상이 2030년 말까지 이어질 수 있다고 전망했어요. 추론 칩이 효율을 높여도 결국 전력 확보가 AI 인프라 확장의 실질적 한계로 남을 것 같습니다. 커스텀 칩 경쟁이 실제 수익으로 이어질 수 있을지가 앞으로 두고 봐야 할 핵심 걸림돌입니다.