부품에서 랙으로, 경쟁의 무게중심 이동
엔비디아와 AMD가 AI 반도체 경쟁에서 개별 칩을 넘어 서버 랙 전체를 묶어 파는 '전패키지' 전략으로 무게중심을 옮기고 있습니다. 양사 모두 GPU, CPU, 네트워킹, 소프트웨어를 하나의 랙에 통합해 성능을 극대화하는 방향으로 움직이고 있는데요. 이 과정에서 AI 인프라를 도입하는 기업들은 더 이상 부품을 골라 조립하던 선택지를 잃어가고 있다는 평가가 나옵니다.
지난 22일 코어위브는 엔비디아의 차세대 시스템 '베라 루빈 NVL72'의 실제 실측 결과를 처음으로 공개했습니다. 딥시크 R1 추론 모델로 테스트한 결과, 동일 전력 조건에서 메가와트당 토큰 처리량이 기존 블랙웰 GB200 NVL72 대비 최대 10배 높게 나타났습니다. 사용자 응답 속도도 기존 약 250TPS/User에서 400TPS/User 수준으로 끌어올렸고요. 대규모 전문가 병렬화, NVFP4 정밀도, 프리필·디코드 분리 등 최신 최적화 기술을 총동원한 결과입니다.
'초밀접 풀스택'이 세운 새 성능 기준
같은 날 엔비디아가 '딥시크-V3 671B' 사전학습 환경에서 또 하나의 기록을 내놨습니다. AI 인프라 플랫폼 'GB300 NVL72'에서 GPU당 1648TFLOPs의 연산 성능을 달성한 건데요, 이전 세대 GB200 NVL72의 606TFLOPs와 비교하면 약 3배 가까운 도약입니다. 이 같은 성과의 배경에는 5세대 NV링크로 랙 전체 130TB/s 대역폭을 구현하고, 72개 블랙웰 울트라 GPU를 하나의 가속기처럼 묶은 설계가 있었습니다.
랙 외부에는 커넥트X-8 슈퍼NIC, 퀀텀-X800 인피니밴드, 스펙트럼-X 이더넷을 배치해 통신 병목을 최소화했고, 블루필드 DPU로 인프라 작업을 분리해 CPU 부담을 줄였습니다. 여기에 메가트론 코어, 토치타이탄, JAX 등 소프트웨어 최적화를 더해 같은 하드웨어에서도 성능을 1.5배 이상 끌어올렸습니다. 256개에서 1024개로 GPU를 확장해도 GPU당 성능의 97~98.5%를 유지했다는 점에서 통신 오버헤드 없는 선형적 확장이 가능하다는 게 입증된 셈입니다.
선택지 좁아진 고객, 비용 부담은 가중
반면 이런 랙 단위 경쟁은 기업들에게 '양자택일'의 딜레마를 안깁니다. 과거에는 가성비 좋은 AMD GPU를 쓰면서 네트워크 카드만 엔비디아나 브로드컴 제품으로 채우는 혼합 구성이 가능했습니다. 그런데 엔비디아가 오픈AI에 베라 루빈 NVL72를 공급하고, AMD가 마이크로소프트 애저에 통합 랙 '헬리오스'를 공급하면서 상황이 달라졌습니다. AMD가 기존 4.5%였던 GPU 점유율을 20~25%까지 끌어올릴 가능성도 점쳐지고요.
거기에 세계 최대 파운드리 TSMC가 내년 위탁 생산 가격을 최대 10% 인상할 방침이라는 소식까지 겹치면서 부담은 커지고 있습니다. 양사가 수익성을 유지하려고 랙 가격을 올릴 수밖에 없는 구조라, 결국 최종 도입 기업의 비용 증가로 이어질 가능성이 높습니다. 랙 단위 통합이 가져온 성능 혁신과 함께, 공급사 선택의 자유가 어떻게 균형을 잡을지가 향후 AI 인프라 시장의 핵심 변수로 떠오르고 있습니다.