GPU는 10%만 일한다, 메모리가 AI의 진짜 병목

요즘 새 노트북을 사려고 검색해보면, 같은 모델인데 RAM 용량에 따라 가격이 수십만 원씩 차이가 나는 걸 보게 돼요. 예전엔 그냥 "메모리 크면 좋겠지" 하고 넘어갔을 텐데, 이제는 왜 이렇게 비싸진 건지 한 번쯤 의문이 들 거예요. 그 비싸진 메모리 가격의 배경에는 AI 데이터센터가 있어요.

지난 몇 달간 반도체 시장에서 가장 뜨거운 키워드는 GPU가 아니라 메모리예요. 삼성전자가 3분기 DRAM 판매가격을 전 분기 대비 최대 20% 인상하기로 협상 중이고, 마이크론은 2026년 HBM 전량 매진에 최소 1,000억 달러 매출을 보증하는 장기 계약 16건을 확보했거든요. 왜 메모리가 갑자기 이렇게 비싸지는 걸까요? 그 답은 AI 시스템의 구조적 한계에서 출발해요.

GPU는 빠른데, 데이터가 안 와

요리사가 아무리 칼질이 빨라도, 재료가 도착하지 않으면 요리를 만들 수 없잖아요? GPU가 바로 그 요리사고, 메모리가 재료를 나르는 보조 역할이에요. 문제는 요리사의 손놀림은 세계 최고 수준인데, 재료 운반 속도는 그에 한참 못 미친다는 거예요.

KAIST 분석에 따르면, AI 모델이 텍스트를 생성할 때 GPU의 실제 가동률은 10~30% 수준에 불과해요. 챗GPT 같은 서비스가 단어를 하나씩 출력하는 과정을 보면, GPU가 계산하는 시간보다 메모리에서 데이터를 읽고 쓰는 시간이 대부분을 차지하거든요. GPU가 90%의 시간을 그저 데이터가 도착하기를 기다리며 쉬고 있는 셈이에요.

이걸 ​​메모리 벽(Memory Wall)​​이라고 불러요. 연산 능력은 기하급수적으로 발전했지만, 메모리 대역폭—데이터가 이동하는 통로의 폭—은 그 속도를 따라가지 못해서 생기는 현상이에요. GPU 성능을 더 끌어올리려고 칩을 키우거나 계산 유닛을 추가할 수 있지만, 발열 문제 때문에 메모리처럼 수직으로 쌓는 건 불가능해요. 물리적 확장에 한계가 온 거죠.

그래서 주목받는 기술이 ​​고대역폭 메모리(HBM, High Bandwidth Memory)​​예요. HBM은 기존 메모리를 평면에 나란히 놓는 대신 여러 층으로 수직 적층해서 데이터 이동 통로를 넓히는 방식이에요. 8차선 도로를 1,024차선, 2,048차선 고속도로로 확장하는 것과 같아요. → 데이터 전송 속도가 획기적으로 빨라지고, GPU가 기다리는 시간이 줄어드는 구조예요.

하지만 HBM은 웨이퍼 한 장이 일반 DRAM 약 세 장분의 생산 능력을 소모해요. HBM을 많이 만들수록 일반 DRAM 공급이 줄어드는 구조적 딜레마가 발생하는 거죠.

메모리 가격 폭등, 누가 수혜를 입나

HBM이 DRAM 생산 능력을 잠식하면서 범용 메모리 가격이 폭등하고 있어요.

Counterpoint Research에 따르면 64GB DIMM 메모리 가격은 2025년 3분기부터 2026년 1분기 사이에 3.5배 상승했어요. 2026년 3분기까지 누적 상승 폭은 무려 5배에 달할 것으로 예상된답니다. 서버 원가 명세서에서 DRAM이 차지하는 비중도 2023년 약 50%에서 2026년 중반 기준 평균 75%까지 치솟았어요. CPU 가격 상승폭을 압도하는 수준이죠.

이 가격 폭등의 직접 수혜주는 삼성전자와 SK하이닉스예요. 두 기업은 전 세계에서 DRAM과 NAND 플래시 적층 기술을 모두 보유한 유일한 기업들이에요. 삼성전자의 경우 올해 DRAM 평균판매단가가 1분기에 전 분기 대비 약 90% 급등했고, 2분기에도 50~60% 추가 상승을 기록했어요. 3분기에도 20% 인상을 목표로 협상 중이죠.

SK하이닉스는 HBM 시장에서 특히 강력한 위치를 점하고 있어요. 2025년 HBM 출하량 기준 점유율 약 57%로 1위를 차지하고 있거든요. UBS는 SK하이닉스의 12개월 목표주가를 기존 300만 원에서 320만 원으로 상향했어요. 2026년 영업이익을 32.7조 원으로 예상했는데, 이는 시장 컨센서스보다 약 27% 높은 수치예요.

마이크론도 공격적으로 움직이고 있어요. 일본 히로시마 공장에 약 93억 달러(약 12조 원)를 추가 투자해서 HBM 생산 능력을 확충하기로 했어요. 2028년 여름부터 제품을 출하할 예정이죠. 미국 아이다호주와 뉴욕주에도 대규모 생산 기지를 건설 중이에요.

다만 리스크도 분명히 있어요. 삼성·SK·마이크론 3사가 동시에 증설에 나서고 있어서, 2028년경 신규 생산 능력이 본격 가동되면 공급 과잉 우려가 제기될 수 있어요. 모건스탠리는 이미 소비재 시장에서 가격 저항이 나타나고 있다고 지적해요. 스마트폰과 PC 고객들의 가격 수용 능력이 한계에 도달한 거죠.

다층 메모리 시대, 병목을 깨뜨릴 후보

메모리 벽을 완전히 깨뜨리기 위해 산업계는 새로운 구조를 모색하고 있어요. 단순히 DRAM을 더 쌓는 것을 넘어, 용도에 따라 메모리를 여러 층으로 나누는 방식이에요.

가장 주목받는 후보는 ​​고대역폭 플래시(HBF, High Bandwidth Flash)​​예요. 기존 HBM은 DRAM 기반이라 속도는 빠르지만 용량에 한계가 있어요. 반면 HBF는 NAND 플래시를 HBM처럼 수직 적층한 구조라, 용량이 크고 데이터를 장기 보존할 수 있어요. 동일 부피 대비 HBM의 8~16배 용량을 제공하면서도 비용 효율성을 갖추고 있죠.

SK하이닉스와 샌디스크(SanDisk)는 2026년 2월 HBF 표준화 연합을 결성했어요. 2026년 하반기 샘플 출시, 2027년 초 AI 추론 기기 적용을 목표로 하고 있어요. 이를 통해 속도가 중요한 데이터는 HBM이, 대용량 저장이 필요한 데이터는 HBF가 담당하는 다층 구조가 만들어지는 거예요.

더 먼 미래에는 ​​고대역폭 SRAM(HBS, High Bandwidth SRAM)​​까지 거론돼요. SRAM은 DRAM보다 약 1,000배 빠르지만 밀도가 낮아 용량이 적은데, 수직 적층을 통해 용량을 100GB에서 1,600GB까지 확장하는 개념이에요. KAIST 김정호 교수는 HBM, HBF, HBS가 각각 층을 이루는 '100층 3D 빌딩' 구조가 미래 AI 칩의 불가피한 아키텍처가 될 것으로 전망해요.

하지만 이런 3D 적층 구조에서 가장 큰 도전 과제는 전력 공급과 방열이에요. 수천 암페어의 전류를 공급해야 하고, 층이 높아질수록 열 축적이 심해지거든요. HBM4부터는 효율적인 냉각 솔루션이 제품 성능의 차이를 결정짓는 핵심 경쟁력이 될 거예요.

• HBM(High Bandwidth Memory): DRAM을 수직으로 적층하여 대역폭을 극대화한 메모리. AI 가속기에 필수적으로 탑재된다.
• HBF(High Bandwidth Flash): NAND 플래시를 HBM처럼 수직 적층한 구조. HBM 대비 8~16배 용량을 제공하며 추론 시나리오의 대용량 데이터 저장에 적합하다.
• HBS(High Bandwidth SRAM): 웨이퍼 전체를 SRAM으로 제작해 수직 적층하는 개념. DRAM 대비 약 1,000배 빠른 속도와 대용량을 동시에 확보하는 것을 목표로 한다.

메모리 벽을 허무는 기술—HBM에서 HBF, HBS로 이어지는 3D 적층 진화—가 AI 컴퓨팅의 다음 성장 곡선을 그릴 핵심 변수로 보입니다. 다만 삼성·SK·마이크론 3사의 증설이 실제 라인으로 가동되기까지는 2~3년이 걸리고, 그 사이 가격 상승의 끝이 어디인지는 소비재 수요 회복 속도에 달려 있어 두고 봐야 합니다.