AI 칩의 패러다임이 '추론'으로 넘어갔습니다

이번 주 AI 칩 뉴스가 많았죠, 그 중 세가지를 제가 모아서 말씀드리려고 합니다. 바로 돈의 무게추가 '훈련'에서 '추론'으로 넘어가고 있다는 신호입니다.

먼저 현지 6월 3일 시장을 흔든 브로드컴. 2분기 매출이 222억 달러로 1년 전보다 48% 늘었고, 그중 AI 칩 매출만 108억 달러로 143% 폭증했습니다. 그런데 주가는 시간외에서 12% 빠졌어요. 이유가 좀 어이없습니다. 다음 분기 AI 매출 가이던스를 160억 달러로 제시했는데, 시장은 172억을 기대하고 있었거든요. **딱 12억 달러 모자란 게 12% 폭락을 불렀습니다...**라고 분석할 수 있을까요?

143% 성장도 부족하다는 게 핵심입니다. 시장은 이미 브로드컴을 "완벽"하다고 가격 매겨 놨어요. 이쯤 되면 좋은 실적이 아니라 기대를 넘는 실적만 의미가 있습니다.

같은 추론 시장의 다른 쪽에선 Cerebras가 5월 14일 올해 최대 IPO를 터뜨렸습니다. 55억 달러를 모았고 상장 첫날 주가가 108% 뛰어 시가총액 660억 달러를 찍었어요. 등에 업은 건 OpenAI와 맺은 100억 달러 규모의 추론 계약입니다. 750메가와트짜리 추론 용량을 대고, 2030년까지 2기가와트로 확장하는 조건이고요. 웨이퍼 한 장을 통째로 칩으로 쓰는 별난 회사가, 추론 수요 하나로 공모주 시장을 들었다 놨습니다.

반대편엔 Groq가 있습니다. 6억 5천만 달러를 모으는 중인데 방향이 의미심장해요. 칩 만드는 회사에서 추론 클라우드 회사로 피벗하는 겁니다. 작년 12월 엔비디아가 200억 달러짜리 "인수 아닌 인수"로 Groq의 하드웨어 기술을 라이선스하고 핵심 인력을 데려간 뒤, 순수 칩 경쟁에선 한발 물러난 모양새입니다. 추론 특화 칩 스타트업 둘이 정반대 길을 걷고 있는 셈이죠. 한쪽은 IPO 대박, 한쪽은 칩을 접고 서비스로.

이 두 회사는 제가 작년부터 요긴하게 사용했던 곳입니다. 제가 운영하는 서비스는 여러가지가 있지만, 공통적으로 이 두 회사는 항상 가장 빠른 추론속도라는 공통점이 있었거든요. 저는 빠르고 신속한 UX를 선호하는 한국 시장에선 이 두 업체가 정말 필요하다고 생각하고 있었습니다.

저는 회사 추론 인프라를 직접 깎습니다. GPU를 몇 장 어떤 조합으로 꽂을지, 새 칩의 화려한 스펙(NVFP4니 TOPS니 하는 숫자)에 돈을 쓸지 말지를 실제로 결정해 봤어요. 그때 몸으로 배운 게 딱 이겁니다. 칩 스펙 숫자가 아니라, 내 워크로드 1토큰당 단가와 지연이 진짜 답이다.

브로드컴의 12% 폭락이 똑같은 말을 합니다. 시장은 이제 "AI 매출이 얼마나 컸나"가 아니라 "그 추론 단가가 계속 복리로 좋아지나"를 봐요. 성장률이 아무리 높아도 그 곡선이 꺾일 기미만 보이면 가격이 빠집니다. 훈련용 GPU를 누가 제일 많이 파느냐의 시대에서, 추론을 누가 제일 싸게 돌리느냐의 시대로 무게추가 넘어가는 중입니다.

이 글은, 전통적인 HBM보다는 차라리 아예 큰 웨이퍼에서 SLM까지 한 웨이퍼에 올려버리되, LPDDR5 메모리와 NVME SSD를 적절히 결합하는 방식으로 진화한다는 시장의 전망이 왜 나오게 되었는지를 이해할 수 있는 인사이트를 제공합니다. 아무리 좋은 모델도, 추론하지 않으면 돈을 벌 수가 없거든요. 그리고 추론과 학습을 동일한 데이터센터에서 하던 시대에서, 이젠 추론과 학습을 분리하는 시대로 나아가고 있고, 그 핵심은 바로 이 세가지 뉴스, Cerebras IPO, Groq의 엔비디아 라이선스 그리고 브로드컴의 호실적입니다.

출처: Bloomberg · Motley Fool · TechCrunch — Cerebras · TechCrunch — Groq, 조회 2026-06-05.