국산 AI 반도체, 2026년 6월 근황은?

프리미엄 AI 매거진 AXyNow, 손상윤입니다.

AI 칩 하면 다들 엔비디아만 떠올립니다. 지금 지구상 AI 연산의 8할이 엔비디아 GPU에서 돌아갑니다. 그런데 올해, 한국에서 만든 AI 칩이 진짜 데이터센터에 깔리기 시작했습니다. 시제품이나 보도자료가 아니라, 삼성SDS·LG CNS·KT 같은 곳의 상용 서비스에 들어간 겁니다.

한 줄. 2026년은 국산 AI 반도체(NPU)가 처음으로 데이터센터에 상용 투입된 원년입니다. 주인공은 퓨리오사AI와 리벨리온, 두 한국 스타트업.

NPU가 뭐길래, GPU 놔두고 이걸 까나

NPU는 AI 추론에 특화된 칩입니다. 엔비디아 GPU가 학습(모델을 만드는 일)과 추론(만든 모델을 굴리는 일)을 다 잘하는 만능 선수라면, NPU는 추론 한 종목에 몸을 갈아 넣은 전문 선수예요. 만능 선수보다 그 한 종목에서 전기를 덜 먹고 싸게 굴리는 게 목표입니다.

이게 왜 중요하냐면, AI가 모델을 '만드는 단계'를 지나 매일 수십억 번 '굴리는 단계'로 넘어가면서, 데이터센터의 진짜 비용이 전기요금이 됐기 때문입니다. 저도 집에서 GPU 몇 장 돌리는데 전기료가 무섭습니다. 데이터센터 규모면 이건 회사 손익을 가르는 숫자죠.

첫째 주자 퓨리오사: '전기 3분의 1'이 무기다

퓨리오사AI는 작년에 한 번 크게 화제가 됐어요. 메타(페이스북)가 인수하겠다고 제안했는데, 거절했거든요. 빅테크에 팔리는 대신 독자 노선으로 2027년 상장을 노립니다. 배짱 있는 회사입니다. 유튜브에서도 퓨리오사 대표님의 인터뷰는 자주 보입니다.

퓨리오사가 내세우는 한 문장은 간단합니다. "엔비디아 H100이 하던 추론을, 더 효율적으로 대체하겠다."

칩 RNGD(레니게이드) 한 장이 H100 한 장 수준의 LLM 추론을 해내면서 전력은 180W만 쓴다고 합니다. 서버로 묶으면 H100 서버가 10kW 넘게 쓸 일을 3kW로 처리한다고 해요. 저희도 3090 20장 넘게 세팅한 상태여서 전기요금이 즉시 체감되는데, 데이터센터 규모에서 전력이 3분의 1이면 이건 그냥 돈을 버는 수준으로 볼 수 있습니다.

비결은 계산하는 방식 자체가 다르다는 데 있어요. 엔비디아 GPU를 포함한 대부분의 AI 칩은 '행렬 곱셈'이라는 정해진 연산에 몸을 맞춰놨습니다. 퓨리오사는 그 대신 '텐서 수축(Tensor Contraction)'이라는 더 유연한 기본 연산을 하드웨어에 깔았어요.

쉽게 말하면, 모델 모양이 제각각으로 들어와도 칩 안의 빈자리를 덜 남기고 꽉꽉 채워 쓰는 구조입니다. 그릇이 고정돼 있으면 음식 모양에 따라 빈 공간이 생기는데, 아예 그릇 모양을 음식에 맞춰 바꾸는 셈이에요. 반도체 학회(ISCA·MICRO)에 논문으로 낼 만큼, 이 아키텍처가 퓨리오사의 진짜 차별점입니다. 48GB 메모리(HBM3)를 TSMC 5nm 단일 칩에 얹었고, FP8 연산은 512 TFLOPS입니다. 훌륭하죠?

올해 퓨리오사는 RNGD를 양산하기 시작했습니다(올해 약 4천 개, 글로벌 2만 개 납품 목표). 삼성SDS가 이 칩으로 클라우드 AI 서비스를 내놨는데, 한국 클라우드 사업자가 NPU를 서비스로 파는 첫 사례예요. LG CNS도 자사 에이전트 AI 플랫폼에 적용을 시작했고요.

둘째 주자 리벨리온: 칩 네 개를 한 덩어리로 묶었다

리벨리온의 접근은 퓨리오사와 정반대입니다. 퓨리오사가 '작고 효율적인 한 장'이라면, 리벨리온은 '크고 강한 한 덩어리'예요.

올해 3월 리벨리온은 4억 달러(약 5천5백억 원)를 투자받아 기업가치 약 3조 원(23억 달러)을 인정받았습니다. 삼성이 투자자로 들어가 있고, 하반기 상장을 준비 중이에요. 신형 칩 이름은 '리벨 100'입니다.

이 칩이 특이한 건 만드는 방식입니다. 큰 칩을 하나로 통째 찍으려고 하면 면적이 커질수록 불량률이 확 올라가요. 그래서 리벨리온은 작은 NPU 칩(다이) 네 개를 'UCIe'라는 초고속 다리로 이어 붙여 하나처럼 동작시킵니다. 업계 첫 '쿼드-칩렛(chiplet)' AI 칩이라고 내세워요. 큰 돌 하나를 깎다 깨먹느니, 잘 만든 벽돌 네 개를 빈틈없이 쌓아 큰 걸 세우겠다는 쪽을 택한 겁니다. 여기에 144GB짜리 큰 고대역폭 메모리(HBM3E, 대역폭 4.8TB/s)를 붙여, 요즘 유행하는 거대 MoE 모델을 통째로 한 장에 올리는 걸 노려요. 회사 주장으로는 엔비디아 H200급 성능을 FP8 2,048 TFLOPS로 냅니다. 대신 덩치가 큰 만큼 전력도 커서 최대 600W를 써요.

눈에 띄는 건 공급망까지 죄다 국산이라는 점입니다. 리벨 100은 삼성 4nm 공정에, 삼성의 첨단 패키징으로 만들어요. 4월엔 SK텔레콤·Arm과 '주권 AI(sovereign AI)'용 서버를 만들기로 했고, 6월엔 KT클라우드가 이 칩으로 공공 전용 NPU 서버를 상용화했습니다.

같은 'NPU'인데, 둘은 정반대로 싸운다

두 회사를 '국산 NPU'로 뭉뚱그리기 쉽지만, 설계 철학이 꽤 다릅니다. 한 장으로 보면 이래요.

숫자만 보면 리벨 100이 퓨리오사보다 4배쯤 세 보이죠. 그런데 칩 네 개를 묶어 만든 거라, 애초에 체급이 다릅니다. 둘 다 자체 소프트웨어(SDK)로 엔비디아 생태계 도구(vLLM·Triton)를 받아준다는 점까진 같지만, 한쪽은 작은 카드로 다양한 환경과 모델에 대응하는 효율적인 칩을, 한쪽은 거대한 칩렛 방식인데 모두 국내에서 생산하는 것을 목표로 합니다. 같은 'NPU'라는 단어 안에 다른 철학과 방향성이죠.

왜 지금, 왜 둘 다 같이 움직이나

두 회사가 약속한 듯 동시에 데이터센터로 들어가는 배경엔 정부가 있습니다. 'K-클라우드'라는 정책인데, 2023년부터 2030년까지 8,262억 원을 들여 국산 AI 반도체를 키우고, 2030년까지 국내 데이터센터의 국산 칩 점유율을 80%까지 끌어올리겠다는 계획이에요. 올해가 그 1단계, '상용 레퍼런스를 쌓는' 해입니다.

이유는 두 가지로 읽힙니다. 하나는 돈입니다. 엔비디아 GPU는 비싸고, 구하기도 어렵고, 전기도 많이 먹어요. 추론만 떼어내 싸게 굴릴 수 있다면 큰 시장이죠. 다른 하나는 '주권'입니다. 남의 칩에만 기대면 공급이 끊겼을 때 나라의 AI가 멈춥니다. 그래서 자국 칩으로 자국 AI를 돌리겠다는 'sovereign AI' 움직임이 한국만이 아니라 세계적으로 번지고 있어요.

결론: 응원하되, 팩트는 팩트

저는 하드웨어를 직접 만지는 사람으로서 이 소식이 반갑습니다. 그동안 국산 AI 칩은 '데모는 멋진데 실제로 누가 쓰냐'는 질문을 못 넘겼거든요. 올해는 그 질문에 삼성SDS·LG CNS·KT가 드디어 처음으로 도입을 했네요. 그것만으로도 의미가 큽니다.

다만 팩트체커로서 거품은 걷어내야죠. 첫째, 국산 NPU는 아직 '추론' 전문입니다. 모델을 처음부터 학습시키는 무대는 여전히 엔비디아 GPU에 의존할 수밖에 없습니다. 둘째, "GPU급 성능"이라는 말은 대체로 각 회사가 각자의 기준으로 잰 추론 한정 수치입니다.

그래도 방향은 분명합니다. AI가 '만드는 시대'에서 '굴리는 시대'로 넘어가면, 승부처는 전력효율과 공급망 주권으로 옮겨갑니다. 한국의 경우 아예 오픈 웨이트 모델을 정부주도로 하나 내놓으면, 모든 산업 영역에서 '파인튜닝'하여 다양한 지능체를 만들고, 이를 국산 NPU로 추론하며 다양한 생태계를 만드려는 모양새입니다.

그 길목에 한국 칩이 처음으로 발을 들였어요. 엔비디아만 쳐다보던 시야를, 이제 한 칸 옆으로 넓힐 때입니다.