뉴스 검색 결과: AI chip

AI 무게중심이 학습에서 추론으로 넘어오면서 하이퍼스케일러들의 자체 칩 전략도 달라지는 추세로 분석된다. 최근 구글 클라우드는 자사 최초의 추론 전용 칩을 공개했으며, AWS는 자체 개발 CPU 그래비튼(Graviton)을 추론 수요에 대응하고 있다. 또 AI 학습 칩 트레이니엄 3(Trainium 3)의 추론 성능을 강조하면서 추론 전용 칩 인퍼런시아 3(Inferentia 3)에 대해서는 함구하고 있는 것도 이목을 끈다.

AI 학습에는 방대한 병렬 연산을 수행하는 GPU가 필수지만 추론 단계에서는 데이터 전처리, 입출력 제어, 네트워크 통신 등 복잡한 과정을 처리하는 CPU의 역할이 중요하다. 여러 단계를 추론하고 판단해야 하는 에이전틱(자율) AI에서는 CPU가 전체 흐름을 지휘하는 두뇌 역할을 한다.

최근 AWS는 메타와 수십억 달러 규모의 인프라 사용 계약을 체결했는데 이 계약은 자체 개발 AI 칩 트레이니엄이나 인퍼런시아 아닌, 그래비튼 CPU가 중심이다. 로이터, 블룸버그 등에 따르면 메타는 차세대 AI 모델 개발을 위해 AWS의 저전력 CPU 그래비튼 CPU 코어 수천만 개를 사용하기로 했다.

이번 계약은 수년간 지속되는 장기 파트너십으로, 월스트리트저널에 따르면 수십억 달러 규모에 달한다. 또 이번 계약을 통해 메타는 AWS 그래비튼 칩을 가장 많이 사용하는 5대 고객사 중 하나가 됐다.

메타가 AWS 그래비튼 CPU를 대거 사용하기로 했다. (자료 출처=메타 링크드인)

메타는 특히 192 코어의 그래비튼 5를 활용할 계획이다. 외신들은 이번 계약에 대해 AWS가 엔비디아와의 AI 칩 경쟁에서 중대한 성과를 올렸다고 평가했다.

또 메타는 엔비디아 GPU의 의존도와 수급 부족 리스크에서 벗어나기 위해 컴퓨팅 인프라 다변화를 꾀하고 있다. 메타는 지난 2월 구글 클라우드, AMD와 각각 사용 계약을 체결했다. 구글 클라우드와는 최대 100억 달러 규모의 구글 자체 AI 칩 TPU(Tensor Processing Units)를, AMD에게서는 AMD 인스팅트(Instinct) MI450 시리즈의 메타 맞춤형 버전을 향후 5년간 6GW 용량을 공급받는다. GPU뿐 아니라 AMD의 6세대 EPYC CPU(코드명 베니스)와 헬리오스(Helios) 랙 시스템 도입, AMD의 신주인수권(Warrants)도 부여받는 조건이 계약에 포함돼 있다.

AWS 그래비튼은 앤트로픽에 대한 아마존 투자에도 포함돼 있다. 아마존은 이달 20일 앤트로픽에 대한 기존 투자를 확대해 최대 250억달러를 추가 투자하기로 했으며 그 대가로 3GW 규모의 컴퓨팅 용량을 앤트로픽에 공급한다.

이에 따라 아마존의 앤트로픽에 대한 투자는 누적 330억달러에 이른다. 아마존의 앤트로픽 첫 투자는 지난 2023년이다. 이번 250억달러 투자 중 50억달러를 즉시 집행되고 나머지 200억달러는 상업적 마일스톤 달성 시 진행하기로 했다.

◇ 구글, 학습 전용 TPU 8과 추론 전용 TPU 8i 발표

구글의 경우 지난주 열린 구글 클라우드 넥스트 컨퍼런스에서 AI 학습용과 추론용을 완전히 분리한 8세대 TPU를 새롭게 발표했다. 구글이 자체 개발 AI 칩을 이원화한 것은 이번이 처음으로, 학습용은 TPU 8t, 추론용은 TPU 8i다. 각각 학습(Training), 추론(Inference)을 뜻한다.

AI 학습용 TPU 8t(사진 왼쪽)과 추론용 TPU 8i. (자료 출처=구글 클라우드)

외신들에 따르면 구글의 추론용 TPU 8i는 AI 추론 단계의 고질적 문제인 데이터 병목 현상을 해결하기 위해 설계 변경됐다. SRAM을 384MB로 늘려 데이터를 칩 내부에서 직접 처리함으로써 응답 지연 시간(Latency)을 획기적으로 줄였으며, 칩 간 통신 경로 또한 추론 워크로드를 위해 기존 16단계에서 7단계로 절반 이상 단축시켰다.

또 TPU 8i가 복잡한 다단계 워크플로를 수행하는 AI 에이전트의 추론 엔진 역할을 수행하기 위해, 대기 시간을 최소화하는 집합 가속 엔진(CAE)을 탑재했다는 점도 혁신적이라는 평가를 받았다. 이러한 설계 변경으로 성능비와 저전력 역시 모두 향상됐다.

해외 매체 테크크런치는 구글 클라우드가 추론을 학습과 분리시켜 전용 칩에서 담당하게 함으로써 달러 당 성능비가 80% 더 높아졌다고 소개했다. 또다른 해외 매체 IT프로는 신형 칩의 전력 효율성이 2배 더 높아졌고 대규모 AI 에이전트 운영 시 전력 비용을 낮출 수 있어 기업 고객에게 매력적이라고 평가했다.

학습용 TPU 8t의 경우 구글 클라우드에 따르면 이전 세대보다 3배 빠른 학습 속도를 제공하며, 최대 100만 TPU를 단일 클러스터로 묶어 거대한 연산 자원을 형성할 수 있다.

일각에서는 구글과 대비해 엔비디아는 GPU 하나로 학습과 추론을 모두 처리하는 범용 전략이라고 보고 있다. 그러나 엔비디아가 지난해 말 200억달러(약 29조원)에 실시간 AI 추론 전용 칩 개발사인 그로크(Groq)의 기술 라이선스를 확보했다는 점에서 엔비디아 역시 이원화 전략을 복안으로 삼을 가능성이 있다. 그로크의 창업자이자 CEO인 조나단 로스는 구글 TPU 개발자 출신이다.

◇ AWS "트레이니엄 3, 최고의 추론 플랫폼"

엔비디아는 비슷한 시기에 AI 추론 최적화 플랫폼 서비스 스타트업 베이스텐에 1억 5000만달러를 투자했다. 베이스텐은 'AI 추론 서비스의 AWS'를 목표로 하고 있다. 설계를 달리 하진 않지만 엔비디아는 일반 GPU에서 NVLink 등을 줄이고 저렴한 L4, L40S 등을 추론용으로 제안하고 있다.

오히려 AWS가 추론과 학습 칩을 통합할 여지를 비추고 있다. AWS는 원래부터 학습용 칩 트레이니엄과, 추론용 칩 인퍼런시아로 이원화해 왔는데, 지난해 연말 AWS 리인벤트 2025 컨퍼런스에서 차세대 학습용 칩 트레이니엄 3을 공개하면서 이 칩이 추론 성능도 대폭 개선될 것으로 소개했다.

최신 AI 모델들은 몸집이 계속 커지면서 추론 전용 인퍼런시아의 메모리 용량으로는 감당하기 어렵다. 트레이니엄 3는 칩당 144GB의 고대역폭 메모리를 탑재해 초대형 모델의 추론에 훨씬 유리하다는 게 AWS의 설명이다. 모델을 학습시킨 칩 환경 그대로 추론에 사용하면, 별도의 최적화나 포팅 과정 없이 '학습 직후 즉시 배포'가 가능한 것도 이점이다.

해당 컨퍼런스에서 AWS는 트레이니엄3가 세계 최고의 추론 플랫폼이 될 것이라고 밝히기도 했다. 트레이니엄 3는 지난달부터 정식 서비스에 들어갔다. 추론 칩 인퍼런시아에 대해서는 트레이니엄과 함께 차세대 개발 중이라는 언급만 있을 뿐, 인퍼런시아 3에 대한 공개나 공식 멘트는 없는 상황이다.

AWS 트레이니엄 3가 앤트로픽을 핵심 파트너로 하고 있다면 올 1월 발표된 마이크로소프트의 마이아 200은 오픈AI를 파트너로 개발된 추론 칩이다. 216GB의 HBM3e 메모리를 탑재해 대역폭 병목을 최소화했다. 발표 당시 마이크로소프트는 마이아 200이 AWS 트레이니엄3보다 3배 더 높은 FP4(4비트 부동소수점) 연산 처리량을 제공한다고 주장했다.

◇ 앤트로픽, 구글 클라우드까지 3대 하이퍼스케일러가 모두 투자

한편, AWS와 메타의 계약 발표와 같은 날, 앤트로픽에 구글(알파벳)의 400억달러 투자도 발표됐다. 투자의 대가는 구글 클라우드가 향후 5년 동안 앤트로픽에 5GW 규모의 컴퓨팅 파워를 공급하는 것으로, 구글과 브로드콤이 공동 개발하는 차세대 TPU 중심이다.

이에 따라 앤트로픽은 3대 하이퍼스케일러들의 투자를 모두 받게 됐다. 구글의 투자 또한 총 400억달러 중 100억달러만 즉시 지급되며, 나머지 300억달러는 앤트로픽이 특정 마일스톤(성능 지표 또는 상업적 성과)를 달성할 때 집행된다. 이번 투자에서 앤트로픽의 기업가치는 3500억달러로 평가됐다.

오픈AI와 앤트로픽에 대한 하이퍼스케일러 투자와 컴퓨팅 인프라 사용 계약 관계. (단위=달러, 자료 정리=디일렉)

마이크로소프트의 경우 지난해 11월 엔비디아와 함께 150억 달러를 앤트로픽에 투자하기로 했으며, 마이크로소프트가 50억달러를 투자한다. 앤트로픽에 마이크로소프트 애저 컴퓨팅 인프라 규모는 비공개이나 외신들은 1~1.5GW, 수십억달러 규모로 추정하고 있다.

구글 클라우드까지 앤트로픽과 사용 계약을 체결함으로써 앤트로픽은 오픈AI의 비판에서 한발 물러설 수 있게 됐다. 오픈AI는 최근 내부 메모를 통해 앤트로픽이 AI 모델을 서비스하는 데 필요한 컴퓨팅 인프라를 충당하고 있지 못하다는 의견을 피력한 바 있다.

투자 관계에서 아마존(AWS)와 마이크로소프트는 앤트로픽, 오픈AI에 동시 투자하는 데 반해 소프트뱅크는 오픈AI에만, 구글은 앤트로픽에만 투자하고 있다.

사진=연합뉴스

챗GPT의 개발사인 오픈AI가 고대역폭메모리(HBM) 20개를 이어 붙이는 반도체 패키징 특허를 공개했다.

27일 업계에 따르면 생성형 인공지능(AI) 기업인 오픈AI가 자사 반도체 패키징 특허인 ‘내장형 논리 브리지를 통한 고대역폭 메모리 칩렛, I/O 칩렛 및 컴퓨팅 칩렛의 비인접 연결’ 특허를 공개했다.

지난 9일(현지 시간) 미 특허청에 해당 특허를 출원했다. 이는 여러 종류의 칩을 하나의 덩어리처럼 만들어주는 후공정 기술인 ‘칩렛’에 관한 것으로 알려졌다.

칩렛은 이미 사용되고 있는 기술로, 엔비디아, 애플, 인텔, AMD 등 반도체 기업들이 칩렛을 활용해 여러 칩을 레고 블록처럼 조립해 성능을 극대화하여 사용하고 있다. 이번 오픈AI의 특허는 HBM을 최대 20개까지 이어 붙일 수 있는 칩렛을 구현한 내용을 담고 있다.

해당 특허 도면을 보면 가운데 칩렛을 HBM이 빽빽하게 이중, 삼중으로 둘러싸고 있는 것을 확인할 수 있다. 이는 ‘해안선 제한(Shoreline Limit)’을 극복하기 위해서다. 해안선 제한은 반도체 패키징의 오랜 난제로, 연산칩 성능보다 칩 가장자리 연결 공간이 먼저 부족해지는 병목현상을 뜻한다.

현재 엔비디아의 그래픽처리유닛(GPU)은 칩 한 개당 4~8개의 HBM을 이어 붙여 외장 메모리를 구축하는 형태다. 칩 한 개에 최대 8개까지 이어 붙일 수 있다. 만약 오픈AI의 특허대로 HBM을 20개 이어 붙인다면 엔비디아 GPU에 비해 최소 2배 이상의 저장 용량을 갖춘 슈퍼 AI 칩을 만들 수 있다.

반도체 기업들은 AI 칩 사방에 HBM을 연결해 메모리를 확대하는 전략을 고수해왔다. 다만 이러한 설계는 물리적 한계가 있다. 국제 표준(JEDEC)은 신호 감쇠를 방지하기 위해 칩과 메모리 사이 연결 거리를 6mm로 제한한다. 신호 감쇠는 거리가 멀어질수록 통신 신호가 불안정해지는 현상을 말한다.

오픈AI의 칩렛 특허는 ‘임베디드 로직 브리지’라는 능동 회로를 탑재했다. 따라서 해당 회로를 통해 연결 거리를 6mm에서 16mm로 연장한다. 해당 회로 덕분에 AI 칩과 직접 맞닿지 않아도 HBM을 연결할 수 있다. 오픈AI의 도면을 보면 핵심 칩을 중심으로 HBM 수십 개가 뻗어나가는 군집 형태를 확인할 수 있다.

업계 전문가들은 해당 도면이 인텔의 2.5D 패키징 기술인 ‘EMIB(Embedded Multi-Die Interconnect Bridge)’와 구조적으로 유사하다고 판단했다. EMIB의 경우 고가의 실리콘 인터포저 대신 필요한 부분에만 브릿지를 삽입한다. 덕분에 비용을 낮추고 유연한 설계가 가능하다. 오픈AI의 경우, 여기에 ’로직(Logic)’ 기능을 추가한 형태다.

업계 관계자는 “창의적인 설계지만 아직 특허 단계라 실제 성능 개선 효과에 대해서는 단정하기 어렵다”고 말했다. 이후 “HBM 탑재가 늘어나는 구조의 특성 상 발열(Thermal)을 잡아내는 것이 향후 주된 과제로 보인다”고 덧붙였다.

오픈AI는 지난해 10월부터 미국 반도체 설계업체 ‘브로드컴’과 손잡고 맞춤형 AI 칩을 개발 중인 것으로 알려졌다. 오픈AI를 포함한 주요 AI 기업들은 엔비디아 의존도를 줄이기 위해 독자 칩 설계 역량을 강화하고 있는 추세다. 오픈AI는 자사 칩에 삼성전자 HBM4를 탑재할 예정이다. 오픈AI는 올해 4분기 상장을 목표로 하고 있다.

배현의 인턴기자 baehyeonui@hankyung.com

글로벌 자동차 부품 및 기술 솔루션 기업 보쉬(Bosch)가 독일 슈투트가르트에서 열린 베이징 모터쇼(Auto China)를 통해 AI 기반 자동차 애플리케이션을 위한 차세대 초음파 칩셋을 선보였다. 이번에 공개된 ‘TB193’ 및 ‘TB293’ 칩셋은 근거리 인식 능력을 획기적으로 향상시켜 주차 지원 및 운전자 보조 시스템(ADAS)의 정확도를 한 단계 높였다는 평가를 받는다.

기존 초음파 센서와 달리 보쉬의 신규 칩셋은 센서에서 발생하는 신호를 사전에 처리하지 않은 ‘로우 데이터(Raw Data)’ 상태로 직접 캡처하고 프로세싱한다. 이를 통해 기존보다 훨씬 방대하고 상세한 데이터 세트를 확보할 수 있으며, AI 기반 주차 어시스턴트는 좁은 주차 공간의 기둥이나 벽, 차량 간격을 더욱 정밀하게 분석할 수 있다. 또한 젖은 노면 등 도로 상태까지 감지할 수 있어 더욱 스마트한 제동 결정이 가능해진다.

이중 칩 아키텍처와 오픈 인터페이스로 설계 유연성 극대화

보쉬는 이번 신제품에 역할이 명확히 구분된 이중 칩 아키텍처를 도입했다. 센서 칩인 TB293은 초음파 변환기에 직접 설치되어 중간 단계 없이 로우 데이터를 캡처하고, 컨트롤러 칩인 TB193은 여러 센서 칩을 중앙에서 조정하여 수집된 데이터를 통합 가공한다.

특히 보쉬는 이번 칩셋을 개별 부품 단위로 시장에 처음 공급하며, ‘VASI 버스(Versatile Automotive Sensor Interface)’라는 새로운 오픈 인터페이스를 도입했다. 보쉬 모빌리티 일렉트로닉스(Mobility Electronics)의 통합 회로 사업부 악셀 카슈너(Axel Kaschner) 수석 부사장은 "VASI 버스는 완성차 업체가 센서 공급업체를 선택할 때 더 큰 유연성을 가질 수 있도록 돕는다"며 "이러한 개방성은 현대적인 소프트웨어 정의 차량(SDV) 플랫폼으로의 전환을 지원한다"고 설명했다.

성능은 높이고 전력 소비와 부피는 절반으로

신규 칩셋은 초당 1.16MB(Mbps)의 압도적인 데이터 전송 속도를 갖춰 대용량의 로우 데이터를 실시간으로 처리한다. 이는 초음파와 카메라, 레이더 데이터를 지능적으로 연결하는 고품질 데이터 융합과 고급 AI 알고리즘 구현의 기초가 된다.

성능 향상에도 불구하고 효율성은 더욱 개선됐다. 기존 솔루션 대비 에너지 소비를 최대 50%까지 줄여 하이브리드나 전기차의 배터리 효율을 높였다. 또한 VASI 버스를 통해 데이터와 전원을 동시에 전송함으로써 배선을 단순화하고 부품 무게를 최대 50%까지 절감했다. 특히 최대 150도에 달하는 고온에서도 견딜 수 있도록 설계되어 엔진 주변과 같은 가혹한 환경에서도 안정적인 작동을 보장한다.

보쉬 ADAS 사업부의 헨드릭 사이델(Hendrik Seidel) 본부장은 "우리의 솔루션은 가공되지 않은 원시 센서 신호를 제공함으로써 다양한 기능을 유연하게 평가하고 사용할 수 있게 한다"며 "이번 칩셋은 고도화된 자율주행 기능을 개발하려는 완성차 업체들에게 핵심적인 솔루션이 될 것"이라고 강조했다.

AI요약

기사 제목과 본문 내용을 자동 요약한 내용입니다.

전체 내용을 이해하기 위해서는 기사 본문 전체를 확인하는 것이 더 좋습니다.

인공지능(AI) 시대에는 설계·제조·패키징·장비·소재 기업이 연결된 산업 네트워크가 어디에 형성되느냐에 따라 세계 공급망의 중심이 결정된다. 반도체 경쟁의 본질은 개별 기업의 기술력을 넘어선 산업 구조란 얘기다. 어느 도시에서 설계가 태어나고, 어느 공장에서 생산되며, 어떤 기업들이 후공정과 장비 생태계를 형성하는지에 따라 글로벌 반도체 권력의 흐름이 만들어진다. 여성경제신문은 이번 기획을 통해 대만 신주를 중심으로 형성된 파운드리 생태계와 베일에 가려진 중국의 공급망 체계, 미국 주도의 팹리스 산업, 반도체 특별법 아래 지자체간 클러스터 유치 전쟁에 돌입한 한국의 상황을 비교하며 AI 시대 지정학적 권력이 어떻게 움직이는지를 짚어본다. [편집자 주]

지난 24일 구글 수석 과학자 제프 딘이 공개한 TPU 8i 보드는 대형 금속 히트싱크와 냉각 구조가 얹힌 채 기판 위에 다수의 칩이 배열된 모습으로, 고밀도 연산을 전제로 한 데이터센터용 설계를 드러낸다. 특히 칩 패키지 주변을 둘러싼 두꺼운 인터포저와 정밀 배선은 온칩 SRAM 중심 구조와 초저지연 데이터 흐름을 강조하는 물리적 흔적이며, 단순 연산 유닛 집적이 아니라 메모리 접근 최소화와 칩 간 연결 최적화를 목표로 한 시스템 수준 아키텍처임을 시각적으로 보여준다. /해설=이상헌 기자

구글이 인공지능(AI) 학습과 추론을 물리적으로 분리한 8세대 TPU(8t·8i)를 공개하며 반도체 경쟁의 축을 바꾸고 있다. 특히 추론 전용 칩 TPU 8i의 온칩 SRAM을 전작 대비 3배인 384MB로 확대한 점은, 엔비디아와 SK하이닉스가 이끄는 HBM 중심 생태계를 정면 겨냥한 전략으로 해석된다.

24일 빅테크 업계에 따르면 구글의 최신 추론용 칩인 'TPU 8i'는 384MB의 SRAM을 탑재했다. 이는 연산 칩 내부에 위치한 초고속 메모리로, 대용량 데이터를 외부 HBM(고대역폭 메모리)에서 가져올 때 발생하는 물리적 병목 현상을 최소화한다. 구글은 이를 통해 AI 에이전트의 응답 시간을 즉각적인 수준으로 단축하고 추론 비용을 50% 절감했다고 밝혔다.

그간 AI 칩 시장은 엔비디아의 GPU와 SK하이닉스의 HBM이 결합된 '물량 공세'가 주도해 왔다. 하지만 구글은 칩 내부 메모리 계층을 재설계하는 방식으로 HBM 의존도를 효율적으로 관리하며 '가성비'와 '속도'라는 두 마리 토끼를 잡겠다는 전략이다.

특히 엔비디아가 최근 공개한 '루빈'과 '그록 LPU' 칩 등에서도 SRAM 증설이 핵심 전략으로 부상하고 있어, 향후 AI 칩 전쟁의 승부처는 '외부 메모리(HBM)의 크기'가 아닌 내부 메모리(SRAM)의 제어 능력이 될 전망이다.

구글과 엔비디아는 “HBM은 느리고 멀다”는 동일한 결론에 도달했지만, 해법은 갈렸다. 구글은 TPU 8i에서 SRAM을 384MB까지 확장하며 로짓(Logit)을 칩 내부에 묶는 ‘직선 경로(Direct Path)’를 택했다.

연산에 필요한 핵심 데이터를 외부 메모리로 보내지 않고 온칩에서 즉시 처리하겠다는 선언으로, H100 대비 7~8배 수준의 KV 캐시 수용 공간 확장이다. 데이터 이동을 제거하고 지연을 0.1ns급으로 압축하는 설계, 즉 ‘로짓의 요새’를 물리적으로 구축한 접근이다.

엔비디아 역시 같은 문제를 인식하고 베라 루빈에서 SRAM 확대와 고밀도 캐시 전략을 병행한다. HBM4와 온칩 메모리를 결합한 하이브리드 구조로, NVLink와 공유 메모리를 통해 데이터 흐름을 최적화하는 방향이다. 단순한 가속기가 아니라 ‘정렬 엔진’으로 진화하려는 설계로, HBM 의존을 줄이되 완전히 버리지는 않는 절충형 접근이다.

결국 승부는 ‘얼마나 많이 계산하느냐’가 아니라 ‘얼마나 덜 움직이느냐’로 수렴한다. SRAM에 로짓을 고정해 이동을 제거하는 쪽은 지연을 구조적으로 없애고, HBM과 병행하는 쪽은 흐름을 최적화해 손실을 줄인다. 같은 문제에서 출발했지만 하나는 ‘차단’, 다른 하나는 ‘관리’다. 그리고 이 선택이 향후 AI 칩 패권의 분기점이 될 전망이다.

특히 이번에 구글이 선보인 TPU 8t는 엔비디아가 독점해 온 학습(Training) 시장의 성벽을 직접적으로 타격하는 무기다. 전작인 7세대 대비 연산 성능을 3배 끌어올려 LLM의 학습 기간을 수개월에서 수주 단위로 단축하는 압도적인 연산 밀도를 자랑한다.

또한 전력 대비 효율 역시 기존 칩보다 2배 이상 높여 대규모 데이터센터의 운영 비용(TCO) 문제를 정면으로 돌파했다. 이는 단순히 성능 경쟁을 넘어, 거대 모델의 탄생 경로인 '학습 단계'부터 구글의 하드웨어 아키텍처 아래 두겠다는 선전포고와 같다.

HBM 병목 겨냥, 온칩 처리 강화

추론 지연 0.1ns급으로 압축

TPU 8t로 학습 시장까지 압박

더욱 위협적인 점은 구글이 보유한 '수직적 생태계의 결합'이 학습 시장의 문법을 바꾸고 있다는 사실이다. 구글은 자사의 대규모 모델인 '제미나이'를 TPU 8t로 학습시키며 검증된 레퍼런스를 확보함과 동시에, 전용 컴파일러인 XLA를 통해 소프트웨어와 하드웨어 사이의 최적화 수준을 극대화하고 있다.

구글이 엔비디아의 CUDA 생태계에 의존하지 않고도 최상의 학습 효율을 뽑아내고 있는 가운데, 학습 시장마저 구글의 TPU 생태계로 기울 경우 모델의 초기 설계(학습)부터 최종 발현(추론)에 이르는 전체 의사 결정 파이프라인이 구글에 완전히 장악될 가능성이 크다.

또한 구글의 최근 앤트로픽 59조 원 투자와 5GW 규모 연산 공급 약정은 하드웨어가 소프트웨어를 규정한다는 자신감의 발로로 보인다. 앤트로픽은 겉으로는 모델 기업이지만, 실제로는 구글이 제공하는 연산·메모리·전력 위에서 작동하게 될 전망이다.

두 빅테크와 달리 국내 분위기는 K-메모리 신화에 취해 역주행이다. SK하이닉스는 HBM으로 존재감을 키웠지만, 본질은 여전히 ‘멀리 있는 창고를 더 크게·더 빠르게 만드는’ 데 머물러 있다. 대역폭과 적층을 극한까지 밀어 올려도 로짓이 만들어지는 온칩 구간까지 역할이 이어지지 않으면 병목의 본질은 바뀌지 않는다.

국내 반도체사는 고객 의존형 구조 속에서 주문을 소화하는 데는 강하지만, 거래가 끝나는 지점에서 주도권을 상실한다. 이를 D램 양산으로 돌파해 온 삼성은 더 복잡하게 꼬였다. 파운드리·메모리·모바일이 각자 따로 움직이며 중심 축을 만들지 못했고, 전영현 부회장이 수조 원을 투입한 엑시노스는 퀄컴 스냅드래곤에 갤럭시폰 자리를 내줬다.

두 회사 모두 eSSD와 낸드와 같은 저장 중심 포트폴리오는 규모는 크지만, 빅테크 간 벌어지는 지능 경쟁 구조와는 거리가 멀다. 구글은 TPU에 대용량 SRAM을 밀어 넣어 로짓이 생성되는 구간을 칩 내부로 끌어당겼고, 엔비디아는 차세대 아키텍처에서 캐시와 인터커넥트를 확장해 데이터 이동 자체를 줄이는 방향으로 설계를 바꾸고 있다.

특히 구글의 TPU 8i는 이름은 TPU지만, 실제 방향은 대형 연산기보다 근접 메모리 중심의 토큰 처리 장치(LPU)에 가깝다. 384MB 온칩 SRAM을 전면에 배치해 로짓이 형성되는 경로를 칩 내부에 최대한 묶고, 외부 메모리 왕복을 줄이는 구조다. AI 칩 경쟁의 기준이 단순 연산량에서 데이터 이동 거리와 SRAM 배치로 옮겨가는 증거다.

지난 24일 코엑스에서 열린 월드IT쇼의 LG 유플러스 부스 한켠에 퓨리오사AI의 NPU가 전시돼 있다. /이상헌 기자

HBM vs D램 딜레마 빠진 삼성전자

李 데이터센터용 NPU 역풍 맞을 것

이런 흐름에서 HBM·D램 중심의 국내 반도체 전략은 구조적 한계를 드러낸다. 대용량 메모리 공급 능력은 여전히 중요하지만, 로짓이 만들어지는 온칩 SRAM 구간까지 역할이 이어지지 않으면 지능 경쟁에서 뒤처질 수밖에 없다.

HBM은 여전히 필요하지만, 역할은 이미 보조 계층으로 밀려났다. 결정은 연산 유닛 바로 옆에서 내려지고, 나머지는 이를 지연 없이 받쳐주는 구조로 재배치된다. 같은 칩이라도 SRAM 배치와 접근 구조에 따라 지능의 체감 성능이 갈리는 국면이다. 규모에서 거리, 대역폭보다는 지연 최소화가 기준이 되는 전장이다.

빅테크의 이런 경쟁 구도는 한국 반도체 생태계와 정부 정책에 사형 선고나 다름없다. 이재명 정부와 SK텔레콤, 삼성SDS, LG U+가 연합해 수십조 원 규모로 추진 중인 인공지능 데이터센터에 라벨리온과 퓨리오사AI의 NPU를 대거 도입하는 정책 역시, 기술 경쟁의 흐름과는 결이 어긋난 방향이라는 지적이 나온다.

특히 3나노 공정은 사실상 칩 내 SRAM 공간을 두고 벌어지는 ‘부동산 전쟁’이다. SRAM 셀 면적이 약 0.02제곱마이크로미터 수준까지 내려온 초미세 영역에서는 전자 수십 개 단위의 안정적 유지와 변동성 제어가 품질을 좌우한다. 그런데 데이터센터용 NPU는 연산 유닛 규모가 커 다이 면적 대부분을 차지하기 때문에 SRAM에 할당할 수 있는 공간은 극히 제한적이다.

인공지능 구조분석 전문가는 "K-메모리가 곧 추론이라는 환상에 빠진 사이 엔비디아와 구글은 로짓이 형성되는 파이프라인 장악 전쟁을 시작했다. 이는 단순 성능 경쟁을 넘어, 지능이 드러나는 경로를 물리적으로 규정하는 단계로의 전환을 의미한다" 진단했다. 이어 "한국의 NPU 업체들은 짐 켈러가 이끄는 텐스토렌트의 그레이스컬(Grayskull) 급의 혁신을 보이지 못한다면 결국 소멸하는 운명을 맞을 것"이라고 덧붙였다.

제프 딘 구글 수석과학자 / 구글

☞그록(Groq)의 LPU(Language Processing Unit) = 특정 칩 이름이라기보다, 로짓을 연산 유닛 근처에서 바로 처리하도록 설계된 근접 메모리 중심 구조를 가리키는 개념이다. 조나선 로스는 데이터 이동을 최소화하고 지연을 줄이기 위해 HBM을 아예 제거하는 설계를 택했다.

☞구글 TPU 8i = 제프 딘 구글 최고과학자가 그록의 LPU 개념을 실제 하드웨어로 구현한 사례로 볼 수 있다. 칩 내부에 수백 MB 규모의 온칩 SRAM을 배치해, 연산 중 필요한 데이터를 외부 메모리로 보내지 않고 내부에서 처리하도록 설계됐다. 이는 단순한 캐시 확대가 아니라, 연산 흐름 자체를 온칩 SRAM 중심으로 재구성한 것으로, 데이터 이동 비용을 구조적으로 줄이는 데 목적이 있다.

또 이 과정에서 구글 내부 권력 지형에도 변화가 감지된다. 구글 수석 과학자 Jeff Dean은 TPU 8i를 통해 대규모 연산 인프라와 칩 설계 역량을 다시 한 번 입증하며 존재감을 강화했다. 반면 28일 방한해 이재명 대통령과 만남을 가질 데미스 허사비스(Demis Hassabis)식의 알고리즘 기반 추론 접근은 후순위로 밀리는 모습이다.

결국 LPU와 TPU 8i의 차이는 설계와 구현의 차이다. LPU는 ‘어디에서 계산을 끝낼 것인가’에 대한 설계 개념이고, TPU 8i는 그 방향을 온칩 SRAM 배치로 밀어붙인 실제 구현이다. AI 반도체 시장에서의 승부는 이제 거리에서 판정나 데이터의 이동을 최소화한 쪽이 모든 것을 가져간다.

여성경제신문 이상헌 기자

liberty@seoulmedia.co.kr

*여성경제신문 기사는 기자 혹은 외부 필자가 작성 후 AI를 이용해 교정교열하고 문장을 다듬었음을 밝힙니다. 기사에 포함된 이미지 중 AI로 생성한 이미지는 사진 캡션에 밝혀두었습니다.

인텔 EMIB 기술로 패키징 한계 16mm까지 확장…엔비디아 '블랙웰' 정조준

'메모리 벽' 깬 샘 올트먼의 승부수, 한국 반도체 시장엔 위기인가 기회인가

오픈AI의 반격, HBM 20개 얹은 '괴물 칩' 설계도 공개…엔비디아 독주 끝낼까 이미지 확대보기 오픈AI가 인공지능(AI) 칩의 물리적 병목현상을 해결할 차세대 설계도를 꺼내 들었다. 오픈AI는 최근 '임베디드 로직 브리지(Embedded Logic Bridges)'를 활용해 메모리 용량을 극대화하는 신규 칩 특허를 출원했다. 이미지=제미나이3

'메모리 벽' 깬 20개의 HBM 스택

엔비디아 대항마 노리는 패키징 혁신

한국 반도체 기업, 위기인가 기회인가

투자자·업계가 확인할 체크포인트

오픈AI가 인공지능(AI) 칩의 물리적 병목현상을 해결할 차세대 설계도를 꺼내 들었다. 22일(현지 시각) Wccftech 보도에 따르면, 오픈AI는 최근 '임베디드 로직 브리지(Embedded Logic Bridges)'를 활용해 메모리 용량을 극대화하는 신규 칩 특허를 출원했다.핵심은 고대역폭메모리(HBM)의 물리적 연결 거리를 기존 6㎜에서 16㎜까지 대폭 확장하는 기술이다. 이를 통해 단일 칩에 최대 20개의 HBM 스택을 통합한다. 이번 특허는 단순히 칩 설계 방식을 바꾸는 차원을 넘어 고성능컴퓨팅(HPC) 시장에서 엔비디아의 독주 체제를 흔들 샘 올트먼의 강력한 승부수로 평가받는다.AI 칩 업계의 고질적인 난제는 '메모리 벽(Memory Wall)'이다. 연산장치(GPU) 성능은 비약적으로 발전했지만 이를 뒷받침할 메모리 대역폭은 물리적 배치 제약에 묶여 있었다. 현재 JEDEC 표준상 HBM은 연산 칩과 6㎜ 이내로 근접 배치돼야 한다. 이 제약 탓에 칩 패키징 내 수용할 수 있는 HBM 개수는 통상 4~8개 수준에 머물렀다.오픈AI는 이 한계를 '브리지' 기술로 돌파한다. 인텔의 2.5D 패키징 기술인 EMIB(Embedded Multi-Interconnect Bridge)와 유사한 개념을 도입해 연산 칩렛과 HBM 칩렛을 고속 로직 브리지로 연결한다. 신호 전달 거리가 16㎜까지 늘어나자 칩 하나에 20개의 HBM 스택을 얹는 구조가 가능해졌다. 기존 대비 2.5배에서 5배까지 메모리 집적도를 끌어올린 셈이다.이번 설계는 범용 GPU 중심의 컴퓨팅 시장에 큰 시사점을 던진다. 엔비디아는 블랙웰(Blackwell) 등 고성능 칩으로 시장을 장악하고 있으나 패키징 효율과 메모리 용량 확대 경쟁은 이미 한계점에 도달했다는 분석이 지배적이다. 오픈AI가 자체 칩 개발을 통해 이 벽을 허문다면, 빅테크 기업들이 엔비디아 의존도를 낮출 강력한 유인책이 된다.특히 UCIe(Universal Chiplet Interconnect Express) 표준을 준수한다는 점이 중요하다. 이는 특정 제조사의 기술에 종속되지 않고 다양한 칩렛을 조합할 수 있는 개방형 생태계를 지향한다. 인텔의 EMIB 설루션이 접목되면 칩 제조 비용을 낮추면서도 확장성을 높이는 효율적인 생산 모델이 구축될 전망이다.이번 설계 변화는 한국 반도체 기업들에 양날의 검이다. HBM 수요가 폭발적으로 증가한다는 점은 SK하이닉스와 삼성전자에 호재다. 하지만 칩 패키징 설계가 파운드리와 팹리스의 경계를 허물고 브리지 기술을 중심으로 재편된다면, 기존의 수직계열화된 생산 방식도 변화가 불가피하다.업계 전문가는 "이번 특허는 메모리 용량 부족 문제를 기술적으로 완벽히 타격하고 있다"면서 "향후 AI 칩 경쟁은 칩 자체의 연산 속도보다 얼마나 많은 메모리를 효율적으로 연결하느냐는 '패키징 생태계 주도권' 싸움으로 전개될 것"이라고 진단했다.앞으로 시장 흐름을 읽기 위해 다음 세 가지 지표를 주목해야 한다.첫째, HBM 공급량과 수율이다. 20개 스택을 안정적으로 패키징할 수 있는 수율이 확보되는가를 살펴야 한다. 20개 HBM 적층은 16㎜ 거리의 신호 무결성 유지와 고밀도 발열 제어가 핵심이다. 공정 복잡도가 기하급수적으로 늘어나는 만큼 수율 확보 여부가 상용화 관건이다.둘째, 패키징 기술 표준화다. 인텔 EMIB 등 브리지 기술이 다른 파운드리 업체로 얼마나 빠르게 확산하는가다. 표준화 속도가 곧 칩 생산 단가와 직결된다.셋째, 빅테크의 자체 칩 생산 시점이다. 오픈AI와 같은 기업들이 실제 상용 칩 생산을 위해 파운드리와 어떤 계약을 맺는지 확인해야 한다.하드웨어의 물리적 한계를 새로운 패키징 기술로 돌파하려는 시도는 이미 시작됐다. 이제 승패는 설계도를 넘어 누가 더 빠르게 대량 양산 체제를 구축하느냐에 달려 있다.김주원 글로벌이코노믹 기자 park@g-enews.com

스페이스X가 AI 사업 확대를 위해 자체 GPU 제조를 검토하고 있다. [사진: Reve AI]

[디지털투데이 AI리포터] 스페이스X가 인공지능(AI) 사업 확대에 맞춰 자체 그래픽처리장치(GPU) 제조 가능성을 투자자들에게 제시했다.

23일(현지시간) 블록체인 매체 크립토폴리탄에 따르면, 스페이스X는 상장 전 증권신고서인 S-1 등록 서류에서 AI 및 기타 기술 개발에 필요한 대규모 자본 지출 항목으로 자체 GPU 제조를 명시했다.

이 문서는 여름 기업공개(IPO)를 앞두고 투자자들에게 공개된 핵심 자료다. 시장에서는 스페이스X 기업가치를 약 1조7500억달러(약 2600조원) 수준으로 추정하고 있다. 스페이스X가 직접 칩 생산 가능성을 언급한 것은 단순한 연구개발을 넘어 AI 인프라를 외부 공급망에만 의존하기 어렵다는 판단을 반영한 것으로 보인다.

실제로 스페이스X는 칩 조달 불확실성을 주요 위험 요인으로 지목했다. 회사는 주요 칩 공급업체들과 장기 계약을 다수 체결하지 않았으며, 성장 속도를 뒷받침할 만큼 충분한 공급을 확보하지 못할 수 있다고 밝혔다. 또한 컴퓨트 하드웨어의 상당 부분을 계속 외부에 의존할 계획이라며, 테라팹 관련 목표를 예상한 기간 내 달성하지 못하거나 아예 달성하지 못할 가능성도 있다고 덧붙였다.

이 계획의 중심에는 미국 텍사스주 오스틴에서 추진 중인 AI 칩 단지 테라팹이 있다. 테라팹은 스페이스X와 xAI, 테슬라가 공동 개발 중인 시설이다. 일론 머스크는 이곳이 자동차, 휴머노이드 로봇, 우주 기반 데이터센터용 칩을 겨냥한다고 설명한 바 있다. 다만 어떤 유형의 AI 칩을 생산할지는 아직 공개되지 않았다. 범용 GPU인지, 특화된 AI 프로세서인지도 불분명하다.

생산 방식 역시 구체적으로 드러나지 않았다. 스페이스X는 자체 칩 생산 시점과 제조 주체, 협력사인 인텔의 역할을 밝히지 않았다. 머스크는 테슬라 애널리스트들과의 통화에서 테라팹이 본격 확대될 시점에는 인텔의 차세대 14A 공정이 충분히 성숙해 투입 가능할 것이라며 "적절한 선택으로 보인다"라고 말했다.

AI 칩 전략을 둘러싼 경쟁도 치열하다. 엔비디아는 범용 GPU로 시장을 주도하고 있고, 구글은 AI 학습과 운영에 특화된 TPU를 활용한다. 스페이스X는 아직 방향을 명확히 하지 않았지만, 외부 공급 부족을 직접 언급했다는 점에서 장기적으로 자체 설계 또는 생산 역량 확보를 추진할 가능성이 크다.

AI 확장은 소프트웨어 분야에서도 이어지고 있다. 스페이스X는 이번 주 코딩 스타트업 커서의 인수권을 확보했다. 커서는 600억달러(약 89조원) 규모 거래와 연결된 기업으로, 스페이스X는 이전부터 해당 회사에 컴퓨트 자원을 제공해 온 것으로 알려졌다. 회사는 "스페이스XAI와 커서가 세계 최고 수준의 코딩 및 지식노동 AI 개발을 위해 협력하고 있다"라고 밝혔다.

이 과정에서 마이크로소프트(MS)의 이탈도 주목된다. MS는 커서와의 거래를 검토했으나 진행하지 않았고, 현재는 자체 AI 도구 확산에 집중하고 있다. 스페이스X는 이를 기회로 삼아 AI 코딩 도구와 연산 인프라를 동시에 확보하려는 전략을 취하고 있다.

다만 최첨단 GPU 생산은 높은 진입 장벽을 가진다. 엔비디아조차 설계만 담당하고 생산은 대만 TSMC에 맡긴다. 첨단 칩 제조에는 특수 소재와 1000단계 이상의 공정, 원자 수준의 정밀도가 요구된다. 스페이스X가 이를 사업으로 연결하려면 설계 역량뿐 아니라 제조 파트너십과 공정 안정성 확보가 필수적이다.