루머: 구글이 TPU v8부터 HBM을 더 이상 사용하지 않을 것이라는 소문이 돌고 있다.

이번 사건은 향후 2~3년간 인공지능(AI) 성장 수요를 충족시키지 못할 것으로 예상되는 HBM의 전 세계적인 생산 능력 부족에서 비롯되었습니다. 동시에 기존 HBM은 마더보드에 고정되는 설계 특성상 용량에 한계가 있습니다.

이에 따라 구글은 2027년 출시를 목표로 새로운 솔루션을 개발할 예정입니다. 이 솔루션은 HBM을 제거하고 독립적인 DRAM 메모리 캐비닛(16~32개의 트레이 포함)을 구축하여 광자 기술을 통해 메모리를 동적으로 할당하는 방식을 채택하고 있습니다.

이 기술은 원래 단일하고 단순했던 HBM 구성 요소를 세 부분으로 분해합니다.

- 전송 계층: 모든 광학 인터커넥트를 사용하여 OCS (광 회로 스위칭) 및 맞춤형 CXL 프로토콜을 통해 캐비닛 간 통신 효율성을 보장합니다. CPU, GPU 및 메모리 풀의 메모리 모듈은 단일 프로토콜 세트를 공유합니다.

- 스토리지 계층: 대규모 DRAM 어레이를 사용하여 HBM을 대체함으로써 주소 지정 공간을 크게 확장합니다. 단일 TPU에 해당하는 메모리 용량은 192GB/256GB에서 512GB 또는 768GB 이상으로 증가할 수 있습니다.

- 제어 계층: 관리를 위해 메모리 측 전용 CPU 서버를 추가합니다.

기존의 "TPU+HBM" 직접 연결 방식과 비교했을 때, 이 "3-in-1" 분할 결합 솔루션은 계산 효율 손실을 2% 미만으로 줄입니다.

이 기술과 관련하여 첫째로 OCS (광 스위칭)가 있습니다. OCS는 완전 광 환경에서 고속 스위칭을 구현하며, HBM 또는 실리콘 포토닉 HBM을 사용한 직접 연결에 가까운 대역폭과 지연 시간을 달성합니다. 기존 이더넷(구리선 사용)은 일반적으로 200나노초 이상의 지연 시간을 가지는 반면, OCS 완전 광 스위칭 네트워크를 사용하면 지연 시간을 100나노초 미만으로 줄일 수 있어 매우 중요합니다.

둘째, 이 아키텍처에는 듀얼 사이드 CPU 아키텍처(Tier-1 및 Tier-2 CPU)가 있습니다.

1단계 CPU (TPU 측): TPU 마더보드에 위치하며, 주로 TPU 간의 상호 통신을 담당합니다.

2단계 CPU (메모리 풀 측): 주로 메모리 서버(DRAM 서버) 측에 배포되며, 특히 TPU와 분산 메모리 주소 지정 공간 간의 통신 조정을 담당합니다.

Tier-2 CPU는 독립적으로 배포됩니다. 논리적으로 원래 TPU 마더보드 CPU도 메모리 풀을 읽을 수 있지만, 구형 CPU를 사용하면 복잡한 프로토콜 변환(예: PCIe 신호와 CXL 유사 프로토콜 간의 변환)이 필요하여 효율성 병목 현상이 발생하기 때문입니다.

셋째, 인터페이스는 "포토닉 패키징 인터페이스"를 통해 칩 레벨에서 직접 완성됩니다. 이 방식은 CPO (Co-Packaged Optics) 기술과 유사하며, CPU/TPU와 같은 칩 패키지 내부에 광학 인터페이스를 직접 통합하여 기존의 외부 광학 모듈을 대체합니다. 솔루션 설계 단계에서 처음으로 접촉한 공급업체는 Lightmatter였으며, 이후 여러 공급업체와 협력했습니다.

이 솔루션은 HBM을 제거하고 외부 DRAM 메모리 풀로 변경함으로써, 원래 초고주파 마더보드 레벨 액세스 방식을 "캐비닛 간 액세스" 방식으로 전환합니다. 이론적으로는 이로 인해 지연 시간과 효율성 손실이 크게 발생할 수 있지만, 실제로는 그렇지 않습니다. 구체적으로, 칩, 호스트 및 링 네트워크 간에는 복잡한 전기/광학 변환이 존재하며, 이러한 하드웨어 레벨 프로토콜 변환 및 설정은 사용자에게 보이지 않는 상당한 숨겨진 오버헤드를 발생시킵니다. DRAM 메모리 풀 솔루션을 채택하면 CXL 변환이 도입되기는 하지만, 기존 아키텍처의 많은 번거로운 하드웨어 프로토콜 변환 단계가 제거됩니다.

향후 2년 동안 삼성이나 하이닉스 같은 제조업체들의 생산 능력 확대로 HBM 가격이 하락하고 성능이 향상된다면, 구글은 비용 문제 때문에 HBM 솔루션으로 돌아갈 가능성이 낮습니다. 구글은 하이닉스, 삼성, 마이크론 같은 상위 제조업체들이 한두 개의 주요 고객을 위해 주력 제품 라인의 가격 책정이나 대량 생산 전략을 바꿀 것이라고 생각하지 않습니다. 이윤을 일부 포기할 수는 있겠지만, 극단적인 수준으로 협조하지는 않을 것입니다.

이 솔루션은 HBM이 더 이상 필요하지 않으므로 CoWoS에 대한 의존도를 줄여줍니다. 또한, 기존 실리콘 인터포저 기판에 있던 HBM 칩은 넓은 면적을 차지했는데, HBM을 제거함으로써 확보된 CoWoS 면적을 TPU의 컴퓨트 코어에 모두 활용할 수 있습니다. 따라서 동일한 물리적 크기 내에서 HBM의 물리적 크기에 제약받지 않고 더 강력한 성능과 더 넓은 면적을 가진 TPU 칩을 만들 수 있습니다. 메모리 용량 측면에서, V7 세대는 단일 HBM 용량이 약 192GB였고, ​​V8A는 약 256GB였지만, 메모리 풀링을 통해 TPU당 메모리 용량을 512GB까지 두 배로 늘리거나 768GB 이상까지 확장할 수 있습니다.

해당 솔루션은 내년에 시행될 예정이며, 최종 경로는 3월 5일 이전에 결정될 것입니다. 초기 설치율은 약 30%이며, 3년 안에 100% 교체가 달성될 것으로 예상됩니다.

수혜 부문:

- OCS (광학 엔진): 주요 공급업체인 Lightmatter는 외부 모듈을 대체하기 위해 칩 패키지 내부에 광학 인터페이스를 통합하는 포토닉 패키징 인터페이스를 제공합니다.

- CXL 유사 방식: TPU와 메모리 풀 간의 상호 연결을 위해 CXL 유사 칩(MXC 칩)이 필요하며, 칩당 가격은 100달러입니다. 하나의 칩이 256GB 메모리 모듈 두 개에 대한 두 개의 채널을 관리하며, TPU와 메모리 측을 동기적으로 연결합니다. 512GB의 경우 MXC 칩 두 개가 필요하고, 768GB의 경우 네 개가 필요합니다.

- DRAM 모듈: 용량(GB)이 크게 증가했습니다.

- CPU: 각 메모리 트레이에는 스케줄링을 위한 CPU가 장착되어야 합니다. 고성능은 필요하지 않으며 ARM 기반 CPU를 사용할 수 있습니다.

- PCB: 독립형 DRAM 케이스는 다수의 DIMM 슬롯을 수용하기 위해 대형 다층 PCB가 필요합니다.

출처: 國泰海港(Guotai Haitong)