안녕하세요, Pazz 입니다.

요즘 코스피는 삼전과 SK하이닉스로 아주 불이 제대로(?) 붙은것 같습니다.

삼전과 하닉을 빼면 다른 종목들은 실제 체감이 3500-4000수준밖에 안된다니까요.. 두 종목이 코스피를 하드캐리하고 있는 셈입니다.

최근 등장한 Agentic AI 등 AI 기술이 점점 더 memory-centric 으로 가면서 삼전과 하닉의 목표 주가가 하늘 끝을 모르고 오르는듯 합니다.

이런 상황에서 작년말 엔비디아가 투자한 Groq의 LPU(Language Processing Unit)를 우연히 보게 되었는데, 이게 참 재미있는 컨셉이더군요

일단, AI 학습과 추론을 위해서는 초고속의 메모리, 즉 HBM이 필수적이라는건 이제 전국민이 다 알것이고요,

HBM이 메모리 물량을 쓸어가다보니 메모리 쇼티지가 심각해서 메모리 가격이 끝없이 오르는것이고, 메모리 회사들의 증설 물량은 아무리 빨라야 올해말-내년초는 되어야 조금씩 늘어날 것이고... 메모리가 AI 인프라 투자의 핵심이 되어버렸죠.

이런 상황에서 Groq의 LPU는 추론에  내부 SRAM을 사용하고 있습니다.

SRAM은 사실 메모리의 끝판왕이라 불릴 정도로 DRAM과 비교가 안되는 성능, 저전력을 자랑하죠. CPU의 캐쉬메모리가 SRAM이거든요. 일반 로직 공정으로도 충분히 만들수 있고요. 단 하나의 단점은 DRAM보다 훨씬 비싸다는것입니다.

Groq의 LPU는 내부에 수백메가바이트 SRAM을 꼽아 넣고 추론에 필요한 연산 회로까지 옆에 박아서  기존 GPU+HBM조합보다 성능은 수십배, 전력은 수십배 적게 먹는 엄청난 퍼포먼스를 보여준다고 합니다. SRAM에다가 바로 옆에 연산 회로를 박아넣었으니.. 너무나 당연할수밖에 없습니다. 일종의 PIM(Processing In Memory) 개념과 동일해 보입니다.

단지, LPU의 단점은 칩당 용량이 적다와 (LPU 칩당 수백메가 vs. HBM 수십기가) 비싸다 두가지인데, 용량은 칩을 수백개씩 때려 박는걸로 해결하는것 같고, 비싼 부분은 토큰 생성속도가 말도안되게 빠른것으로 상쇄시키려 하는것 같습니다. 토큰 생성을 빠르게 하면 10대 쓸껄 1대만 써도 되니까요.

그런데 제 눈을 번쩍 뜨이게 하는 부분이 있었습니다!

바로 LPU는 기존 로직 파운드리 공정을 사용해서 얼마든지 만들수 있다는것이죠.  DRAM은 지구상에서 삼성, 하닉, 마이크론, CXMT 외에는 못만듭니다. 로직공정과 완전히 다르기 때문이죠.

반면에 로직 파운드리는 TSMC, 삼성, 인텔, 글로벌파운드리, SMIC등 여러곳이 있습니다.

로직도 최첨단 공정에 대한 병목이 있긴 하지만, 메모리만큼은 아니고... 이번 Groq의 칩은 4nm 공정에서 만들어졌다고 하네요.

이 말인즉슨, 메모리 가격이 말도 안되게 올라버리면, 차라리 로직 공정으로 LPU를 찍어서 만드는게 더 경제적이 될 수 있다는 생각이 들었습니다.  최태원 회장님이 하닉 영업익 1000조 말씀하셨다고 하는데.. ㅎㅎ  그정도 될것 같으면 DRAM을 사는게 아니고 그냥 로직 공정으로 SRAM을 내부에 박아서 칩을 만들어 쓰는게 경제적으로 더 나을지도 모릅니다. 전력도 엄청나게 감소하기 때문에 TCO관점에서도 상당히 유리할 것이고요.

아직까지는 LPU에 대한 아주 상세한 정보가 많이 공개되지는 않아서 저도 앞으로 이 기술이 어떤식으로 흘러갈지는 잘 모르겠습니다. 아마도 다음달 중순쯤 개최되는 GTC에서 젠슨황 회장이 이 기술에 대해서 언급할 수도 있겠다는 생각이 들었습니다.

이 기술이 우리나라 메모리 산업에 폭탄이 될지, 별 영향이 없게 지나갈지는 좀더 두고봐야 할것 같네요

일단은 LPU라는 단어는 머리속에 담아 두시는게 좋을것 같아서 공유드립니다.