일단 제가 옆동네에 3월에 쓴 글이 있습니다.

글 원문은 이 글 맨 밑에 붙여넣기 했으니 참고하시면 되겠습니다.

글의 내용에 대해서 제 의견은 아직 변한건 없습니다.

단지, 최근의 엔비디아 주가에 대해서는 저도 할말이 없네요 ㅎㅎㅎ   그래서 주식이 참 어려운가 봅니다.

밑의 글 내용에 조금더 첨언하여 말씀을 드리도록 하겠습니다.

최근 네이버와 삼성전자가 협력해서 (삐걱거리고 있긴 하지만요)  만들고 있는 AI 칩중에 마하1이라는 칩이 있습니다.

상세한 내용은 밑 링크에 나와있습니다.

​https://blog.naver.com/guigongcaz/223451750237​

마하1은 본격적인 학습(Learning) 보다는 추론(Inference)에 좀더 강점이 있는 칩이긴 하지만 특이한점이 있습니다.

바로 AI 데이터를 양자화(Quantization)하여 압축, GPU/NPU와 메모리 사이의 bandwidth 요구량을 대폭 줄여서 그 비싼 HBM을

사용하지 않고 LPDDR만을 사용해서 시스템을 구성할수 있다는 점이죠.

양자화라는 기술은 막 등장한것은 아니지만 AI기술이 이제 성숙단계에 들어서면서 비용 절감에 좀더 포커스가 되고 있어 채용이 확산되고 있고, 앞으로 많은 Mid/Low-end, 그리고 On-device AI 칩들이 이 기법을 사용하여 시스템의 BOM(Bill of Material)을 낮추어 갈것입니다.

작년부터 본격적으로 시작된 AI칩셋 경쟁은 지금까지는 비용에 관계없이 최고 기술력을 투입하는 경쟁으로 진행되어 왔습니다. 하지만 앞으로의 AI 기술 경쟁은  비용 효율적으로 흘러갈수밖에 없고, 이 중심에 LPDDR, GDDR, CXL 과 같은 메모리들이 있죠.

물론 그렇다고 HBM이 없어지지는 않을겁니다. High-end 서버향으로는 계속 수요가 있을테지만  지금의 광풍같은 밝은 미래만 있어 보이지는 않습니다.

이런 측면에서 보자면 연말, 내년초로 갈수록  HBM과 기존 레거시 메모리의 영업이익률 갭은 축소될것으로 보이고, 결국 시장의 흐름은 메모리 슈퍼사이클에 의한 Capa. 대결로 갈것이라고 봅니다. 이 대결에서 가장 불리한 쪽은 마이크론이고요. 마이크론은 재작년 작년 다운싸이클때 제대로된 투자를 하지 못해  당장 장비를 반입할 클린룸도 없는 상황이어서 올해 내년 내후년까지 이어질 슈퍼싸이클의 혜택을 별로 받지 못할것으로 보고 있습니다.

저저럼 중장기 투자 위주로 하시는 분들이라면 단기적인 트레이딩을 할것이 아니라면 큰 흐름이 어떻게 흘러갈지를 보는 것도 상당히 중요하다고 봅니다. 그런 측면에서 AI칩과 HBM 메모리 이슈는 계속 잘 지켜보아야 할 중요한 토픽인것 같습니다.

잡담엔비디아와 HBM은 거품인가?20

제 생각은 "그렇다" 입니다.

제 생각의 근거를 말씀드려보겠습니다.

전세계 서버시장의 CAPEX 규모는 대략 1000억 ~ 1500억달러 수준입니다.

매년 증가하고는 있지만 이게 갑자기 2배, 3배는 되지 않아왔습니다.

왜냐하면,  서버시장의 CAPEX는 결국, 서비스단에서 창출되는 이익에서 나오는 것이기 때문입니다.

저희가 Microsoft Office에 매달 내는 구독료로 MS가 서버에 투자를 하고,  구글 광고를 봄으로써 구글이 서버에 투자를 합니다.

하늘에서 돈이 뿅 떨어지지 않는 이상 이는 불변의 진립니다.

올해의 가장 핫한 화두인 AI를 보죠. 지금까지 AI의 서비스 모델은 월 구독료 20불을 받아서 문서를 만들어 주거나 (Chat GPT), 그림을 그려주거나 (Stable Diffusion),  오피스 사용을 도와주는것 (Co-pilot) 입니다.

그럼 이런 서비스만으로 서버시장의 CAPEX규모가 갑자기 2배가 될수 있을까요?  저는 시간이 많이 걸릴것이라고 봅니다.

또한 뒤에서 다시 말씀드릴 On-device AI때문에라도 성장률이 생각처럼 크게 나오지는 않을것이라 보고 있습니다.

엔비디아가 2024년 1분기 매출이 240억달라라고 합니다. 이를 그냥 뿌려보면 2024년에 1000억달러를 하는 것입니다. 

엔비디아는 원래 150억 - 200억달러 정도의 매출을 하는 회사였습니다. 이 말인즉슨 대부분의 증가된 매출부분이 AI 서버에서 나온다는 이야기 입니다. 올해 따지면 대략 800억달러정도 되겠군요.

서버시장의 CAPEX가 제한된 상태에서 올해 갑자기 800억달러의 AI 서버 시장이 나타나서 엔비디아가 거진다 먹었습니다.

이런 고성장이 계속되기 위해서는  두가지 시나리오가 있겠습니다.  1) 기존의 CPU중심 서버 CAPEX를 줄이는 것,  2) AI라는 신기술에 추가로 CAPEX 투자 지속

아마도 이 두가지 시나리오가 섞여서 올해 추가적인 CAPEX의 증가로 나타났겠지요.

하지만 이런 대규모 AI서버의 투자가 앞으로도 계속 정당화되기 위해서는  AI서비스를 통해 "대규모" 이익을 창출해야 합니다.

물론, 사람들의 많은 일자리가 AI로 대체되면서 대규모 부가가치가 나올것입니다. 하지만, 이런 일이 바로 일어날것 같지는 않아 보입니다. 점진적으로 수년 ~ 수십년에 걸쳐서 일어나겠지요. 그리고 또 AI가 한단계 더 점프하려면 저는 AI가 모니터 밖으로 나와야 한다고 생각합니다. 즉,  로봇과 같은 실제 물리적인 구동 장치에 의해서  화이트칼라뿐만 아니라 블루칼라의 직업을 가져가야 한다는 것이죠. 

결론적으로 제가 판단하기에 올해의 AI서버시장의 급팽창은  기술 도입 초기의  오버슈팅이라고 보고 있습니다. 물론 내년이 된다고 갑자기 AI서버 투자가 0이 되고 하지는 않겠지만, 확실한 AI 수익 모델이 등장하기 전까지는 성장률이 급격히 정체가 되겠지요.

또한 AMD를 필두로 한 여러 경쟁자들의 도전을 받을거고요. 실제로  AI 클라우드 서비스를 보면 몇 % 정도는 엔비디아 GPU가 아닌 AI chip으로 서비스가 되어 있고, 점차 확장중에 있습니다. 엔비디아 GPU대비 cost가 1/3 정도밖에 안되는 서비스도 있다고 합니다. 현재와 같이 speed 가 중요한 시점에서는 CUDA를 가진 엔비디아밖에 대안이 없겠지만 점차 service cost 쪽으로 무게 중심이 옮겨가면 경쟁사 솔루션도 시장에서 파이를 키워 나가겠지요.

그리고 On-device AI.   사용자가 AI기반 서비스를 사용할때  이 서비스가 클라우드 서버가 필요한지, 그냥 단말에서 동작하는지 중요하지 않습니다. 사용자 입장에서는 그냥 기능이 작동만 되면 되니까요. 갤럭시에 탑재된 번역 기능은 On-device AI의 실증을 잘 보여주고 있습니다.  네트웤을 통하지 않아서 향상된 응답성과 데이터비용 절약.  설사 번역 품질이 서버기반 서비스보다 조금더 떨어지더라도 On-device AI의 장점이 이 모두를 덮고도 남습니다. On-device AI의 가장 선구자는 퀄컴이라고 보고 있고, 퀄컴은 몇년전부터 스냅드래곤에 AI를 위한 NPU등을 탑재해서 seamless한 서비스가 가능하도록 솔루션을 구성하고 있지요. On-device로 안될 서비스는  사용자가 인지하지 못하더라도 자동으로 통신망을 통해서 서비스가 되도록 구현하는 것입니다.

아마도 향후 우리가 소위 AI서비스라고 불를만한 것들의 상당부분 (개인적으로 70~80%이상)은 On-device AI로 구현이 될것이라고 생각합니다. 서버단의 learning과는 다르게 inference 로 서비스하는데 있어서 작은 processing power, 작은 메모리로도 가능하니까요. 

메모리단에서 보자면,  HBM, CXL은 서버단,  그리고 LPDDR, GDDR, LLW RAM등은 device단에서 수요가 나올 것이고, 결국 시장의 메인 파이는 device단에서 나오지 않을까 생각합니다. 

그리고 중요한 이슈가 있는데,  HBM은  태생적으로 아주 비싼 솔루션입니다.  Wafer level의 DRAM을 8단, 12단 쌓아서 TSV로 연결하는 기술은 수율 측면에서 쥐약입니다. 그래서 비싼것입니다.  생산비용이 같은 용량의 단품 메모리보다 2배이상 비쌉니다. 이걸  단품 메모리보다 5배이상의 비싼 가격에 판다는 건데,  솔직히 이런 비정상적인 시장이 얼마나 더 버틸수 있을지 모르겠습니다.

메모리는 전통적으로  규격화된 (JEDEC등으로) + 무조건 low cost + 생산 Capa. 가 이기는 시장이었습니다.  이는 앞으로도 변하지 않을것이라고 봅니다. 예를 들어보면 플래쉬 메모리가 세상에 처음 등장했을때 NOR 방식으로 Byte 단위로 액세스가 가능한 형태로 나왔었죠.  나중에 블록단위에 액세스가 되는 NAND가 나왔을때  많은 사람들이 이 쓰레기(?)를 어디다 쓰냐고 했습니다. 그런데, 이 쓰레기가 지금은 플래쉬의 전부가 되었죠. 생산코스트가 NOR의 거의 1/3 ~ 1/6 수준밖에 되지 않았기 때문입니다.  낸드 컨트롤러를 밖에다 따로 붙여서  NAND의 쓰레기같은 특성을 다 극복을 했죠.

저는 HBM도 비슷한 시각에서 바라보고 있습니다. 성능이야 말할 나위 없이 훌륭하죠. 근데 코스트, DRAM 특성 (DRAM은 태생적으로 열에 엄청 취약합니다),  수율, 로지스틱 등등 좋인게 하나도 없습니다. 오로지 성능만 있죠.

지금의 AI 알고리즘은 high bandwidth를 요하기 때문에 어쩔수 없는 부분이긴 합니다.

하지만, 새로운 알고리즘의 개발이나 PIM (processing - in - memory)과 같은 새로운 스킴의 개발이 HBM의 수요를 급격히 위축시킬수 있는 계기가 될수도 있다고 봅니다.

설사HBM이 계속 많이 사용된다고 하더라도  지금처럼 단일메모리에 대비해서 5배나 비싼 가격을 계속 받기는 힘들겁니다. 이미 외국 리포트를 보면 올해말쯤이면 HBM과 레거시 디램의 영업이익률이 비슷해질것이라는 리포트가 나오더군요.

HBM의 수율에 한계가 있으므로  레거시대비 2배의 가격을 받으면 영업이익률이 비슷해질 것입니다.

삼전이 2019년 HBM 개발팀을 해체한건 지금와서 보면 정말 잘못된 결정이라는걸 알수 있지만, 그당시로 돌아가보면 아마도 삼전 경영진 입장에서  HBM은 너무 비싼 솔루션이어서 시장에서 니치 이상의 마켓을 형성하지 못했을것이라는 판단을 했을것 같습니다. 저마저도 2019년에 제가 삼전 경영진이었다면 비슷한 판단을 했을것 같습니다. 반면 하이닉스는 항상 2인자로서 삼전이 먹지 못하는 니치마켓에 투자를 많이 해왔는데 (대표적인게 GDDR시장입니다. 시장 규모는 전체 디램시장의 10%정도였는데 하닉이 삼전보다 항상 잘했죠),  AI가 뜨면서 HBM시장을 먹은거죠. 아마 하닉 경영진도 2019년에는 이정도로 뜰줄은 잘 몰랐을 것이라는거에 한표 겁니다.  물론 그렇다고 삼전 경영진을 두둔하는건 아닙니다. 미래를 제대로 못봤다는 점에서는 반성을 해야 겠지만,  그때 왜 그런 결정을 했느냐고 멍청한 경영진들이라고 욕할건 없다는 뜻에서 말씀 드린것입니다.

지금의 분위기는 언론이건 대중의 여론이건 삼전이 잘못된 결정을 했으니 돌팔매질 맞아라 하고 마구 돌을 던지는 상황같습니다. 하반기, 내년에 들어서서  점차 AI시장의 초기 거품이 꺼지고  HBM이 아닌 CXL, LLW, LPDDR,  PIM과 같은 다양한 솔루션들이 On-device AI에 적용되면서 시장이 다시 재편되면  그때도 삼전이 돌팔매질을 당할지 한번 지켜봐야 하겠습니다.

두서없이 제 생각을 적어보았는데, 결론적으로 말씀드리면 지금의 엔비디아, HBM 광풍은 2년전의 테슬라 전기차 광풍을 생각나게 합니다.  항상 새로운 기술이 나타나서 시장에 급속히 확산되면 hype curve를 벗어나는 일이 거의 없더군요. 이게 사회와 인간의 속성인가 봅니다.  주식하는 사람 입장에서는 진리의 선반영이라는 이슈가 중요하니, 흥분상태에서 한발짝 물러나서 앞으로 어떤 일이 펼쳐질까 상상해 보는 일도 중요하다고 생각합니다.