구글 TPU 아직 쨉 안됨

Lv.1 호롱불 (59.♡.194.211)

2025년 11월 29일 PM 11:44 · 수정됨(12. 01. 01:24)

조회 4,073 공감 0

엔비디아 주식 5년넘게 하다 AI 약간 전문가된 AI 아저씨입니다.


최근 구글 제미나이 3.0이 너무 좋아 구글 TPU가 뜨고 있고 엔비디아는 죽고 구글이 역전한다는 소리가 자주 들리는데 실상을 그렇지 않습니다.

1. 구글 TPU는 엔비디아의 대항마가 아니고 엔비디아 매출의 최대 10%를 대체한다는게 목표입니다(구글이 한말임). 엔비디아가 현재 시장의 90% 이상을 먹고 있으니 구글이 아무리 노력해도 엔비는 80%로밖에 안떨어지기에 단기간내에는 큰 경쟁자가 아닙니다.

2. AI 메인 개발 프레임웍은 CUDA이고 엔비디아 GPU에서만 작동.
  하지만 CUDA는 C++로 되어있고 사용하기가 좀 어려워 보통은 좀더 대중적인 고수준 프레임웍인 Pytorch, 텐서플로우 등을 이용해서 간접적으로 접근합니다. 
  - 이 중 Pytorch로 거의 일원화가 되어 있는데 Pytorch는 CUDA 네이티브가능해 성능 손해 거의 없음.
  - 구글TPU는 점유율 매우 적고 기능이 부족한 텐서플로우와 JAX/XLA 프레임웍을 사용해야만 해서 성능과 기능면에서 10~20% 손해를 안고 시작.

저 같아도 Pytorch와 CUDA를 쓰지 점유율로 작고 기능도 부족한 텐서플로우와 JAX/XNA로는 안하고 싶을듯 싶습니다.

3. 구글 TPU가 엔비디아보다 50%이상 가격이 싸다는 말도 있던데 사실과 다릅니다. 사실 엔비디아 장비가 다른회사 장비보다 훨씬 비싸지만 성능이 훨씬 좋다면 어느것을 살까요? 그래서 엔비디아 장비가 가성비 장비가 됩니다.
루머이지만 엔비디아 1대 성능을 구글TPU 3대 썼다는 말도 있습니다. 그만큼 엔비디아 장비가 아직 월등하다는 말이지요.

4. AI는 학습(훈련)과 추론 2가지 분야가 있는데 학습 단계는 고성능이 필요하며 학습데이터를 만든다음 그데이터를 이용해 소비자에게 서비스하는 추론이 있습니다. 추론은 학습만큼 고성능이 필요하지 않으며 그로 인해 전력도 휠씬 적게 먹습니다. TPU가 엔비디아의 1/10 ~ 1/15정도 된다고 호들갑 떠는데 현재도 추론은 학습의 1/10정도 전력밖에 안먹습니다.

5. 하지만 구글TPU가 요번에 충격을 줬던 이유는 기존에는 학습에는 무조건 엔비디아 장비로 해야 했는데 최근에는 TPU로도 학습을 했다는 것때문입니다. 하지만 TPU3개를 붙여 엔비디아 1대 성능을 냈다고 해도 어쨌든 해냈다는 것때문에 높은 평가를 받는 것입니다. 애초부터 TPU는 추론목적으로 개발된것인데 점점 업그레이드하여 학습쪽도 적용해보고 어 되네.. 라는 정도입니다.

6. 다른 회사에서도 구글 TPU를 쓴다는 것은 당장은 큰 효과를 없을 것입니다. 여전히 학습은 엔비디아로 할것이고 그나마 추론 분야에서도 구글업무에 특화된 TPU가 그 회사에서도 맞을지 확인해보는 단계가 필요하기 때문입니다. TPU는 구글에 특화된 업무(검색 등등)위주로 개발된 반도체(ASIC)이고 그 장비를 가지고 자기 회사 환경에 맞게 또 커스터마이징(nvlink, network등등)하는데 쉽지는 않을거 같습니다. AMD도 nvlink를 구현못해서 그동안 빌빌댔던거였습니다.
ASIC은 원래 특화된 분야에 맞게 개발하는 반도체입니다. 
하지만 장기적으로 엔비디아에 가격 협상 카드는 충분히 될것이고 테스트해보다가 잘 조정되면 호박이 넝쿨째 굴러 들어오는것이기에 충분히 시도해볼만 할것입니다. 

7. 사실 빅테크 회사들은 다 자체칩 개발중인데 굳이 구글 TPU를 왜 도입할려고 하는가 하면 엔비디아 이외의 자체칩 준비중인 회사들은 아직 업무 도입 완성도가 안되기에 과도기적으로 할려는 목적도 있습니다.

8. 앞으로 학습과 추론은 2:8 정도로 추론이 압도적으로 커질 예정이며 성능이 좀 떨어져도 되는 추론이다 보니 엔비디아와 경쟁할 분야는 거의 추론쪽입니다. 내년 이후에는 구글 TPU말고 다른 회사의 자체 AI칩들이 하나둘씩 나올것이고 그 때되면 제글을 기억해주세요.

엔비디아 주주지만 제가 억지로 엔비 감싼다고 뭐 효과가 있겠습니까. 다른분들께 보다 올바른 정보를 알려드리려 글을 쓰는것이지요.

게시글 이미지

댓글 (24)

  • B

    BBlu Lv.1

    25.11.29 · 211.♡.187.112

    엔당 5년넘었으면 아이스크림 하나만 .. 안되겠습니까
  • 디아미르 Lv.1

    25.11.29 · 121.♡.223.185

    손경제에서 나온 정보와 많은 부분이 동일한 시각이더군요.
    저도 tpu는 엔비디아와는 다른 쪽으로 이용될 것으로 생각합니다. ai에 없어선 안될 장비이지만 목표로 가는 방향이 다르니 당장은 서로 다른 영역을 우선적으로 개척할 것으로 보입니다.

    물론 tpu도 학습이 가능하다고 하니 이 영역에 도전은 하겠지만 아무래도 추론 서비스를 하는 시장을 먼저 점유하면서 점차 학습으로 갈 수도 있겠죠.
  • 런던쫄면

    런던쫄면 Lv.1

    25.11.29 · 112.♡.182.227

    그냥 챗지피티 보다 제미나이 답변이 더 좋아지는듯 해서 3.0 출시 이전에 구글 주식을 쬐금 사고, 그 은총을 받고 있는 중에.... 제미나이 조언으로는 ...원금 제외 구글에서 난 수익을 처분하고 AMD의 매수를 권하더군요.
  • 호롱불 Lv.1 → 런던쫄면 작성자

    25.11.30 · 59.♡.194.211

    AMD는 그동안 엔비디아의 nvlink(여러 gpu를 묶어 1개처럼 작동하는 기능)를 구현못해서 안 팔렸던 것입니다. 내년 하반기부터 나오는 MI400부터 팔리길 시작할 것이므로 결과가 나오는 2027년부터 주가가 본격적으로 오르지 않을까요?
  • 런던쫄면

    런던쫄면 Lv.1 → 호롱불

    25.11.30 · 112.♡.182.227

    주가는 기대감 등의 선반영이기에 시점이 맞다면, 주가는 이전부터 움직이겠죠. ai도 비슷한 얘기를 하더군요. 랙 단위로 묶음 이라던지... 심지어 쿠다 등도 변환? 변역? 호환? 이 가능해서.... 쉐워를 좀 많이 뺏을 거라고...
    뜬금 없이 amd를 강력하게 추천하기에... 뭐야? 이거 암드 영업사원이야? 라는 생각이 들 정도였죠.
    개인적으로 수익실현 없이 알파벳은 그대로 두고 있어요.
  • 아무개00

    아무개00 Lv.1 → 런던쫄면

    25.11.30 · 178.♡.142.161

    암드는 제 생각에도 확실히 저평가인것같긴한데 도통 모멘텀을 못받아서 선뜻 추천하기가 힘들더군요ㅎㅎ cpu/gpu 만드는 경력 보면 로드맵 자체는 괜찮은데 이것저것 자잘한 실패 아니 삽질이 쌓이고 R&D 비용도 비교적 훨씬 적게 투입되다보니 아무래도 과하게 저평가되는 경향이 있는것 같습니다.

    개인적인 의견으론 약간 파폭같은 이미지인데, 만년 2인자인게 천운이자 독인거같아요. 반독점법때문에 망할일은 없는데 그렇다고 1인자 제낄 여력은 없는.. 인텔이야 본인들이 몇년간 거하게 똥볼차서 이리되었다지만 엔비디아는 호락호락하지 않을겁니다.
  • 호롱불 Lv.1 → 아무개00 작성자

    25.11.30 · 59.♡.194.211

    AMD는 저평가가 아니고 제품 품질이 구져서 현재 평가가 맞습니다. 3가지 큰 원인
    1. 개별 AI제품 품질이 엔비디아보다 상당히 구리고
    2. 개별 제품을 묶어서 클러스터링(엔비디아의 nvlink, nvswitch)하는 것을 구현 못함.
    3. CUDA 호환 소프트웨어의 품질이 개구림. 전세계 개발자는 AMD장비라도 기존 버릇대로 CUDA방식으로 개발하기에
    완성후 AMD버전으로 번역해주어야 하는데 이 기능은 80%만 자동 번역해주고 나머지 20%는 개발자가 일일이 채워야 해서 엄청 힘들다고 함.

    하지만 MI400부터는 1번 충족, 2번은 외부회사 인수해서 구현, 3번은 완성도 목표 95% 라고 하니 2027년부터 모두가 기대하는 정상적인 품질 예상함.
  • 아무개00

    아무개00 Lv.1 → 호롱불

    25.11.30 · 178.♡.142.161

    오 translation layer가 비교적 최근까지 타당성이 꽤나 불투명했는데 80%면 많이 올라왔네요.. 구체적 수치는 처음 들어보는군요.

    그래서 말씀하신것들 개선해 openAI에 공급망 뚫고 그 주에 35% 올랐습니다ㅎㅎ 궁극적으론 openAI가 양쪽에 다 공급망을 트는 속셈처럼 보이지만요. 지금 샘 알트먼은 ROI가 너무 안나와서 똥줄타는중으로 보이는데 하드웨어 제조사들을 끼고 대마불사를 노리나봅니다.
  • 김냥구

    김냥구 Lv.1

    25.11.30 · 220.♡.216.12

    좋은 정보 감사드립니다.
  • 폭풍의눈

    폭풍의눈 Lv.1

    25.11.30 · 114.♡.200.108

    엔비디아도 있지만, 최근 구글 주식
    늘렸는데 TPU보단 제미나이나 나노바나나 보고 늘렸네요. 애플도 구글과 손잡았죠.

댓글을 작성하려면 이 필요합니다.