사수자리 (182.♡.216.122)
2025년 2월 1일 PM 03:05 · 수정됨(19:45)
DEEP SEEK가 등장하고 엔비디아의 위기설이 나오고 있는데, 아직 AI 모델들의 학습이 CUDA 기반으로 이루어지고 있는 이상 아직은 괜찮을 것 같습니다.
엔비디아의 본격적인 위기는 구글의 TPU 같은 실행(inference) 전용 하드웨어들이 클라우드에 본격적으로 탑재되는 시점에 올 것 같습니다.
코인채굴 전용 HW처럼 AI 실행 전용 기기들이 속도나 전력 소모량에서 월등히 좋은 것으로 알려져 있어서, 현재 데이터센터를 채우고 있는 엔비디아의 GPU를 대체할 수 있다면 클라우드 서비스 제공자 측에서는 비용을 줄일 수 있는 좋은 방안이거든요.
그래서 구글은 이미 자사 TPU를 사용 중이고, 메타나 OpenAI 같은 곳도 자체 칩셋을 만들겠다고 하는 것이기도 합니다.
10년 넘게 GPGPU와 CUDA에 투자한 과실을 제대로 맛보고 있는 엔비디아가 다음 10년 동안에도 패권을 유지할 수 있을 지 흥미진진합니다.
댓글 (11)
-
Lluq.
25.02.01 · 218.♡.215.30
-
AASTERISK
25.02.01 · 221.♡.211.119
짐켈러의 RISCV도 기대해봐야죠 -
흑흑미
→ ASTERISK 25.02.01 · 218.♡.132.231
짐켈러 만드는 건 기대됩니다. - 뭉
뭉코건볼
25.02.01 · 118.♡.13.82
deepseek 관련해서 자세히 보지는 못했습니다만 기존의 ai 업계에서 모델 학습에 필요한 gpu양에 비하면 인퍼런스에 필요한 gpu는 훨씬 비율이 낮긴합니다. -
Llonelyworld
25.02.01 · 175.♡.42.13
문외한 이라서 잘모르지만
TPU도 나온지 거의 10년이고 클라우드서비스도 하는거 같은데 왜 계속 엔비디아인가요.
들어가는 돈이 천문학적이라서 단순히 익숙해서 엔비디아를 쓴다고 보긴 무리인거 같은데 이점이 별로 없을까요 -
까까만콤
→ lonelyworld 25.02.01 · 211.♡.28.147
현재 AI는 강인공지능 가기전까진 계속 모델을 연구하고 만들어야 하는데 만들어진 모델을 돌리는거야 전용칩을 만들기가 싶지만 새로운 모델을 만들고 학습하는데는 범용 GPU파워가 엄청나게 많이 듭니다.
현재 범용 AI 연산기중 가격대 퍼포먼스가 엔비디아를 넘는것도 없거니와 애초에 이런 병렬연산을 가능하도록 CUDA플랫폼을 만들어서 연구자들이 개발에 사용하게 해준 업체도 엔비디아가 유일합니다.
다른 기업들이 범용 AI연산 성능을 끌어올려도 엔비디아의 CUDA플랫폼을 전환시키기가 쉽지않은데 지금은 그마저 성능조차도 경쟁이 안되죠.
사실 그래서 강인공지능(혹은 초지능AI)가 등장하기 전까지 엔비디아의 AI연산기는 절대 수요가 줄어들일이 없습니다. -
달달짝지근
→ 까만콤 25.02.01 · 125.♡.218.23
제 생각에는 슈퍼인공지능이 나와도 기업과 국가간의 인공지능 성능 개선이 더더욱 절실해져서 CUDA와 GPU를 계속 쓰게 될지도 모르겠습니다
다른 업체에서 대체할 플랫폼을 만들고 이걸 마이그레이션 하거나 초인공지능이 자체적으로 칩을 설계하고 플랫폼도 개선시킬수 있는 시대가 된다면 모를까요 - D
Damasko
25.02.01 · 116.♡.79.70
https://youtu.be/AFY94abSVH4?si=tztfS2ZhXeGc1unV
이런 얘기도 있더군요 -
JJDinmySoul
25.02.01 · 175.♡.94.234
NVIDIA가 여전히 각광받는 이유는 압도적인 학습 성능때문에 그렇습니다. 언급하신 구글 TPU를 비롯해 빅테크 기업들이 자체 칩을 개발하고 있지만 초점은 학습이 아닌 추론에 맞춰져있죠. 그래서 오픈AI든 META든 자체 LLM 모델을 학습시켜서 발표하는 기업들은 여전히 NVIDIA GPU에 의존하고 있습니다. 당장 그들이 구매하는 NVIDIA 칩 수량만 봐도 뭐, 어마어마하거든요.
진짜 NVIDIA의 위기가 오려면 모델 학습에도 추론에 특화된 칩이 활용될 수 있을 만큼의 알고리즘 개선이 있어야하지 않을까 생각합니다. 사실 빅테크 기업들이 자체 칩 개발에 열을 올리는것도 NVIDIA 칩 구매 비용이 너무 많이 들어서인데 그들도 학습은 어쩔 수 없고 추론 비용이라도 줄여보고자 자체 칩을 개발하려는 것이거든요. 브로드컴도 그래서 주목받고 있고, 이 시장에 뛰어든 국내 스타트업들도 마찬가지입니다.
하지만 NVIDIA GPU로 추론을 못하냐? 그건 또 아닙니다. 단지 학습할 때 보다 더 적게 필요할 뿐이죠. 그래서 학습에는 B200같은 최신 칩을, 추론에는 H100이나 A100을 활용하면 됩니다. 문제는 A100, H100, B200 모두 구하기 힘들 정도로 수요가 많다는 거고요.
그래도 어찌됐든 NVIDIA 칩이 너무 비싼건 사실이기때문에 DeepSeek같은 새로운 모델들이 잘 돼서 학습 및 추론 비용을 줄여주면 좋겠습니다. 다른 빅테크 기업들도 이걸 고민하고 있을거예요. - 고
고구마6631
25.02.01 · 175.♡.141.147
이런 소란 자체가 결국 엔비디아에게 장기적으로 도움이 될거라고 봅니다만 또람뿌 때문에 주춤하는 걸로 보고있습죠. 소프트 웨어가 발달할 수록 새 하드웨어가 필요하다고 생각하는 1인입니다요.
댓글을 작성하려면 이 필요합니다.
그렇지 않은 곳은 아직은 엔비디아에 종속될 수 밖에 없는 구조 아닌가 싶습니다.
칩도 칩이지만 CUDA 때문에라도 벗어나기 힘든 거 아닌가 싶은...
오히려 딥시크가 저렴이로도 CUDA를 이용해서 만들 수 있다는 걸 보여준 셈이라
저변 확대가 이뤄지면 엔비디아 종속이 더 심해질 거 같기도 하고요.