NVIDIA H100의 20배 성능 AI칩 등장!!
알림
|
페이지 정보
작성일
2024.08.29 23:59
본문
웨이퍼 하나를 통째로 S램을 박아서 AI칩을 만들었네요. 페타바이트 라는 속도도 그렇지만 전기 소모량이 흭기적으로 줄어 버립니다. 가격은 아마도 봄바르디어 자가용 비행기 한대값이면 될까요?? 설마 칩하나에 1억 달러는 아니겠죠???
- 게시물이 없습니다.
댓글 7
/ 1 페이지
LunaMaria님의 댓글
그래봐야 의미 없죠.
서버시장에서 인텔이 잘나가듯 (지금은 좀 줄었지만요)
서버시장에서 인텔이 잘나가듯 (지금은 좀 줄었지만요)
molla님의 댓글
뭐 세상에 정말 대부분의 것들은 장단점 이란 것들이 있습니다. 상대적으로 단점 없이 장점만 있다면, 기존 것을 흡수하기 마련이구요. 당연히 저런 방식에도 단점이 있는 것이기 마련인데 말이죠. 무슨 광고마냥 장점에 대해서만 주루룩 설명하고 끝내버리네요. : (
그냥 척 봐도 바로 떠오르는 건. 저렇게 만들면 대체 보드는 어떤 모양이 되는 것일까요? 칩이 저만한 사이즈면 보드는요? ;;;
게다가 그 칩을 냉각하기 위한 방법은요?
그리고 SRAM을 썼다고 하는데, SRAM이 비싼 이유는 작게 만들기 힘들기 때문입니다. 소자 크기부터 DRAM보다 몇 배는 커서 작게 밀집하기가 매우 어렵습니다. 그래서 저렇게 크게 만들어도 용량이 작습니다. 스펙을 찾아보니, 저만한 사이즈 전체로 해 봐야 memory size는 44GB 밖에 안 되네요. 속도가 아무리 빨라 봐야 메모리 크기가 작으면 큰 모델이 올라가질 않습니다. 결국 하나에서 다 처리하겠다는 목표가 메모리 크기에 발목잡힐 수 있단 소리지요. (H100은 HBM으로 DRAM을 여러 장 겹쳐 쌓은 덕분에 그 크기로 80GB 메모리를 제공합니다. 메모리 크기로는 비교가 안 되지요.)
거기에 좀 더 생각해 보면 아무리 불량률이 낮다고 해도, 그걸 웨이퍼 단위로 확장하면 말이 안 되죠. 결국 저런 격자 구조에서도 불량을 체크해 처리하는 로직이 들어갈 수 밖에 없다는 건데 말이죠.
다른 걸 다 떠나, 저 웨이퍼 단위로 동작한다면, 그 가격이 H100보다 싸게 나오는게 가능은 할까 싶네요. (설사 초반에 싸게 나올 수 있다고 쳐도, 원가에서 차이가 많을 수 밖에 없어 H100 쪽이 마진을 줄이면 당장 뒤집어질게 뻔한걸요.)
그냥 척 봐도 바로 떠오르는 건. 저렇게 만들면 대체 보드는 어떤 모양이 되는 것일까요? 칩이 저만한 사이즈면 보드는요? ;;;
게다가 그 칩을 냉각하기 위한 방법은요?
그리고 SRAM을 썼다고 하는데, SRAM이 비싼 이유는 작게 만들기 힘들기 때문입니다. 소자 크기부터 DRAM보다 몇 배는 커서 작게 밀집하기가 매우 어렵습니다. 그래서 저렇게 크게 만들어도 용량이 작습니다. 스펙을 찾아보니, 저만한 사이즈 전체로 해 봐야 memory size는 44GB 밖에 안 되네요. 속도가 아무리 빨라 봐야 메모리 크기가 작으면 큰 모델이 올라가질 않습니다. 결국 하나에서 다 처리하겠다는 목표가 메모리 크기에 발목잡힐 수 있단 소리지요. (H100은 HBM으로 DRAM을 여러 장 겹쳐 쌓은 덕분에 그 크기로 80GB 메모리를 제공합니다. 메모리 크기로는 비교가 안 되지요.)
거기에 좀 더 생각해 보면 아무리 불량률이 낮다고 해도, 그걸 웨이퍼 단위로 확장하면 말이 안 되죠. 결국 저런 격자 구조에서도 불량을 체크해 처리하는 로직이 들어갈 수 밖에 없다는 건데 말이죠.
다른 걸 다 떠나, 저 웨이퍼 단위로 동작한다면, 그 가격이 H100보다 싸게 나오는게 가능은 할까 싶네요. (설사 초반에 싸게 나올 수 있다고 쳐도, 원가에서 차이가 많을 수 밖에 없어 H100 쪽이 마진을 줄이면 당장 뒤집어질게 뻔한걸요.)
백에이커의숲님의 댓글
어떤 태스크 하나로는 이길 수 있겠죠. 근데 범용성에서는 성능이 아득히 떨어질겁니다. ㅋㅋ
에피네프린님의 댓글
저는 생각이 좀 다릅니다
일단 수율 문제는 아마 구조적으로 불량이 난 구역만 끄고 사용가능하게 만들었을듯 하고, 현재도 이미 만들어서 실사용 중이라 크게 문제는 안되는 수준일겁니다
그리고 범용성 문제는 더더욱 달라질겁니다. 사실 지금도 AI 모델들이 너무 크고 비용이 많이 나가서 작아지는 추세이고, 아직 뭐가 범용의 기준이냐 라고 할만큼 시장이 성숙 되지도 않았죠.
게다가 AI모델들의 디자인도 기존의 엔비디아 하드웨어에 밎춰서 만들어져 왔을거라, 저런식의 빠른처리가 가능한 하드웨어면 모델도 거기 맞춰서 디자인이 가능해져서 전혀 다른식의 접근이 가능해질겁니다.
저는 저게 성공가능성이 굉장히 크다고 봅니다
일단 수율 문제는 아마 구조적으로 불량이 난 구역만 끄고 사용가능하게 만들었을듯 하고, 현재도 이미 만들어서 실사용 중이라 크게 문제는 안되는 수준일겁니다
그리고 범용성 문제는 더더욱 달라질겁니다. 사실 지금도 AI 모델들이 너무 크고 비용이 많이 나가서 작아지는 추세이고, 아직 뭐가 범용의 기준이냐 라고 할만큼 시장이 성숙 되지도 않았죠.
게다가 AI모델들의 디자인도 기존의 엔비디아 하드웨어에 밎춰서 만들어져 왔을거라, 저런식의 빠른처리가 가능한 하드웨어면 모델도 거기 맞춰서 디자인이 가능해져서 전혀 다른식의 접근이 가능해질겁니다.
저는 저게 성공가능성이 굉장히 크다고 봅니다
FivePM님의 댓글
반도체 설계관련 일을 하는사람으로서 위 제품의 개념은 충격적이었습니다.
세상은 넓고, 난 우물안 개구리구나! SRAM을 MB가 아닌 GB로 때려넣을 생각을 하다니.
처음에는 말도 안되던 기술이 세월이 지나면 기본 기술이 되는걸 많이 봐왔는데, 이 기술은 앞으로 어떻게 진화될지 흥미롭네요.
세상은 넓고, 난 우물안 개구리구나! SRAM을 MB가 아닌 GB로 때려넣을 생각을 하다니.
처음에는 말도 안되던 기술이 세월이 지나면 기본 기술이 되는걸 많이 봐왔는데, 이 기술은 앞으로 어떻게 진화될지 흥미롭네요.
다시머리에꽃을님의 댓글
문제는 nvidia가 지금까지 구축해놓은 생태계 때문에 못넘어 가는거죠