m4 max는 진짜 ai용 머신되겠네요 ㄷㄷㄷ
칼
칼쓰뎅 (119.♡.210.192)
2024년 11월 23일 PM 11:43 · 수정됨(11. 24. 12:02)
조회 2,908 공감 0
현재 ddr5는 100GB/s 근처고요 (듀얼채널 기준)
4090 gpu는 1TB/s 라고합니다.
모델 돌려보면 ddr메모리에 올라가면 초당 한 단어씩 나옵니다.
4090에 올라가면 휘리릭 빠르고요.
m4 pro가 273GB/s 이라길래 '그래봤자... 1초에 3단어 정돈데?'싶었는데요.
m4 max는 546GB/s이라네요? (2개붙였으니까...)
그름 4090 절반이라는 얘긴데 ㄷㄷㄷ
거기에 미니멈 48GB, 맥시멈 128GB 메모리...
공개된 모델들은 죄다 올라갈수있을듯요.
그리고 속도도 실사용하기 적합한 수준이 되겠네요.
(물론 가격은...많이 비싸겠지요 ㅋ)
댓글 (8)
-
건건강한전립선
24.11.23 · 118.♡.236.75
맥에서 게임 돌아가게 해주세요 ㅠ.ㅠㅋ - 칼
칼쓰뎅
→ 건강한전립선 작성자 24.11.24 · 119.♡.210.192
chatgpt도 그건 좀 힘들다고 대답할듯 합니다 ㅋㅋ -
MMDBK
→ 건강한전립선 24.11.24 · 59.♡.19.130
max풀옵급은 크로스오버로도 대충 돌릴수 있습니다. 4090급은 아니래도 4070급 성능은 뽑아주는거 같더라고요.
그런데 7백만원.... - M
MDBK
24.11.24 · 59.♡.19.130
저도 그래서 4090팔고 넘어가고 싶은데..... 7백만원..... 비쌉니다... -
백백에이커의숲
24.11.24 · 221.♡.79.183
단순히 대역폭만으로 추측하긴 어렵죠. Gpu처리속도도 보긴해야하는데… cuda코어 속도를 과연 얼마나 따라잡을지는 모르겠네요 ㅎㅎ - 칼
칼쓰뎅
→ 백에이커의숲 작성자 24.11.24 · 119.♡.210.192
의외로 추론쪽은 gpu속도에 따른 아주큰차이가 없다고하더라구요. -
원원아리
24.11.24 · 119.♡.94.250
추론 자체는 GPU 성능보다는 메모리 속도가 핵심이니까... 현재 단일 제품으로 서버급 100B LLM을 오프라인으로 돌릴 수 있는 유일한 제품... ㄷㄷㄷ - 칼
칼쓰뎅
→ 원아리 작성자 24.11.24 · 119.♡.210.192
검색해보니 4070ti보다 대역폭이 더 높네요 ㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷ
진짜 실사용 쌉가능이겠습니다.
댓글을 작성하려면 이 필요합니다.