중국 ai모델은 개인이 사용할수 없는쪽으로 가네요...ㅠ
칼
칼쓰뎅 (119.♡.210.192)
2025년 1월 18일 AM 12:52 · 수정됨(02:26)
조회 3,854 공감 0
파라미터를 대폭 늘리고, MoE 아키텍쳐로 가는게 좋다고 결정했나봅니다.
얼마전의 deepseek v3도 그런방식이더니 새롭게 나왔다는 minmax-text-o1도 그렇네요.
이거 뭐 모델 크기가 900GB정도 되는듯합니다.
아무리 양자화 해봤자 200GB수준....
GPU 2개로 소소하게 돌려보는 개인은 절대 못돌리죠 ㅎㅎ;;
뭐 나~~~중에 nvidia digits가 나와서 여러개를 클러스터링 하는게
가능해진다면 또 모르겠습니다만 ㅋ
댓글 (8)
-
AAKANAD
25.01.18 · 220.♡.202.211
- 칼
칼쓰뎅
→ AKANAD 작성자 25.01.18 · 119.♡.210.192
개당 3000달러... 근데 ram속도가 많이 느려서 상용서비스로는 좀 못할꺼 같기도하고요.
연구소나 기업 특정 부서 내부에서 개발용도로 적합해 보이긴해요. - A
AKANAD
→ 칼쓰뎅 25.01.18 · 220.♡.202.211
당연히 상용은 안되겠지요... 그 제품 타겟 자체가 학생이나 연구자용이니깐요. -
미미스트
25.01.18 · 49.♡.67.119
뭐에 쓰는데 메모리가 저리 높아지는걸까요..? - 칼
칼쓰뎅
→ 미스트 작성자 25.01.18 · 119.♡.210.192
그냥 모을수있는 파라미터 죄다 모으고 다른 ai 서버들의 대답도 모으고.... 해서 크게크게 만드는듯해요.
의외로 출력물의 성능도 괜찮고 학습에 들어가는 gpu도 적게 들어간다고 하더군요. -
HHTTR
25.01.18 · 222.♡.176.229
물량전의 중국답군요 -
Mmtrz
25.01.18 · 180.♡.14.183
그 동안은 성능 경쟁이었지만
이젠 알고리즘의 발전을 꾀해야 할 때가 아닌가 싶은데 말입니다.
뭔가 방향을 잘못 잡은 것은 아닐까 하는 생각을 해봅니다. -
MModelo
25.01.18 · 24.♡.48.122
아, 그 모델이 그 모델이죠..
Ai로 만든 그 모델인 줄 알고
어떻게 생긴 모델인가하고
약간 기대하고 클릭했습니다.
반성하겠습니다.
댓글을 작성하려면 이 필요합니다.
VRAM 128GB라고 했던 것 같은데 2개만 연결하면 어찌 될지도..