중국 ai모델은 개인이 사용할수 없는쪽으로 가네요...ㅠ
알림
|
페이지 정보
작성일
2025.01.18 00:52
본문
파라미터를 대폭 늘리고, MoE 아키텍쳐로 가는게 좋다고 결정했나봅니다.
얼마전의 deepseek v3도 그런방식이더니 새롭게 나왔다는 minmax-text-o1도 그렇네요.
이거 뭐 모델 크기가 900GB정도 되는듯합니다.
아무리 양자화 해봤자 200GB수준....
GPU 2개로 소소하게 돌려보는 개인은 절대 못돌리죠 ㅎㅎ;;
뭐 나~~~중에 nvidia digits가 나와서 여러개를 클러스터링 하는게
가능해진다면 또 모르겠습니다만 ㅋ
댓글 8
/ 1 페이지
칼쓰뎅님의 댓글의 댓글
@AKANAD님에게 답글
개당 3000달러... 근데 ram속도가 많이 느려서 상용서비스로는 좀 못할꺼 같기도하고요.
연구소나 기업 특정 부서 내부에서 개발용도로 적합해 보이긴해요.
연구소나 기업 특정 부서 내부에서 개발용도로 적합해 보이긴해요.
AKANAD님의 댓글의 댓글
@칼쓰뎅님에게 답글
당연히 상용은 안되겠지요... 그 제품 타겟 자체가 학생이나 연구자용이니깐요.
칼쓰뎅님의 댓글의 댓글
@미스트님에게 답글
그냥 모을수있는 파라미터 죄다 모으고 다른 ai 서버들의 대답도 모으고.... 해서 크게크게 만드는듯해요.
의외로 출력물의 성능도 괜찮고 학습에 들어가는 gpu도 적게 들어간다고 하더군요.
의외로 출력물의 성능도 괜찮고 학습에 들어가는 gpu도 적게 들어간다고 하더군요.
mtrz님의 댓글
그 동안은 성능 경쟁이었지만
이젠 알고리즘의 발전을 꾀해야 할 때가 아닌가 싶은데 말입니다.
뭔가 방향을 잘못 잡은 것은 아닐까 하는 생각을 해봅니다.
이젠 알고리즘의 발전을 꾀해야 할 때가 아닌가 싶은데 말입니다.
뭔가 방향을 잘못 잡은 것은 아닐까 하는 생각을 해봅니다.
Modelo님의 댓글
아, 그 모델이 그 모델이죠..
Ai로 만든 그 모델인 줄 알고
어떻게 생긴 모델인가하고
약간 기대하고 클릭했습니다.
반성하겠습니다.
Ai로 만든 그 모델인 줄 알고
어떻게 생긴 모델인가하고
약간 기대하고 클릭했습니다.
반성하겠습니다.
AKANAD님의 댓글
VRAM 128GB라고 했던 것 같은데 2개만 연결하면 어찌 될지도..