vram 48gb 되시는 분들 ai model 추천.
칼
칼쓰뎅 (119.♡.210.192)
2025년 2월 21일 PM 02:20 · 수정됨(23:43)
조회 1,546 공감 0
https://huggingface.co/bartowski/UNIVA-Bllossom_DeepSeek-llama3.3-Bllossom-70B-GGUF
핫했던 r1 distill llama 3.3 70b 모델에다가 한국어 추가 학습 시킨거라고 합니다.
q4양자화 버젼인데 48gb에 올라가고요. 잠깐 써봤는데 응답에서 중국어가 딱히 나오진않는거 같네요.
코드도 잘짜주고요.
파라미터가 많아야 확실히... 아는게 많아서 대답을 잘해주는거 같더라구요.
근데 70b이다보니 토큰출력 속도는 좀 쳐지긴하네요 ㅎㅎ
qwen 2.5 32b짜리도 한국어 추가학습이 나오면 좋겠는데... 하시려나 모르겠군요 ㅋ
댓글 (9)
-
구구구탄별
25.02.21 · 119.♡.249.28
-
AAppleAde
25.02.21 · 155.♡.121.56
아아아아... 3090 두 개 달면 사용 가능하겠군요. -
셀셀빅아이
25.02.21 · 125.♡.200.218
20m 텍스트파일 분석해달라고 온라인 LLM에 문의해보니 너무 크다고 안되는걸 보니 유료로 가야 해서
로컬 deepseek 7b에서 분석해달라고 하니 하세월이네요.;
70b 짜리 원활하게 써보고 싶네요.
유튜브 보니 deepseek 추론+LG LLM 모델로 한글 답변하게끔 만들어서 한국어 답변 잘 나오게 만든것도 있네요. -
동동남아리
25.02.21 · 121.♡.238.123
제 4090이 24gb인데, 두 개 달아야되네요. - 분
분홍몸매
25.02.21 · 221.♡.206.102
저는 한국어 잘하던 mistral small 24b 모델을 딥씨크로 증류힌거 써볼려구요
얘는 중국어는 안나오지 않을까 합니다…
v3 모델증류라 추론이 앖네요 ㅜㅜ -
날날씨는어때
25.02.21 · 149.♡.254.10
아무리 파라메터수가 많아도 q4양자화는 실사용하기엔 좀 부정확하지 않나요?
그나저나.. 도대체 어떤 그래픽 카드를 갖고 계시길래 vram 이 48gb 를 넘는겁니까?
제가 알기론 RTX5090도 32 GB가 최대라고 들었는데 말이죵.. - 칼
칼쓰뎅
→ 날씨는어때 작성자 25.02.21 · 119.♡.210.192
4090 3090 2개 쓰고 있습니다.
대형모델들은 대부분 q4급정도는 무난하게 사용하기 괜찮습니다.
소형일수록 양자화 많이 하면 좀 이상하게 나오고요. -
일일리케
25.02.21 · 118.♡.13.200
24g 두개 붙이면 할수 있김 할까요? ㅋㅋ
chatgpt는 절대 24기가 두개로 48기가 짜리 못 돌린다고만 대답하던데 말입니다 ㅋㅋㅋ -
테테오드릭
25.02.21 · 180.♡.4.131
RTX A6000 이 48GB이긴 하네요..
댓글을 작성하려면 이 필요합니다.
m1 32기가로는 ㅜ