셀빅아이 (125.♡.200.218)
2025년 8월 19일 PM 07:25 · 수정됨(08. 20. 22:26)
몇달전 LM스튜디오로 이것저것 해보다, 제컴에서 느리고 흥미도 잃어서 안하고 있었는데요
간만에 들어가서
구글 젬마3 3n-e4b
qwen3-4b-씽킹2507
openai 20b
설치해서 테스트 해봤는데요, 예전보다 좋아졌습니다.
딥시크 나왔을 때 돌려보면 복잡하고, 엉뚱하게 답해줬는데, 세 모델 다 제대로 해주고
보기에 간결하고 이해하기 쉽게는 구글 젬마3네요.
i3-12100, RX580 8G에서도 그럭저럭 돌아가는거 보면 내년에는 훨씬 좋아질것 같습니다.
비디오램16G 짜리면 더 큰거 올릴 수 있어서 바꿔보고 싶긴 한데
엔비디아 가격은 사악하고, 인텔 A770은 가격사정권인데, 속도 느리다고 하고
이정도에서 만족해야 하나 싶습니다.
댓글 (9)
-
AAppleAde
25.08.19 · 118.♡.5.92
phi4:14b 로 텍스트 분류하는데요. 파인튜닝 없이도 성능이 꽤 좋아요. 3090에서 신문기사 한 건 분류하는데 15초~20초 정도 걸리고요. 예전에 chatgpt 처음 나왔을 때랑 비슷한 감동을 느꼈습니다. ㅎㅎ) - 지
지켜줄게
25.08.19 · 122.♡.196.158
개인용으로 맥북 m3 max 메모리 64기가 씁니다만, 로컬 llm 돌리기엔 부족해서 m5 모델 나오면 최소 128기가 이상으로 바꿀 예정입니다. 이제는 로컬 llm 을 빠르게 돌릴 수 있는지가 성능의 척도가 될 거에요. -
홍홍천브람스
25.08.19 · 112.♡.106.194
엥? 저희집 3060이 Vram 12GB인데 20B짜리 못돌리던데 어케 돌리신검미까 ㅠㅠ - D
damoim
→ 홍천브람스
25.08.19 · 58.♡.240.254
아마도 오프로딩 감안하고 ㅎㅎ 그냥 돌리신것 아닐까요~~~..
저도 3060 12GB인데, 방금 ollama로 gpt-oss:20b pull해서 run해보니 느리게 답변이 나오긴
하네요 ㅎㅎ -
칼칼쓰뎅
→ 홍천브람스
25.08.20 · 124.♡.49.145
moe라서... cpu오프로딩해도 그럭저럭 될껄요? 실제 활성화는 1.5b일꺼에요.
다만 메인메모리가 충분해야겠죠 ㅎㅎ;; -
셀셀빅아이
→ 칼쓰뎅 작성자
25.08.20 · 223.♡.78.55
맞습니다. 메인 메모리는 32gb입니다. -
셀셀빅아이
→ 홍천브람스 작성자
25.08.20 · 223.♡.78.55
openai껀 부분로딩 해서 돌렸습니다.
그래도 예전 딥씨크보다 더 빠르네요. -
홍홍천브람스
→ 셀빅아이
25.08.20 · 39.♡.230.25
부분로딩 이란것도 있나보네요~ 하나 배웁니다 ㅎㅎ -
셀셀빅아이
→ 홍천브람스 작성자
25.08.20 · 125.♡.200.218
그냥 용량크면 gpu+메모리게 올려서 알아서 돌아갔습니다.
저도 어려운 세팅은 이제 힘드네요. :)
댓글을 작성하려면 이 필요합니다.