로컬 LLM 더 좋아졌네요.
셀빅아이

Lv.1 셀빅아이 (125.♡.200.218)

2025년 8월 19일 PM 07:25 · 수정됨(08. 20. 22:26)

조회 2,324 공감 0

몇달전 LM스튜디오로 이것저것 해보다, 제컴에서 느리고 흥미도 잃어서 안하고 있었는데요


간만에 들어가서

구글 젬마3 3n-e4b

qwen3-4b-씽킹2507

openai 20b

설치해서 테스트 해봤는데요, 예전보다 좋아졌습니다.


딥시크 나왔을 때 돌려보면 복잡하고, 엉뚱하게 답해줬는데, 세 모델 다 제대로 해주고

보기에 간결하고 이해하기 쉽게는 구글 젬마3네요.


i3-12100, RX580 8G에서도 그럭저럭 돌아가는거 보면 내년에는 훨씬 좋아질것 같습니다.


비디오램16G 짜리면 더 큰거 올릴 수 있어서 바꿔보고 싶긴 한데

엔비디아 가격은 사악하고, 인텔 A770은 가격사정권인데, 속도 느리다고 하고

이정도에서 만족해야 하나 싶습니다.

댓글 (9)

  • AppleAde

    AppleAde Lv.1

    25.08.19 · 118.♡.5.92

    phi4:14b 로 텍스트 분류하는데요. 파인튜닝 없이도 성능이 꽤 좋아요. 3090에서 신문기사 한 건 분류하는데 15초~20초 정도 걸리고요. 예전에 chatgpt 처음 나왔을 때랑 비슷한 감동을 느꼈습니다. ㅎㅎ)
  • 지켜줄게 Lv.1

    25.08.19 · 122.♡.196.158

    개인용으로 맥북 m3 max 메모리 64기가 씁니다만, 로컬 llm 돌리기엔 부족해서 m5 모델 나오면 최소 128기가 이상으로 바꿀 예정입니다. 이제는 로컬 llm 을 빠르게 돌릴 수 있는지가 성능의 척도가 될 거에요.
  • 홍천브람스

    홍천브람스 Lv.1

    25.08.19 · 112.♡.106.194

    엥? 저희집 3060이 Vram 12GB인데 20B짜리 못돌리던데 어케 돌리신검미까 ㅠㅠ
  • D

    damoim Lv.1 → 홍천브람스

    25.08.19 · 58.♡.240.254

    아마도 오프로딩 감안하고 ㅎㅎ 그냥 돌리신것 아닐까요~~~..
    저도 3060 12GB인데, 방금 ollama로 gpt-oss:20b pull해서 run해보니 느리게 답변이 나오긴
    하네요 ㅎㅎ
  • 칼쓰뎅

    칼쓰뎅 Lv.1 → 홍천브람스

    25.08.20 · 124.♡.49.145

    moe라서... cpu오프로딩해도 그럭저럭 될껄요? 실제 활성화는 1.5b일꺼에요.
    다만 메인메모리가 충분해야겠죠 ㅎㅎ;;
  • 셀빅아이

    셀빅아이 Lv.1 → 칼쓰뎅 작성자

    25.08.20 · 223.♡.78.55

    맞습니다. 메인 메모리는 32gb입니다.
  • 셀빅아이

    셀빅아이 Lv.1 → 홍천브람스 작성자

    25.08.20 · 223.♡.78.55

    openai껀 부분로딩 해서 돌렸습니다.
    그래도 예전 딥씨크보다 더 빠르네요.
  • 홍천브람스

    홍천브람스 Lv.1 → 셀빅아이

    25.08.20 · 39.♡.230.25

    부분로딩 이란것도 있나보네요~ 하나 배웁니다 ㅎㅎ
  • 셀빅아이

    셀빅아이 Lv.1 → 홍천브람스 작성자

    25.08.20 · 125.♡.200.218

    그냥 용량크면 gpu+메모리게 올려서 알아서 돌아갔습니다.
    저도 어려운 세팅은 이제 힘드네요. :)

댓글을 작성하려면 이 필요합니다.