vram이 24GB이상인데 N당이 아닐경우 제가 추천하는 LLM입니다.
DINKIssTyle

Lv.1 DINKIssTyle (61.♡.73.102)

2025년 9월 9일 PM 01:46 · 수정됨(13:52)

조회 772 공감 0


품질도 괜찮고...

가장 큰 장점은 속도가 희안하게도 빠릅니다.

비슷한 파라미타의 비슷한 모델 사이즈랑 비교해도 이 녀석 한 6배 정도 빠릅니다.

심지어 라이젠7 AI360 모바일에서 내장 GPU만 쓸때도 10~20토큰/초 까지 나옵니다.

그럼으로 옆에 띄워놓고 보조적으로 쓰기 너무 좋습니다.

댓글 (5)

  • 별멍

    별멍 Lv.1

    25.09.09 · 211.♡.188.41

    이 정도 작업 하려면 vram 24GB가 필요하단 거죠?
    흐어~
  • DINKIssTyle

    DINKIssTyle Lv.1 → 별멍 작성자

    25.09.09 · 61.♡.73.102

    16GB로는 오프로드가 걸리고
    이 녀석을 올리려면 정확히는 최소 17GB 이상이 필요합니다.
  • Vkanaverse

    Vkanaverse Lv.1

    25.09.09 · 121.♡.238.170

    약간 배가 나오다녀 겁나 배가 나온으로 고쳐주세요.
  • 따끈따끈

    따끈따끈 Lv.1

    25.09.09 · 220.♡.238.46

    한동안 LM Studio 에 대한 관심이 식었는데, 다시 돌려봐야겠군요!?
  • 겜돌이

    겜돌이 Lv.1

    25.09.09 · 220.♡.200.33

    LM때문에 중국발 라이젠AI 컴터 사고 싶읍니다...아주 좋은 장난감ㅠ

댓글을 작성하려면 이 필요합니다.