11

추가 메뉴

AD
다모앙 마을 만들기 ♡ 다모앙 후원하기
♡ 후원하기 · 벽돌한장 · 광고 제거
gemma 3 12B 설치해봤읍니다... (라이젠9950X/RTX4080)
아이리어펠

Lv.1 아이리어펠 (210.♡.187.170)

2025년 3월 17일 PM 07:26 · 수정됨(20:01)

조회 924 공감 0

생각보다 빠르네요? ㄷㄷㄷㄷ

GPU 메모리 용량이 16GB밖에 안되서 좀 작은 모델을 설치해봐야 하나 했는데

생각보다 원활하게 돌아가주네요 ㄷㄷㄷㄷㄷ

좀 더 굴려보고 27B도 한번 해봐야겠습니다 ㄷㄷㄷㄷㄷ


게시글 이미지

첨부파일

nb.jpg 203.7 KB

댓글 (8)

  • MDBK

    MDBK Lv.1

    25.03.17 · 172.♡.52.225

    27도 4비트 정도면 돌아갈듯합니다
  • 아이리어펠

    아이리어펠 Lv.1 → MDBK 작성자

    25.03.17 · 210.♡.187.170

    바로 27B 받고있습니다 ㄷㄷㄷㄷㄷ
  • DINKIssTyle

    DINKIssTyle Lv.1 → 아이리어펠

    25.03.17 · 14.♡.7.140

    맥에서는 gemma-3-27b-it-GGUF/gemma-3-27b-it-Q4_K_M.gguf 19GB 정도 올리더라구요.
    그나저나 토큰 속도가 매우 빠르네요 ㄷㄷ
  • 아이리어펠

    아이리어펠 Lv.1 → DINKIssTyle 작성자

    25.03.17 · 210.♡.187.170

    다 GPU빨로만 돌아가는건 아닌가봅니다 ㄷㄷㄷㄷㄷ
  • MDBK

    MDBK Lv.1 → DINKIssTyle

    25.03.17 · 172.♡.252.26

    오우 19기가면 안되겠네요. 대충 15기가 나오는줄 알았는데 컷네요
  • 911카브리올레

    911카브리올레 Lv.1

    25.03.17 · 168.♡.249.81

    AI를 피씨에 설치할수 있는건가요?
  • 아이리어펠

    아이리어펠 Lv.1 → 911카브리올레 작성자

    25.03.17 · 210.♡.187.170

    넹 ㄷㄷㄷㄷ https://lmstudio.ai/ 여기서 받으시면 됩니다 ㄷㄷㄷㄷ 여러 LLM 선택적으로 설치가 가능해요
  • 911카브리올레

    911카브리올레 Lv.1 → 아이리어펠

    25.03.17 · 168.♡.249.81

    감사합니다! 들여다보겠습니다. 그런데 CPU와 그래픽 카드를 언급하신 것보니 스팩을 타나보네요!

댓글을 작성하려면 이 필요합니다.