혹시 M시리즈 맥북에 LLM 설치해서 사용하신 분 계시나요?
일리케

Lv.1 일리케 (110.♡.47.99)

2024년 12월 18일 AM 09:10 · 수정됨(12. 19. 00:37)

조회 1,449 공감 0

제 맥북에 여기저기 검색도 하고 cahtGPT에 질문도 하고 해서 LLM을 한번 설치해서 사용해보려 하는데 뜻하는데로 잘 되질 않네요.

혹시 속도 느린거야 감수한다치고 설치해서 어느 정도 에러 없이 사용중인 분들 계시면 설치 방법이나 스크립트 좀 구해볼수 있을까요?



게시글 이미지

댓글 (4)

  • 마이너스아이

    마이너스아이 Lv.1

    24.12.18 · 183.♡.95.227

    제가 하려고 하는데 연말 일정이 너무 많아서 못하고 있습니다.
    하게 되면 후기 꼭 올리겠습니다.
  • 마루날

    마루날 Lv.1

    24.12.18 · 118.♡.5.173

    LM 스튜디오 사용하시면 됩니다. 사양에 따라 큰 모델은 돌아가지 않을 수 있는데요. 간단하게 해볼 수 있습니다.
  • Nesffer

    Nesffer Lv.1

    24.12.18 · 175.♡.85.8

    18GB로는 어림도 없을 겁니다. 돌릴 수 있다고 해도 가능한 모델의 선택지가 너무 좁고 빈약해요.
  • 헤에

    헤에 Lv.1

    24.12.19 · 211.♡.1.202

    ollama 설치하시고, 7~9B 모델 설치하시면 한 5GB 정도 메모리 점유할 겁니다.
    30B 모델 같이 나름 큰 모델 아니면 사용에 별 문제없이 속도가 나옵니다.
    70B 모델 정도가 40GB 정도 메모리 먹었던 거 같습니다.
    쓸만한 답변을 받을려면 현실적으로 3B 이상은 되어야 하는 것 같습니다.

댓글을 작성하려면 이 필요합니다.