혹시 M시리즈 맥북에 LLM 설치해서 사용하신 분 계시나요?
알림
|
페이지 정보
작성일
2024.12.18 09:10
본문
제 맥북에 여기저기 검색도 하고 cahtGPT에 질문도 하고 해서 LLM을 한번 설치해서 사용해보려 하는데 뜻하는데로 잘 되질 않네요.
혹시 속도 느린거야 감수한다치고 설치해서 어느 정도 에러 없이 사용중인 분들 계시면 설치 방법이나 스크립트 좀 구해볼수 있을까요?
댓글 4
/ 1 페이지
마루날님의 댓글
LM 스튜디오 사용하시면 됩니다. 사양에 따라 큰 모델은 돌아가지 않을 수 있는데요. 간단하게 해볼 수 있습니다.
Nesffer님의 댓글
18GB로는 어림도 없을 겁니다. 돌릴 수 있다고 해도 가능한 모델의 선택지가 너무 좁고 빈약해요.
헤에님의 댓글
ollama 설치하시고, 7~9B 모델 설치하시면 한 5GB 정도 메모리 점유할 겁니다.
30B 모델 같이 나름 큰 모델 아니면 사용에 별 문제없이 속도가 나옵니다.
70B 모델 정도가 40GB 정도 메모리 먹었던 거 같습니다.
쓸만한 답변을 받을려면 현실적으로 3B 이상은 되어야 하는 것 같습니다.
30B 모델 같이 나름 큰 모델 아니면 사용에 별 문제없이 속도가 나옵니다.
70B 모델 정도가 40GB 정도 메모리 먹었던 거 같습니다.
쓸만한 답변을 받을려면 현실적으로 3B 이상은 되어야 하는 것 같습니다.
마이너스아이님의 댓글
하게 되면 후기 꼭 올리겠습니다.