MBP M4 pro에서 로컬 LLM 돌릴 때 어떤(?) 가요?
페이지 정보
작성자
멤피스
멤피스
작성일
2025.04.13 19:31
본문
사용해 본게 서버에 실장된 GPU뿐이라 맥은 어떤 지 궁금합니다. 어떤 글을 보면 과도한 모델을 돌리는 경우 시스템 앱들이 사용할 메모리도 많이 사용하다 보니 사용자가 체감할 만큼 시스템 사용에 영향을 준다고도 하고 overheating 된다는 말도 있고 , 이륙한다는 말도 있고.
생각하는 게 48GB 면 더 큰 모델(70b는 아니고 32b 정도)를 사용할 수 있으면 좋겠지만, 사용할 때 GPU 등을 최대한 사용할 거라 위에서 궁금했던 것 같이 시스템이 몹시 힘들어하면 실제 사용하기는 힘들거나 부담스럽지 않을까 하는 생각이 드네요
혹시 맥북프로로 local LLM 자주(?) 사용하시는 분 계시면 후기 좀 공유해주시면 감사하겠습니다. 유튜브, reddit 등 찾아보는데 은근(?) 제가 궁금한 사용기가 별로 안 보이네요.
0명
추천인 목록보기
댓글 5
/ 1 페이지
시골길농부님의 댓글
작성자
시골길농부
시골길농부
작성일
04.14 07:00
맥북프로 M4 Max에서 Gemma 27b열심히 가지고 놀고있습니다. 가끔 이륙하는 소리 좀 들리긴 하는데, 무난하게 잘 돌아갑니다~ 프롬프트 주고, 답 다 받고나면 팬 소리는 곧 잠잠해지네요.
시골길농부님의 댓글의 댓글
작성일
04.14 08:41
@지켜줄게님에게 답글
간단하게 한줄 프롬프트 던져줬더니, 아래와같이 나오네요~
16.01 tok/sec
787 tokens
16.01 tok/sec
787 tokens
junja91님의 댓글