멤피스 (222.♡.254.207)
2026년 4월 4일 PM 05:18
8년만에 맥을 새로 사려는데 local llm에 대한 미련(?)을 버리지 못해 오늘도 고민 중이네요. 혹시 m5 pro 48GB에서 적당한 수준의 local llm을 사용하시는 분 안 계신가요?
적당한(?)이라는 모호한 말이 문제인데 제가 기대하는 건 흔히 local llm이 갖는 보안 문제 없이 obsidian에 적은 제 note 들을 수정하는 정도이고(아직은) SOTA 모델 수준을 생각하는 것은 절대 아닙니다. 그래도 20-30GB 정도의 모델은 사용해야 그래도 쓸만할 듯 해서 48GB를 생각하는데 만약 local llm이 팬을 미친듯이 돌리거나 온도가 많이 올라가면 포기하는 게 나을 듯 하고 그럴거면 아예 MBA 15인치 24GB로 가는 게 맞는 게 아닌가 하는 생각이 드네요
대부분 검색하면 Max 기준으로 벤치마크를 하는 게 많아서 감이 안 옵니다. 8년된 녀석 이제 좀 쉬게 해줘야 하는데 팔랑귀와 선택장래를 가진 주인덕에 오늘도 고생하고 있네요
댓글 (22)
-
감감사드립니다
04.04 · 104.♡.67.248
- 멤
멤피스
→ 감사드립니다 작성자 04.04 · 222.♡.254.207
같은 고민을 하는 분을 만나서 너무 반갑네요.
30B 모델을 사용하기 위해 64GB를 사야한다면 전 그냥 포기해야겠습니다. 차라리 그냥 MBA 15인치로 갈까 심각하게 고민되네요. 매장에서 둘을 비교하니 화면 크기가 꽤 차이나네요.
어차피 집에서도 대부분 외장모니터를 연결할거라 120hz도 소용이 없고(모니터도 장수 중이라) 카페에서 볼 때는 15인치가 실용성이 높을 듯 하구요
가격도 거의 두배고
-
Hhotsync
04.04 · 59.♡.125.32
제가 활용을 못하는 건지, llama 3.3 70b를 설치했는데 영 쓸모가 없네요. 폴더에 있는 자료를 넣으려고 하니 펜이 미친듯이 돌고 몇 시간 걸리고요. (천 개가 넘는 파일을 넣긴 했습니다만)
- 멤
멤피스
→ hotsync 작성자 04.04 · 222.♡.254.207
팬이 :-(
자료를 넣는다는게 혹시 어떤 작업을 시키셨나요? Ollama 같은 챗 인터페이스에서 파일을 첨부시키셨나요? 혹시 pdf 파일 인가요
- H
hotsync
→ 멤피스 04.13 · 104.♡.68.22
특정 주제에 대한 자료 파일이에요. Anything LLM에서 워크 스페이스 만들면서 문서 파일 다 때려넣고 질문 던지면서 결과물 좀 뽑아보려고 했더니 몇 시간 동안 펜만 미친듯이 돌고 정작 분석해서 자료로 등록 되는 건 몇 개 되지도 않고 질문을 던져보니 답이 거의 하나마나한 수준이네요.
- 멤
멤피스
→ hotsync 작성자 04.13 · 223.♡.51.183
Local llm에는 무리한 작업인 듯 합니다. Gemini 에게 요즘 핫한 llm wiki 에 대해 물으니 markdown 파일도 5개 정도씩 배치로 처리하라고 하네요
- H
hotsync
→ 멤피스 04.13 · 59.♡.125.32
그런가봐요. 클로드에게 물어보니 m1 스튜디오 울트라면 수 천 개 파일을 던져놔도 금방 처리한다고 전혀 무리가 없고 성능이 차고 넘친다고 해서 해봤는데, 다른 의미로 차고 넘치네요. ㅎ
- 멤
멤피스
→ hotsync 작성자 04.13 · 223.♡.51.51
너무 힘들게 하면 눈 앞에서 발열에 팬이 돌아갈거라 쉬엄쉬엄 일 시키지 않으면 비명 지를 것 같아요
-
마마이너스아이
04.05 · 61.♡.139.51
M4 Max 128 기가 사용하고 있습니다.
LM Studio, Ollama 쓰고 있는데
Qwen3 Coder, Gemma 4 26B 쓰고 있는데요
Qwen3 Coder 는 나름 쾌적하게 쓰고 있으나 Gemma 4 는 팬이 팍팍 돌아 갑니다. 조용한 공간에서 쓰기에는 많이 거슬립니다.
- 멤
멤피스
→ 마이너스아이 작성자 04.05 · 222.♡.254.207
26B도 팬이 팍팍 돌아가나요 :-(
댓글을 작성하려면 이 필요합니다.
사실 저도 이것 때문에 고민입니다. M5 pro로 로컬 LLM 돌리려고 하니, 70b 규모의 LLM은 속도 저하를 고려하라고 하더군요. 알아보는 중에 같은 관심사의 글을 보니 반갑네요 ^^
AI 돌려보고, 자료 찾아보시면 아시겠지만 아마 M5 pro로는 64기가 이상 가셔야 30b 규모로 돌리시는 게 원활하지 않나 싶습니다. Qwen 많이 추천하더군요. LM studio를 통해서 입문하라고들 하고요. 이 분야는 향후 지속적으로 발전할 것 같고요, 애플의 계획대로 된다면, 70b 이상 규모의 LLM을 개인 컴에서 돌리는 영역이 점차 넓어질 수 있습니다. 물론 시간은 많이 걸리겠죠. 애플이 타사에 비해 웹기반 AI 경쟁에서 뒤쳐져 있어서, 하드웨어 측면에서 개인에게 (그것도 비싼 가격에) 제공하고, 개인 정보보호 차원의 로컬 LLM 사용 영역으로 밀고 있는 것 같아요. 지금은 뭐 채찍피티나 클로드, 제이나이 같은 것들을 많이 쓰지만, 향후 로컬 LLM이 현재 웹기반 AI 수준으로 많이 올라오고, 개인 보안이 더욱 중요시 된다면 로컬 LLM으로도 사용자 범위도 확장되겠죠...제가 아는게 맞다면 현재 70b 수준의 llm은 chatGPT 4.0 수준까지 올라왔다는 이야기를 들었는데, 실제 체험해보지 못해서 맞는 이야긴지는 잘 모르겠어요. 이 분야는 MAX GPU 40개짜리로 가시면 그나마 향후 2년은 쓸만할 것 같아요. 기술 발전이 워낙 빨라서요...