macOS와 iOS에서 다양한 LLM을 로컬에서 쉽게 사용해보는 'Mollama'
D
DINKIssTyle (61.♡.73.102)
2025년 3월 5일 AM 07:53 · 수정됨(09:07)
조회 1,251 공감 0
https://apps.apple.com/kr/app/mollama/id6736948278?l=en-GB
설치 후 https://huggingface.co 에 올라와 있는 모델들을 선택해서 사용해볼 수 있습니다.
M4 Pro 에서 Meta-Llama-3-8B-Instruct-4bit 은 채팅하듯 빠릿빠릿하네요.
댓글 (8)
-
페페퍼로니피자
25.03.05 · 27.♡.242.71
몰라마! - D
DINKIssTyle
→ 페퍼로니피자 작성자 25.03.05 · 61.♡.73.102
그래서 저도 한국 개발자님이 만드신 줄 알았습니다;;; 몰람마(몰라임마)! -
테테디박
25.03.05 · 203.♡.8.219
혹시 메모리 용량은 어떻게 되시나요? - D
DINKIssTyle
→ 테디박 작성자 25.03.05 · 61.♡.73.102
64GB 입니다. M4 Pro 에서 Meta-Llama-3-8B-Instruct-4bit 로딩시 [https://s3.damoang.net/data/editor/2503/comment_1028737382_YVZDKypz_c308d4feb7c288e0f84b25cb3065205c581a9abe.webp] 사용하네요. -
엔엔알이일년만
25.03.05 · 211.♡.184.5
24기가로는 버겹겠군요 ㅎㅎ - D
DINKIssTyle
→ 엔알이일년만 작성자 25.03.05 · 61.♡.73.102
아이폰에서도 뉴럴칩 들어있음 3B는 돕니당! -
안안녕클리앙
25.03.05 · 203.♡.94.236
내용은 쓸만한가요? 자료의 정확성이라던가... 퍼플렉시티처럼 외부자료 인용을 해준다던가... - D
DINKIssTyle
→ 안녕클리앙 작성자 25.03.05 · 61.♡.73.102
내용은 그냥 장난감이죠 ㅎㅎㅎ
댓글을 작성하려면 이 필요합니다.