DINKIssTyle (14.♡.7.140)
2025년 3월 17일 PM 08:53 · 수정됨(03. 25. 23:37)
* 이 글은 자유게시판에서 복사해온 글입니다.
누구나 경험해볼 실 수 있도록 초초초초초보를 위한 가이드입니다.
https://lmstudio.ai/ 에 들어가셔서
다운로드 받아 응용프로그램 폴더에 넣어주세요.
응용프로그램을 처음 실행하면 기본 LLM 모델을 설치하려고 하는데 설치하셔도 되고 안하셔도 됩니다.
만약 기본 LLM 모델 설치를 건너 뛰신 경우에는 맨 마지막 설명을 참고하세요.
*기본 LLM 설치를 건너뛰신 경우 최소한의 런타임도 설치되어 있지 않습니다.
따라서 모델 검색도 안됩니다. 이렇게 런타임을 설치해주세요~
제가 사용하면서 느낀 점은..
M4 Pro 64GB에서 12b는 날라다닙니다. ChatGPT 쾌적할 때보다 더 쾌적한거 같아요.
27b도 ChatGPT 만큼 토큰 속도가 나오기는 하는데..
답변이 길어질 수록 CPU+GPU 발열이 풀로드 상태가 됩니다.
M1 16GB에서는 12b도 사실 다른 고사양 작업들과 함께하면 화딱지가 나실 수도 있습니다.
댓글 (7)
-
EEcridor
25.03.17 · 78.♡.158.196
lmstudio가 개인용으로만 무료라고 하는데, 업무용으로는 얼마인지 나와있지 않네요. 오픈 소스로만 한다면 ollama + open webui 도 쓸만한 것 같아요. - 슬
슬립워커
25.03.21 · 59.♡.178.209
제가 잘 몰라서 그러는데요, 로컬로 설치하면 온라인 서비스에 비해 좋은 점이 어떤게 있을까요? -
KKHoon
→ 슬립워커
25.03.21 · 106.♡.199.188
보안이나 개인 커스텀에 대한 장점이 있지 않을까요? -
DDINKIssTyle
→ 슬립워커 작성자
25.03.21 · 61.♡.73.102
오프라인 또는 내부망에서도 사용가능 민감한 자료를 내부에서 처리, 온라인 의존도 없음, 신뢰성 유지 등등 입니다. chatgpt의 경우 서버 몰리면 응답 온도가 내려가나 보더라구요. - 절
절대운명
→ 슬립워커
25.03.25 · 119.♡.153.79
회사에서 온라인 쓰지말라고 합니다. 회사 문서 요약기능 같은거 쓰다 온라인 수집 노출된다구요.. - 소
소리탐정
25.03.22 · 106.♡.69.50
이런거 보면 다다익램인데..
18기가 한게 아쉽네요 -
DDINKIssTyle
작성자
25.03.22 · 14.♡.7.140
https://huggingface.co/collections/mlx-community/gemma-3-67d14a10480a436ad478b0f9
MLX로 된 Gemma 3 모델들이 올라왔습니다. 모델에 들어가신 다음에 Use this model 누르시고 LM Studio 를 선택하시면 됩니다. [https://damoang.net/data/editor/2503/comment_238225292_yj3ozeIK_617b0d14f7e7bc4d33fc19b347f5c6f06d69f066.webp]
댓글을 작성하려면 이 필요합니다.