여기서 가공하는 것이
성능(돈)과 활용자의 능력이겟군요
잼민이에게 노트북 사양알려주고
제일 간단한 친구 알려줄래? 라고 하니
llama 3.1 8b를 알려줘서 LM studio 깔고 여기망에선 안받아져서 테더링으로 내려받고 마우스 두어번 클릭하니
GPU도 잡아주고 알아서 노트북 뿜뿜해주네요
GPU 8GB밖에 안되지만 램이 남으니
어찌 배분도 되니 생각보다 답변도 빠르고
신기하네요 말투가 좀 기계적이지만...ㅎㅎ
댓글 (8)
-
휘휘소
04.07 · 210.♡.27.154
-
솔솔고래
→ 휘소 작성자 04.07 · 223.♡.78.195
아직은 시작일뿐이지만 구글검색해서 여기 믿을만 하냐 이해가 안되네 할거 없이 스타트 라인에 바로 서니까 신기하네요 ㅋㅋ
-
DDINKIssTyle
04.07 · 61.♡.73.102
그렇게 런타임 하나 띄워 놓으시면 각종 툴에서 호출해서 쓰면 되는것입니다.
제 레포 중 https://github.com/DINKIssTyle/DINKIssTyle-Chrome-Extensions 추천드립니다. ㅋㅋㅋ
소개글 https://damoang.net/ai/1738 - 솔
솔고래
→ DINKIssTyle 작성자 04.07 · 223.♡.78.195
업무시간이 끝나서 노트북 두고 가는데 다음엔 집에 메고가서 다운받고 세팅할지도 모르겠네요 참고하겠습니다
-
남남극백곰
04.07 · 114.♡.188.135
돈 쓴 티가 나죠 고사양하드웨어 있으면 좋을거 같아요 무거운 모델 사용해 보고 싶어요
- 솔
솔고래
→ 남극백곰 작성자 04.07 · 223.♡.78.195
한계까지 올려서 써보고 싶어지긴 하네요
지금은 (잘모르지만) 이해했어네요 ㅎ
- 클
클라시커
04.07 · 175.♡.138.13
전 그저 Local LLM 돌리려면 ollama면 되는줄 알았는데,
그것도 느리다고 다른 프로그램으로 대체하는 흐름이 있다고 해서... 여정이 시작되었습니다 ㅎㅎ
- 솔
솔고래
→ 클라시커 작성자 04.07 · 223.♡.78.190
모델 두개쓰려는데 작은 vram 사이에서 싸우는거 같네요 느려도 램도 남는데 양보 점 하지라며 LLM 탐험이 시작되었습니다 ㅎㅎ
댓글을 작성하려면 이 필요합니다.
진짜 예전같으면 구글링해서 찾아들어가서 이게 맞나 아닌가 대조해보고 개고생하던걸
그냥 소스코드 짜주는거 쓰윽 복붙하고
안되면 따끔하게 호오오온 내주구요 ㅋㅋㅋ 그간 AI없이 어떻게 했나 싶습니다.