칼쓰뎅 (119.♡.210.192)
2024년 11월 4일 PM 04:38 · 수정됨(21:38)
라즈베리파이에다가도 설치하는 케이스가 있다고 하더라구요?
그래서 노트북에도 해볼수있나? 싶어서 wsl2 깔고, open web-ui랑 ollama설치해봤습니다.
어... 되긴하는데요...어...
숨넘어가시는듯? ㅋㅋㅋㅋ
물론 노트북 사양이 많이 낮은편이긴하지만요.
(라데온 5500u, 16기가메모리)
작은 모델 올렸는데도 한 단어 한단어 힘겹게 말씀하시네요.
그냥 chat gpt 무료버젼으로 하는게 속편한듯 합니다.
각종 문서들도 집어넣을수 있고요.
(open webui에서도 파일업로드 버튼이 있긴한데...저게 과연 동작할지 몰라서;;;)
회사내 보안관련 문제가 있고 고성능gpu가 달려있는 서버가 있다면...
뭐 간단히 사용하긴 괜찮을지도 모르겠습니다.
댓글 (11)
-
KKubernetics
24.11.04 · 211.♡.234.36
할아버지에게 전력질주 시키신거랑 똑같은거 아닌가요..ㅎㅎ - 칼
칼쓰뎅
→ Kubernetics 작성자 24.11.04 · 119.♡.210.192
철인3종급이었어요... ㄷㄷㄷ -
EEothd
24.11.04 · 118.♡.15.168
Local LLM 하려면 최신 cpu + 4090, 64GB 이상 정도가 필요합니다. -
냉냉동실발굴단
→ Eothd 24.11.04 · 58.♡.128.91
본문만 보고 저희집 10년 되가는 컴퓨터도 한 번? 했다가 댓글 보고 역시 무리겠구나! 하고 깨닳았습니다. ㅎㅎㅎ
엄청 도움되는 댓글이었습니다. ㅎㅎㅎ - 칼
칼쓰뎅
→ Eothd 작성자 24.11.04 · 119.♡.210.192
램은 왜그리 많이 필요한가요? 어차피 4090의 vram에 종속적이지않나요? -
타타일러
24.11.04 · 160.♡.37.56
오우 어떻게 하셨는지 궁금하네요.
참고 사이트가 있으면 좀 알려주세요~, ^^ - 칼
칼쓰뎅
→ 타일러 작성자 24.11.04 · 119.♡.210.192
https://med-tech.tistory.com/138 이거보고 했습니다.
요샌 도커 있어서 편하네요... 첨에 일일히 다 깔아보려고했다가 뭐 안되는게 많더라구요 ㅋ - 타
타일러
→ 칼쓰뎅 24.11.04 · 160.♡.37.56
감사합니다.
보고 함 해봐야 겠어요, ^^. -
LLiNE
24.11.04 · 210.♡.102.188
저도 한번 깔아서 해봤는데.. 다른 언어가 섞여서 나오고 안물어본 거에 대한 답도 갑자기 하고.. 그러더라고요 -_-;;
아.. 이건 아직 아닌가보다.. 하고 접었었네요. - 칼
칼쓰뎅
→ LiNE 작성자 24.11.04 · 119.♡.210.192
모델따라 많이 다르지않을까요 ㅎㅎ
댓글을 작성하려면 이 필요합니다.