로그인
회원가입
정보찾기

자유게시판

노트북에 한번 local LLM을 설치해봤습니다.

알림
|
X
칼쓰뎅 119.♡.210.192
2024.11.04 16:38
1,005
11
2
쓰기

라즈베리파이에다가도 설치하는 케이스가 있다고 하더라구요?

그래서 노트북에도 해볼수있나? 싶어서 wsl2 깔고, open web-ui랑 ollama설치해봤습니다.


어... 되긴하는데요...어...

숨넘어가시는듯? ㅋㅋㅋㅋ

물론 노트북 사양이 많이 낮은편이긴하지만요. 

(라데온 5500u, 16기가메모리)

작은 모델 올렸는데도 한 단어 한단어 힘겹게 말씀하시네요.


그냥 chat gpt 무료버젼으로 하는게 속편한듯 합니다.

각종 문서들도 집어넣을수 있고요.

(open webui에서도 파일업로드 버튼이 있긴한데...저게 과연 동작할지 몰라서;;;)

회사내 보안관련 문제가 있고 고성능gpu가 달려있는 서버가 있다면...

뭐 간단히 사용하긴 괜찮을지도 모르겠습니다.

댓글 11 / 1 페이지
Kubernetics (211.♡.234.36)
11.04 16:41
할아버지에게 전력질주 시키신거랑 똑같은거 아닌가요..ㅎㅎ
칼쓰뎅 (119.♡.210.192)
11.04 16:46
@Kubernetics님에게 답글 철인3종급이었어요... ㄷㄷㄷ
Eothd (118.♡.15.168)
11.04 16:48
Local LLM 하려면 최신 cpu + 4090, 64GB 이상 정도가 필요합니다.
TheS (58.♡.128.91)
11.04 16:55
@Eothd님에게 답글 본문만 보고 저희집 10년 되가는 컴퓨터도 한 번? 했다가    댓글 보고 역시 무리겠구나! 하고 깨닳았습니다. ㅎㅎㅎ

엄청 도움되는 댓글이었습니다. ㅎㅎㅎ
칼쓰뎅 (119.♡.210.192)
11.04 17:07
@Eothd님에게 답글 램은 왜그리 많이 필요한가요? 어차피 4090의 vram에 종속적이지않나요?
타일러 (160.♡.37.56)
11.04 17:04
오우 어떻게 하셨는지 궁금하네요.
참고 사이트가 있으면 좀 알려주세요~, ^^
칼쓰뎅 (119.♡.210.192)
11.04 17:07
@타일러님에게 답글 https://med-tech.tistory.com/138 이거보고 했습니다.
요샌 도커 있어서 편하네요... 첨에 일일히 다 깔아보려고했다가 뭐 안되는게 많더라구요 ㅋ
타일러 (160.♡.37.56)
11.04 17:10
@칼쓰뎅님에게 답글 감사합니다.
보고 함 해봐야 겠어요, ^^.
LiNE (210.♡.102.188)
11.04 17:18
저도 한번 깔아서 해봤는데.. 다른 언어가 섞여서 나오고 안물어본 거에 대한 답도 갑자기 하고.. 그러더라고요 -_-;;
아.. 이건 아직 아닌가보다.. 하고 접었었네요.
칼쓰뎅 (119.♡.210.192)
11.04 17:28
@LiNE님에게 답글 모델따라 많이 다르지않을까요 ㅎㅎ
LiNE (222.♡.209.27)
11.04 21:38
@칼쓰뎅님에게 답글 Llama 3도 깔아보고.. 이거 베이스로 한국에서 트레이닝해서 공개한 모델도 받아서 돌려봤는데
다 해당 증상이 있더라구요. 뭘 잘못 설정한건지 모르겠지만요 -_-a
쓰기