https://damoang.net/tutorial/13604

사용기에 가보니 워크스테이션에서 설치해서 쓰고 있다고 해서 도전해봤습니다.

찾아보니 LM스튜디오라는 프로그램에서 여러 LLM을 편하게 설치해서 쓸 수 있더라구요.

제일 가벼운 1.5b 버전 설치해봤습니다.

제 PC사양은

i3-12100 (4core) / 16G / 라데온 RX580 (8G)

이정도 인데 자체 LLM이 돌아가는게 신기하네요.

가벼운 버전이라 그런지 한글로 질문하면 엉뚱한 대답이 많이 나오고 제대로 안됩니다.

번역기 옆에 띄우고 번역해서 영문으로 질문하면 나름 잘 나오네요.

속도는 확실히 느립니다.

질문을 3~4줄 정도로 복잡하게 하면 40초 있다가 뜨기도 합니다.

출력속도는 나쁘지 않은것 같구요.

논리적인 사고 같은것에 대한 답변은 빠르고 괜찮게 해주는것 같습니다.

수학적이나 다른것들은 시간이 좀 걸리네요. (1분 전후)

개인이 가볍게 쓰기에는 확실히 웹에서 쓰는게 빠릅니다.

전 호기심에 써봤는데, 어짜피 LLM도 가끔씩 쓰고 적극적으로 쓰진 않아 호기심으로 쓰기 괜찮습니다.

요즘에 게이밍 고사양 PC와 GPU를 많이 쓰는 분들은

좀 더 높은 모델로 괜찮은 속도의 개인화 LLM을 쓸 수 있으니 좋은것 같습니다.

이러다 좀 더 발전하면 웹검색용 말고는 개인PC에서 정보유출 걱정없이 마음껏 쓸 수 있겠네요.ㄷ