로컬LLM을 GPT에게 물어봤습니다.
분
분사구문 (175.♡.93.249)
2025년 6월 3일 PM 12:15 · 수정됨(13:04)
조회 856 공감 0
댓글 (7)
-
Ttb99
25.06.03 · 106.♡.11.31
- 분
분사구문
→ tb99 작성자
25.06.03 · 175.♡.93.249
오.. 정보 감사합니다.^^ -
쿠쿠키맨
25.06.03 · 112.♡.119.111
파라미터수가 크면 클수록 더 정확한 답변을 줄수 있는 가능성이 높습니다만..
gpu가 그 만큼을 버텨야 합니다.
또한 모델을 서빙하는 방식에 따라 성능이 조금씩 달라질 수 있으니 이 부분도 고려하셔야 합니다. - 분
분사구문
→ 쿠키맨 작성자
25.06.03 · 175.♡.93.249
고맙습니다.^^ -
AASTERISK
25.06.03 · 211.♡.81.222
근데 로컬llm 돌리는 장점이 있나요.
엥간한 gpu아니면 메모리때문에 파라미터 큰것도 못돌리고 그러다보니 속도나 품질도 그저 그렇고..
검열 안걸리는것도 아닌것 같고.. 이유가 있나요? - 분
분사구문
→ ASTERISK 작성자
25.06.03 · 175.♡.93.249
로컬은 첨으로 돌려보는지라... ^^; -
아아발론
→ ASTERISK
25.06.03 · 94.♡.33.195
개인 정보랑 대화가 서비스업체에 넘어가거나 학습데이터로 재사용되지않는 장점이있죠.
댓글을 작성하려면 이 필요합니다.

검색하다 보니 이런게 나옵니다 ㅎ