AI 오프라인 LLM 모델 엄청나게 신기하네요 ㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷ
배
배불뚝이아저씨 (222.♡.55.158)
2025년 9월 20일 PM 09:29 · 수정됨(22:39)
조회 1,849 공감 0
아니 모델링 구현 파일이 겨우 5기가 밖에 안하는데
인터넷 연결 전혀 없이 오만가지 질문과 정보를 다 알려주네요...예를 들면 감기약의 종류를 알려줘 했는데 다 튀어나오네요..ㄷㄷㄷㄷㄷㄷㄷㄷㄷ
인터넷이 연결이 안됐는데도 학습된 초고압축 5기가 모델링 파일에서 이런 방대한 정보가 툭툭 튀어나올수 있는게 너무 신기합니다...ㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷ
댓글 (9)
-
피피키대디
25.09.20 · 110.♡.193.165
옷! 어디서 정보를 얻을 수 있을까요? -
아아름다운별
→ 피키대디 25.09.20 · 118.♡.82.86
LM Studio 라는 것이 입문용으로 많이 권장되긴 합니다.
https://lmstudio.ai/ - 피
피키대디
→ 아름다운별 25.09.20 · 110.♡.193.165
감사합니다!
뒤늦게 따라가는데 정말 알아야 할 게 많네요!! 🙄 -
팟팟타이
25.09.20 · 61.♡.163.111
{emo:damoang-meme-034.gif:150}
오프라인 맞죠? ㅎㅎ....맞는거죠? -
DDINKIssTyle
25.09.20 · 175.♡.35.249
압축이라기 보다는 양자화를 통해 짤라버린 것 입니다. 짤라서 없는 거 구라쳐서 만드는 거에용! -
에에피네프린
25.09.20 · 222.♡.255.43
그런 가벼운 모델일수록 구라 칠 확률이 높아요 ㅎ - 아
아름다운별
25.09.20 · 118.♡.82.86
5기가 정도면 7B-8B 정도 파라미터 규모 모델 같은데 가벼운 모델일수록 아... 얘는 그냥 다음 단어 토큰 예측기구나 생각 들던데요. 😅 - 배
배불뚝이아저씨
→ 아름다운별 작성자 25.09.20 · 222.♡.55.158
맞아요 8b정도의 모델입니다...ㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷㄷ -
쿠쿠키맨
25.09.20 · 112.♡.119.111
양자화된 저용량의 파운데이션모델은 그냥 단순 챗봇 정도라고 보시면됩니다.
파인튜닝 하시거나 RAG를 붙이셔야 그나마 실제로 사용할 수 있습니다.
댓글을 작성하려면 이 필요합니다.