https://damoang.net/free/3337448

아래 글에서 다른 것도 테스트 해보겠다 했는데 몰라마 에서는 큰 모델들이 응답을 주지 못하는 오류가 발생해서

고생하다가 LM 스튜디오로 바꾸면서 32b 모델 까지 돌려 봤습니다.

Llama 3.1 8b 모델은 그저 날라 다닙니다.

유표 chatgpt 보다 훨씬 빠른 응답 속도로 질문하면 바로 좌라락 하고 응답이 나옵니다.

이정도면 그냥 로컬에서 써도 될 정도이고 제가 주로 사용하는 코딩에 관련한 것은 두말 할 것 없이 좋습니다.

그래도 좀 큰모델을 돌려 보려고 qwq 32b 모델을 올려서 써봤습니다.

질문을 한참~~~ 생각을 하고 답변을 주는데 글자 찍히는게 보입니다.

질문을 생각하는데 상당한 시간이 걸리고 답변을 출력하는 데에도 시간이 좀 걸립니다.

하지만 답변의 내용이 8b 에 비해 상당히 자세하고 요약이 잘된 내용을 전달 해줍니다.

좀더 큰 70b 모들과 (이게 한계일 듯) 새로 올라왔다는 gemma 27b 를 돌려 보고 후기 남기겠습니다.