로컬로 동작 합니다.

랜선 뽑고 해보셔도 저렇게 답변 할때 있습니다. 재 문의 하면 로컬 동작 한다고 답변 할때도 있고요.

학습이 끝난 LLM 모델을 개인 PC에 설치해 사용하는 경우, 실제로 일어나는 것은 추론뿐입니다. 채팅 내용은 사용자의 PC 내 KV Cache 에 일시적으로 쌓일 뿐, 그 자체가 모델에 역으로 학습되지는 않아요.

보통 모델 제공 회사가 로컬 모델을 만들어 제공하기 위해 클라우드 모델을 로컬 모델로 만들어도 모델 스스로 자신을 클라우드 모델로 인식하더라구요~ 실제로는 로컬 모델인데도요. rag 기능도 키셔도 됩니다. 주의하실점은 모델 중에 인터넷 검색이 가능한 모델들이 따로 있습니다. 그 모델 이용하실때 인터넷 검색 버튼을 누르시지만 않으면 기본적으론 로컬로 돌아가니 그점만 유념하시면 안심하고 사용하셔도 됩니다~!

LM Studio 도 좋지만 아마도 맥 환경이시라면 https://github.com/jundot/omlx 도 고려해보세요