RTX3070 8GB 모델입니다.

첨엔 어케 하나, 모델 다운부터 고생했는데요.

UI가 잘되었대서 ollama 깔았더니만... 뭐 할 수 있는게 없더군요.

역시 cli가 짱짱맨입니다.

[code=ollama]ollama run exaone-deep:7.8b[/code]

엔터만 누르니 알아서 까네요.

exaone 3.5-7.8b 시도해보고, 바~아로 exaone deep-7.8b를 설치해봤습니다.

파라미터가 32b(320억)은 안돌아갈까봐 겁나서 설치도 못해봤습니다.

어떤 분 시연에 있길래 김치 만드는 법을 해봤는데

추론은 어떨까 싶어 '맛있게'라는 프롬프트를 넣어봤는데 시간지연은 거의 없네요.

전라도 김치라던가, 알고리즘 같은건 deep 모델이 시간은 좀 걸리지만 훨씬 좋은 대답을 주는군요.

32b를 설치해야 좀 버벅거리면서 일하는(?) 모냥새가 나오려나요.

데스크탑에 다들 깔아보십셔... 츄라이 츄라이