llama 3.1b를 설치 했는데 GPU를 사용하지 않네요 ㅠㅠ
알림
|
페이지 정보
작성일
2024.07.31 08:18
본문
ollama, msty 두 가지를 통해 llama 3.1b(8b)를 설치했습니다.
그런데 CPU만 이용해서 답변을 해주고 있네요. 엔비디아 GPU는 사용량이 0~7% 사이로만 나오고 있고
답변 속도도 꽤 느립니다.
(msty의 경우 window Nvidia로 설치)
혹시 llama에서 GPU 사용에 대한 정보를 알고 계시다면 도움 부탁 드립니다 ㅠㅠ
댓글 4
/ 1 페이지
멍멍님의 댓글의 댓글
@드라마중독님에게 답글
넵 답변 주신 내용 기반으로 다시 한번 시도해보겠습니다~ 감사합니다^^
멍멍님의 댓글의 댓글
@멍멍님에게 답글
msty로 llama를 설치했었는데, 기본이라 할 수 있는 '파이썬', 'cuda', 'cudnn', 허깅페이스까지 설치하고 해결되었습니다. msty로 이용할 땐 위의 프로그램만 설치되면 자동으로 인식해서 gpu를 사용하네요
kamziki님의 댓글
Ollama가 이용하는 Llama cpp가 cuda를 이용하게해서 gpu를 쓸수 있습니다.
드라마중독님의 댓글
GPU를 느끼고 싶으시면 더 큰모델을 받으시거나 설정을 조정하시면 됩니다.