Ollama 에서 제공하는 로컬 LLM에서 이 크기는 뭘뜻하는건가요?
페이지 정보
작성자
날씨는어때
날씨는어때
작성일
2025.01.31 16:37
본문
빨간색으로 표시해둔 이 크기는
1) 모델을 다운로드할때 총 사이즈
2) 모델을 돌릴때 필요한 최소 VRAM 사이즈
3) 모델이 사용하는 최대 VRAM 사이즈
???
그리고 제가 알기로 로컬에서 LLM을 돌리려면
VRAM에 올려서 GPU 에서 돌린다고 알고 있는데,
VRAM 말고 RAM 에 올려서 CPU 로 돌리는 방법은 없을까요?
0명
추천인 목록보기
댓글 6
/ 1 페이지
한글님의 댓글
작성자
한글
한글
작성일
02.03 12:24
모델 파일 사이즈이나, 메모리는 컨텍스트 크기에 따라서 달라집니다.
VRAM에 모델을 올리기에 부족하면 VRAM을 전혀 사용하지 않고 RAM에 다 올리고, 추론도 CPU로만 합니다. 8b 모델 까지는 돌려볼만 할겁니다.
VRAM에 모델을 올리기에 부족하면 VRAM을 전혀 사용하지 않고 RAM에 다 올리고, 추론도 CPU로만 합니다. 8b 모델 까지는 돌려볼만 할겁니다.
엔뜨님의 댓글
작성자
엔뜨
엔뜨
작성일
02.06 13:00
만약 VRAM 용량이 16gb 라고 해서 딱 거기에 맞게 다운하시면 안되고
30% 정도? 여유있게 맞추는게 안정적이라고 알고있어요.
30% 정도? 여유있게 맞추는게 안정적이라고 알고있어요.
kamziki님의 댓글
작성자
kamziki
kamziki
작성일
02.18 09:20
CLI(command)에서 ollama ps라고 치면 현재 ollama가 현재 video ram을 얼마나 이용하고 있는지 나옵니다. video ram보다 모델크기가 크면 일부는 ram으로 가져와서 모델을 돌리게 됩니다. 대신 속도는 조금 떨어지겠죠.
A350님의 댓글