X

Ollama 에서 제공하는 로컬 LLM에서 이 크기는 뭘뜻하는건가요?

페이지 정보

작성자 no_profile 날씨는어때
작성일 2025.01.31 16:37
분류 질문
670 조회
0 추천

본문


빨간색으로 표시해둔 이 크기는

1) 모델을 다운로드할때 총 사이즈

2) 모델을 돌릴때 필요한 최소 VRAM 사이즈

3) 모델이 사용하는 최대 VRAM 사이즈

???


그리고 제가 알기로 로컬에서 LLM을 돌리려면

VRAM에 올려서 GPU 에서 돌린다고 알고 있는데,

VRAM 말고 RAM 에 올려서 CPU 로 돌리는 방법은 없을까요?





0추천인 목록보기
댓글 5 / 1 페이지

A350님의 댓글

작성자 A350
작성일 01.31 17:47
모델다운로드 크기이자 메모리에 올라가는 크기라고 보시면 됩니다. Vram 딸리면 자동으로 ram으로 올라갈거에요. 속도는 느려지겠지만요.

모빌맨님의 댓글

작성자 모빌맨
작성일 02.01 20:21
경험 삼아 한번 해 보시는 것에 대해서… 말리지 않습니다.

한글님의 댓글

작성자 한글
작성일 02.03 12:24
모델 파일 사이즈이나, 메모리는 컨텍스트 크기에 따라서 달라집니다.

VRAM에 모델을 올리기에 부족하면 VRAM을 전혀 사용하지 않고 RAM에 다 올리고, 추론도 CPU로만 합니다. 8b 모델 까지는 돌려볼만 할겁니다.

엉클머리님의 댓글

작성자 엉클머리
작성일 02.03 14:09
다운로드 할 파일 사이즈 입니다.

엔뜨님의 댓글

작성자 엔뜨
작성일 02.06 13:00
만약 VRAM 용량이 16gb 라고 해서 딱 거기에 맞게 다운하시면 안되고
30% 정도? 여유있게 맞추는게 안정적이라고 알고있어요.
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색