local 에서 LLAMA 3.x 를 돌리려면..
알림
|
페이지 정보
작성일
2024.12.17 15:51
본문
제가 알기로 70b 같은 모델을 돌리려면 GPU의 VRAM 이 많이 필요하다고 알고 있습니다.
정확히 최소 사양은 잘 모릅니다만..
그런데 rtx 4090만 하더라도 24GB가 전부라서 불가능하다고 들었구요..
a6000 같은 그래픽카드를 사용하지 않는한,
차라리 Silicon Mac 종류에서 RAM을 64GB 나 128GB 로 구매하는것이 더 낫다고들 하는데..
이게 맞는 말인가요?
예를들어 llama 3.3 70b 모델이라면 어떤 하드웨어를 구매해야 하는건가요?
댓글 5
/ 1 페이지
인생물상님의 댓글의 댓글
@슈로더님에게 답글
여유가 되시면 향후 나올 수도 있는 다른 모델까지 고려하여 128기가를 권해드리지만, 그정도만 해도 llama 3.3 70b는 돌릴 수 있습니다.
RaPo님의 댓글
ollama 에서 llama 3.3 70b Q4 모델이 43GB네요. 64GB 메모리만 있으면 돌릴 수 있습니다.
인생물상님의 댓글