X

local 에서 LLAMA 3.x 를 돌리려면..

페이지 정보

작성자 no_profile 날씨는어때
작성일 2024.12.17 15:51
분류 질문
1,379 조회
0 추천

본문


제가 알기로 70b 같은 모델을 돌리려면 GPU의 VRAM 이 많이 필요하다고 알고 있습니다.

정확히 최소 사양은 잘 모릅니다만..


그런데 rtx 4090만 하더라도 24GB가 전부라서 불가능하다고 들었구요..


a6000 같은 그래픽카드를 사용하지 않는한,


차라리 Silicon Mac 종류에서 RAM을 64GB 나 128GB 로 구매하는것이 더 낫다고들 하는데..


이게 맞는 말인가요?


예를들어 llama 3.3 70b 모델이라면 어떤 하드웨어를 구매해야 하는건가요?



0추천인 목록보기
댓글 9 / 1 페이지

인생물상님의 댓글

작성자 no_profile 인생물상
작성일 2024.12.17 18:16
mac에서 64GB면 충분히 돌릴 수 있습니다. m3max에서 돌리면 답변 듣는데 수초에서 십몇초 정도 걸립니다. 매우 긴 답은 더 오래 걸릴 수 있습니다. m4면 좀 더 빠르게 될 것 같네요.

슈로더님의 댓글의 댓글

대댓글 작성자 슈로더
작성일 2024.12.18 08:30
@인생물상님에게 답글 노트북 m4 64기가 이상으로 사면 될까요

인생물상님의 댓글의 댓글

대댓글 작성자 no_profile 인생물상
작성일 2024.12.18 11:37
@슈로더님에게 답글 여유가 되시면 향후 나올 수도 있는 다른 모델까지 고려하여 128기가를 권해드리지만, 그정도만 해도 llama 3.3 70b는 돌릴 수 있습니다.

RaPo님의 댓글

작성자 no_profile RaPo
작성일 2024.12.18 11:00
ollama 에서 llama 3.3 70b Q4 모델이 43GB네요. 64GB 메모리만 있으면 돌릴 수 있습니다.

MDBK님의 댓글

작성자 MDBK
작성일 2024.12.19 16:13
맥미니 프로 64기가가 299만원!
고민이지만 비싸서....

칼쓰뎅님의 댓글의 댓글

대댓글 작성자 칼쓰뎅
작성일 2024.12.23 00:14
@MDBK님에게 답글 맥미니는 대역폭이 좀 낮아서요... 그 가격에 굳이? 라는 생각이 듭니다 ㅎㅎ

칼쓰뎅님의 댓글

작성자 칼쓰뎅
작성일 2024.12.23 00:14
데탑을 생각하신다면... 중고 3090 2개 사시면 스타트 가능합니다. 48GB니까요.
mac으로 하면 맥북 m4 max 64GB 가시면 되고요.
맥미니 프로는 m4 pro라서 메모리 대역폭이 m4 max대비 느립니다.

3090 2개가 젤 저렴합니다.

어느용도로 쓰실지는 모르겠지만... 그냥 개인용도라면 google ai studio나
에이닷 (chatgpt o1 preview, 등등) 사용하는게 퀄리티는 가장 좋습니다.
llama 쪽은 한글이 안되어용... ㅎㅎ
그리고 큰사이즈 LLM들이 커머셜 사용이 대부분 안됩니다.
적당히 굴리는거는 8b - 20b 정도의 모델들도 꽤 괜찮습니다.

개인 공부용이면 3090 중고 1개로 시작하시고 부족함 느끼시면 1개 더 추가하시죠.

찹쌀떡팥앙꼬님의 댓글

작성일 2024.12.23 15:33
m4pro 48기가 램으로는 부족하다는거군요 래딧에서 40기기로 가능한걸 보긴 한거 같은데
64기가는 더 비싸지는데 고민이 되네요

가꾸님의 댓글

작성자 가꾸
작성일 2024.12.28 15:02
기본으로 16bit 모델인데 풀로 돌리려면 약 150GB 이하의 VRAM이 필요합니다.
대부분 개인컴퓨터에서 사용하는 경우 4bit로 모델을 Quatermize Q4로 사용해요.
Q4 경우 150의 1/4인 약 38기가를 요구하게 되는데 입출력데이터 및 시스템을 생각하면 m4pro 48기가 램으로 겨우 돌릴 수 있을까 해요. 안 돌아갈 수 있어요
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색