local 에서 LLAMA 3.x 를 돌리려면..
페이지 정보
작성자
날씨는어때

작성일
2024.12.17 15:51
본문
제가 알기로 70b 같은 모델을 돌리려면 GPU의 VRAM 이 많이 필요하다고 알고 있습니다.
정확히 최소 사양은 잘 모릅니다만..
그런데 rtx 4090만 하더라도 24GB가 전부라서 불가능하다고 들었구요..
a6000 같은 그래픽카드를 사용하지 않는한,
차라리 Silicon Mac 종류에서 RAM을 64GB 나 128GB 로 구매하는것이 더 낫다고들 하는데..
이게 맞는 말인가요?
예를들어 llama 3.3 70b 모델이라면 어떤 하드웨어를 구매해야 하는건가요?
0명
추천인 목록보기
댓글 9
/ 1 페이지
인생물상님의 댓글의 댓글
작성일
2024.12.18 11:37
@슈로더님에게 답글
여유가 되시면 향후 나올 수도 있는 다른 모델까지 고려하여 128기가를 권해드리지만, 그정도만 해도 llama 3.3 70b는 돌릴 수 있습니다.
RaPo님의 댓글
작성자
RaPo

작성일
2024.12.18 11:00
ollama 에서 llama 3.3 70b Q4 모델이 43GB네요. 64GB 메모리만 있으면 돌릴 수 있습니다.
칼쓰뎅님의 댓글의 댓글
작성일
2024.12.23 00:14
@MDBK님에게 답글
맥미니는 대역폭이 좀 낮아서요... 그 가격에 굳이? 라는 생각이 듭니다 ㅎㅎ
칼쓰뎅님의 댓글
작성자
칼쓰뎅

작성일
2024.12.23 00:14
데탑을 생각하신다면... 중고 3090 2개 사시면 스타트 가능합니다. 48GB니까요.
mac으로 하면 맥북 m4 max 64GB 가시면 되고요.
맥미니 프로는 m4 pro라서 메모리 대역폭이 m4 max대비 느립니다.
3090 2개가 젤 저렴합니다.
어느용도로 쓰실지는 모르겠지만... 그냥 개인용도라면 google ai studio나
에이닷 (chatgpt o1 preview, 등등) 사용하는게 퀄리티는 가장 좋습니다.
llama 쪽은 한글이 안되어용... ㅎㅎ
그리고 큰사이즈 LLM들이 커머셜 사용이 대부분 안됩니다.
적당히 굴리는거는 8b - 20b 정도의 모델들도 꽤 괜찮습니다.
개인 공부용이면 3090 중고 1개로 시작하시고 부족함 느끼시면 1개 더 추가하시죠.
mac으로 하면 맥북 m4 max 64GB 가시면 되고요.
맥미니 프로는 m4 pro라서 메모리 대역폭이 m4 max대비 느립니다.
3090 2개가 젤 저렴합니다.
어느용도로 쓰실지는 모르겠지만... 그냥 개인용도라면 google ai studio나
에이닷 (chatgpt o1 preview, 등등) 사용하는게 퀄리티는 가장 좋습니다.
llama 쪽은 한글이 안되어용... ㅎㅎ
그리고 큰사이즈 LLM들이 커머셜 사용이 대부분 안됩니다.
적당히 굴리는거는 8b - 20b 정도의 모델들도 꽤 괜찮습니다.
개인 공부용이면 3090 중고 1개로 시작하시고 부족함 느끼시면 1개 더 추가하시죠.
찹쌀떡팥앙꼬님의 댓글
작성자
찹쌀떡팥앙꼬

작성일
2024.12.23 15:33
m4pro 48기가 램으로는 부족하다는거군요 래딧에서 40기기로 가능한걸 보긴 한거 같은데
64기가는 더 비싸지는데 고민이 되네요
64기가는 더 비싸지는데 고민이 되네요
가꾸님의 댓글
작성자
가꾸

작성일
2024.12.28 15:02
기본으로 16bit 모델인데 풀로 돌리려면 약 150GB 이하의 VRAM이 필요합니다.
대부분 개인컴퓨터에서 사용하는 경우 4bit로 모델을 Quatermize Q4로 사용해요.
Q4 경우 150의 1/4인 약 38기가를 요구하게 되는데 입출력데이터 및 시스템을 생각하면 m4pro 48기가 램으로 겨우 돌릴 수 있을까 해요. 안 돌아갈 수 있어요
대부분 개인컴퓨터에서 사용하는 경우 4bit로 모델을 Quatermize Q4로 사용해요.
Q4 경우 150의 1/4인 약 38기가를 요구하게 되는데 입출력데이터 및 시스템을 생각하면 m4pro 48기가 램으로 겨우 돌릴 수 있을까 해요. 안 돌아갈 수 있어요
인생물상님의 댓글