M4 Max + 128 GB 가지고 계신분들 혹시 Ollama 에서 llama3.1:70b-text-q8_0 모델 돌려보신적 있으신가요?
페이지 정보
작성자
날씨는어때
날씨는어때
작성일
2025.02.24 23:45
본문
M4 Max + 128 GB 정도면
llama3.1:70b-text-q8_0 이 대략 75 GB 정도니까 ( https://ollama.com/library/llama3.1:70b-text-q8_0 )
충분히 돌릴수 있을것 같은데,
초당 토큰 속도라던지 처음 답이 나오는 시간이 어느정도 나오는지 궁금합니다..
혹시 이 모델 써보신분 계신가요?
0명
추천인 목록보기
댓글 3
/ 1 페이지
케이님의 댓글
작성자
케이
케이
작성일
03.03 05:37
오늘 이 글을 봤고, 저도 궁금해서 돌려 봤어요.
일단 LM Studio 에서는 모델 로드시 에러가 나네요. 옵션 조절해 봐도 그렇습니다.
최적 옵션이 있는지는 잘 모르겠네요. 혹시나 LM Studio 옵션을 아시는 분이 있다면 답글 달아 주세요.
ollama 에서 돌려본 결과입니다. 모델은 3.3 버전을 사용했습니다. cpu는 안갈구고 gpu만 갈구네요.
% ollama run llama3.3:70B-Instruct-Q8_0 --verbose
pulling manifest
pulling 4a8a92e57c0f... 100% ▕███████████████████████████████████████████████▏ 74 GB
pulling 948af2743fc7... 100% ▕███████████████████████████████████████████████▏ 1.5 KB
pulling bc371a43ce90... 100% ▕███████████████████████████████████████████████▏ 7.6 KB
pulling 53a87df39647... 100% ▕███████████████████████████████████████████████▏ 5.6 KB
pulling 56bb8bd477a5... 100% ▕███████████████████████████████████████████████▏ 96 B
pulling d95adcc05174... 100% ▕███████████████████████████████████████████████▏ 560 B
verifying sha256 digest
writing manifest
success
>>> write 1000 words story.
The Old Bookstore on Main Street
As I walked down Main Street, I couldn't help but notice (이하생략)
total duration: 4m46.363799041s
load duration: 29.007333ms
prompt eval count: 62 token(s)
prompt eval duration: 1.501s
prompt eval rate: 41.31 tokens/s
eval count: 1663 token(s)
eval duration: 4m44.832s
eval rate: 5.84 tokens/s
일단 LM Studio 에서는 모델 로드시 에러가 나네요. 옵션 조절해 봐도 그렇습니다.
최적 옵션이 있는지는 잘 모르겠네요. 혹시나 LM Studio 옵션을 아시는 분이 있다면 답글 달아 주세요.
ollama 에서 돌려본 결과입니다. 모델은 3.3 버전을 사용했습니다. cpu는 안갈구고 gpu만 갈구네요.
% ollama run llama3.3:70B-Instruct-Q8_0 --verbose
pulling manifest
pulling 4a8a92e57c0f... 100% ▕███████████████████████████████████████████████▏ 74 GB
pulling 948af2743fc7... 100% ▕███████████████████████████████████████████████▏ 1.5 KB
pulling bc371a43ce90... 100% ▕███████████████████████████████████████████████▏ 7.6 KB
pulling 53a87df39647... 100% ▕███████████████████████████████████████████████▏ 5.6 KB
pulling 56bb8bd477a5... 100% ▕███████████████████████████████████████████████▏ 96 B
pulling d95adcc05174... 100% ▕███████████████████████████████████████████████▏ 560 B
verifying sha256 digest
writing manifest
success
>>> write 1000 words story.
The Old Bookstore on Main Street
As I walked down Main Street, I couldn't help but notice (이하생략)
total duration: 4m46.363799041s
load duration: 29.007333ms
prompt eval count: 62 token(s)
prompt eval duration: 1.501s
prompt eval rate: 41.31 tokens/s
eval count: 1663 token(s)
eval duration: 4m44.832s
eval rate: 5.84 tokens/s
찹쌀떡팥앙꼬님의 댓글
m4 48gb 에서 올라마로 70B가 돌아만 가고.. 32도 좀 답답한데 돌아가는덴 문제 없었으니까..
그나저나 128GB 로 가지고 싶었는데.. 가격이 너무 비사요 ㅠㅠ