pc에서는 느리네요
페이지 정보
작성자
김재귀
김재귀
작성일
2025.03.20 16:42
본문
1. 5600X, DDR4 32GB(스펙 모름)
gemma-3-27b 속도: 2.6~2.8 tok/sec
2. M1 Pro 32GB
gemma-3-27b 속도: 5~6 tok/sec
메모리 대역폭이 깡패인가봐요
애플 만세.. 다음 기변엔 max를 노려봐야겄네요
0명
추천인 목록보기
댓글 4
/ 1 페이지
김재귀님의 댓글의 댓글
작성일
03.20 18:32
@어머님에게 답글
gpu에서 돌리려면 양자화하더라도 일단 vram이 많아야하는거군요.
찾아보고 이제 이해했습니다~
찾아보고 이제 이해했습니다~
어머님의 댓글