DINKIssTyle (61.♡.73.102)
2025년 4월 28일 AM 10:43 · 수정됨(12:23)
우왕... 우왕.... 온라인 서비스급 속도네요.................
M4에서 12b에서 같은 질문 27토큰 나오는데..
70토큰을 넘기면서... 2배 이상 빠르군요.
대신에 27b는 공유메모리까지 써야해서 4토큰 정도로 몹쓸 물건이 됩니다.
M4에서는 27b에서 같은 질문 13토큰이 나오고요...
이상 NPU냐 GPU냐의 차이를 보았습니다.
NPU = 더 큰 모델, 더 적은 전력 소모, GPU보다는 느리지만 없는 것 보다는 빠른 속도
GPU = 대중적인 그래픽카드에서는 큰 모델은 어려움, 많은 전력 소모, 매우 빠른 속도
입니다. 정확하게 치환해서 비교는 어렵지만..
RTX가 현재 AMD 시퓨 NPU들의 연산력인 50TOPS의 4배 정도 빠르다는 거 같아요.
댓글 (8)
-
풍풍차
25.04.28 · 3.♡.232.66
m4 사양이 궁금합니다. - D
DINKIssTyle
→ 풍차 작성자 25.04.28 · 61.♡.73.102
M4 Pro 64GB 입니다. 아마 NPU는 같아서 M4나 M4 Pro나 38TOPS 로 같은 걸로 알고 있습니다. -
이이놈시기
25.04.28 · 118.♡.144.4
3090 으로 27B 모델 써봤는데 굉장히 빠르게 답변을 뽑아주더군요 허허 - D
DINKIssTyle
→ 이놈시기 작성자 25.04.28 · 61.♡.73.102
우왕... 24GB면 다 올라가겠네요~~ - 쿠
쿠스콩
25.04.28 · 218.♡.224.142
라데온 9070 일반 모델 쓰고 있는데
같은 모델 Gemma3 12b QAT에서 valcan으로 50-60토큰 정도 나오네요
ai쪽은 영 힘들 줄 알았는데 그래도 LLM에선 준수하네요 - D
DINKIssTyle
→ 쿠스콩 작성자 25.04.28 · 118.♡.11.243
amd에서 젬마3 최적화 하겠다는 뉴스를 본적있습니다. 활로를 찾는거 같아요. 현재 NPU도 제일 강력하고 말입니다 ㅎㅎ 우선 vram을 좀 넉넉하게만 넣어줘도 좋을텐데 말입니다. -
일일리케
25.04.28 · 169.♡.222.131
M3 pro 18G는 웁니다. ㅠㅠㅠ - D
DINKIssTyle
→ 일리케 작성자 25.04.28 · 118.♡.11.59
ㅜ ㅜ.. 울지마세요. 정말 1인 1 llm 시대가 도래했을 때 또 사시면 됩니다. {emo:DINKIssTyle-ang-012.webp:100}
댓글을 작성하려면 이 필요합니다.