[LLM] AMD 50TOPS 대 Apple 38TOPS, OSS 비교
D
DINKIssTyle (61.♡.73.102)
2025년 8월 21일 PM 02:04 · 수정됨(10. 16. 19:13)
조회 711 공감 0
어느 분야나 마찬가지지만..
스펙이 중요한 곳이 아닙니다..
생태계가 중요하죠....
현재로써는 쿠다가 아니면 애플이 사이다입니다...
나머지는 고구마라고 생각해요 으읔..
아! LM Studio에서 OSS는 아직 초기 구현이라고 했으니..
더 빨라질 가능성도 있지 싶습니다.
그래도 이미 애플 실리콘이랑 토큰 차이가.......
댓글 (9)
- K
Kaffe
25.08.21 · 211.♡.150.12
스펙은 AMD가 더 좋아도 초당 토큰 처리량이 안 나오나 보군요 - D
DINKIssTyle
→ Kaffe 작성자 25.08.21 · 61.♡.73.102
자기들이 구현한 울타리 안에 들어가면 스펙대로 나오겠지만..
현실은 왜 그렇게 복잡하게 구현해서, 지원하는 제한 된 모델만 써야해? 입니다. -
LLewinus
25.08.21 · 183.♡.78.182
저도 하나 설치해서 써 봤는데,
265k cpu에 5070인데,
간단한 거 하나 질문해도 cpu만 엄청 갈구더라구요...
뭔가 세팅을 잘못한건지...
나름 ai용이라고 npu도 들어있는데 npu 사용량은 전혀 없고... ㅎㅎㅎ
몇번 테스트 해보다가 전기요금 무서워서 못쓰고 있네요. ㅎㅎ - D
DINKIssTyle
→ Lewinus 작성자 25.08.21 · 61.♡.73.102
macOS처럼 윈도가 판 안깔아주면.. 다들 쿠다 발뒷꿈치 따라가다 엔당만 살아남을 분위기입니다. ㄷㄷ -
칼칼쓰뎅
→ Lewinus 25.08.21 · 210.♡.41.89
npu는 원래 안쓸꺼구요. 5070에 로딩 안되는건 문제있어보이네요. -
규규링
25.08.21 · 59.♡.6.180
아직 다들 ROCm을 쿠다처럼 이용하진 않으니 진척이 좀 더딘 거 같아요. ㅠㅠ - 칼
칼쓰뎅
25.08.21 · 210.♡.41.89
참고로... TOPS 수치는 NPU 의 성능 수치인것으로 보이고요. 그걸로 LLM 돌리는건 아니니까요.
AI MAX 사용하시는거 같은데 DDR5X 라서 대역폭이 낮습니다.
애플쪽은 성능좋은 녀석이면 DDR5X보다 2배가 넘게 빠를꺼고요.
LLM추론쪽은 RAM 대역폭이 가장 중요합니다. 그래서 일반 컴터에서는 VRAM 쓰는거죠.
4090기준 VRAM대역폭은 900GB/sec 수준일꺼에요.
DDR5로는 90GB/sec 수준이고요. - K
kevin1
25.10.16 · 140.♡.29.0
요즘은 업데이트 되서 맥에서 전보다 몇배는 빨라져서 더 좋아진것 같은데 혹시 요즘도 잘쓰시나요? - D
DINKIssTyle
→ kevin1 작성자 25.10.16 · 14.♡.7.140
네 계속 쓰고 있습니다. 미스트랄이랑 qwen이랑 훌륭합니다. 항시 켜있고 외부에서 폰으로 사용중입니다 ㅎㅎ
댓글을 작성하려면 이 필요합니다.