CaTo (112.♡.38.222)
2026년 5월 28일 PM 07:19
적당한 가격대에 BC250에서 업그레이드 할만 한거 찾아보는데,
M1 Max 32GB -> 여유 메모리 10GB정도 늘고 대역폭 비슷해서 성능 비슷할 줄 알았더니, GPU성능이 후달려서인지, 영 별로.. 가격은 100중반에도 될거 같아서 괜찮은데
AI Max 395 64GB -> 200중반대로 가격부터 흠…인데, 정작 대역폭이 망…
3080 노트북류 -> 노트북류는 그냥 기본 너프 먹고 들어가는것도 있고 끽해야 VRAM 12GB라 쓸데도 별로 없을거 같습니다.
Qwen 35B A3B IQ3S로 hermes agent로 만든 초등 수학문제 pdf 첨부 해봅니다
이런거 다 알아서 하는게 신기하긴 하군요;
댓글 (9)
-
남남극백곰
05.28 · 114.♡.188.135
- C
CaTo
→ 남극백곰 작성자 05.28 · 112.♡.38.222
네 어차피 BC250 두대 중에 한대는 스팀머신으로 쓰고있고 이제 6700급이라 게임용도는 필요없고 딱 llm 장난감으로만 쓰려고 하는데 다들 선택이 애매하네요
-
05.28
삭제된 댓글입니다. -
고고소미
05.28 · 180.♡.204.252
dgx spark 한달전만 해도 최저가 519만원인데 649만원이 됐고..
ai max 395 128GB모델도 직구모델인 비링크 GTR9 처음엔 249만원 -> 375만원 -> 439만원입니다..
점점 비싸질거고 곧 ai max 495가 나오는데 가격이 일단 500~600은 넘을거 같습니다...
저도 ai max 395 128gb 모델로 이거저거해보려고 돈모으고 있는데 돈모으는 속도보다 램값때문에 가격 오르는속도가 더 빠릅니다 ㅋㅋㅋㅋㅋ
남극백곰님 말씀대로 램 대역폭때문에 토큰수가 생각보다 좋지 않더라고요.
- C
CaTo
→ 고소미 작성자 05.28 · 112.♡.38.222
Z13 ai max 64 중고도 290정도 하는데, 그 성능에 그 돈주자니 아깝고
Dgx 스파크는 가끔 미개봉 중고 600에 뜨긴 하던데 굳이 장난감을 그 돈주고 ㄷ ㄷ ㄷ
-
낮낮은언덕
05.28 · 112.♡.214.77
지금은 확실히 뭘 구매하기가 참 애매...한 상황입니다. 내 돈이면 못하겠고 회사돈이면 냉큼 하겠지만요;;; 로컬LLM이 반드시 필요한게 아니면 그냥 claude 나 codex 끊어서 쓰는게 나을지도 모르겠어요.
- C
CaTo
→ 낮은언덕 작성자 05.28 · 112.♡.38.222
맞습니다. 그냥 장난감 정도인데 너무 비싸게 사자니 애매하고, 적당한 가격 사자니 성능이 지금보다도 못하니
-
Bboolsee
05.29 · 211.♡.80.125
마침, 메모리 대역폭 관련해서 참고하실 만한 글이 있어서 가져와 봤습니다.
"로컬 추론(local inference)에서 중요한 성능 지표는 CPU 클럭이나 TOPS가 아니라 '메모리 대역폭(memory bandwidth)'이다. 모델 추론 시 가중치 로드가 병목이 되기 때문에 초당 GB 전송량이 성능을 결정한다."
https://malcolmstanley.com/malcolm/memory-bandwidth-is-the-new-cpu-speed-a-pre-wwdc-guide-to-local-ai-hardware
* 채팅/코딩/단일 모델: Mac Mini M4 Pro(48GB) — 낮은 마찰, 저렴한 진입.* 에이전트형·항상 켜진 서버: Framework Desktop(128GB) — 가성비 및 업그레이드 경로.
* 최대 단일 모델 성능(낮은 레이턴시 반복 호출): Mac Studio M4 Max 또는 향후 M5 Studio — 높은 대역폭이 유리.
Mac Mini M4 Pro (48GB) 가 오늘 기준 3,290,000 원, Mac Studio M3 Ultra (96GB) 6,590,000원네요.
6월 8일~12일 WWDC 2026 발표 내용을 보고 결정하는게 좋다고 하네요.참고하십시오.
- C
CaTo
→ boolsee 작성자 05.29 · 106.♡.130.168
네 보통은 그런데 지금 M1 Max가 대역폭이 400 정도되는데도 성능이 똥망이더라구요
이 경우는 GPU처리 성능이 낮아서 그런거라 답이 -_-ㅋ
BC250도 대역폭 대비 GPU성능이 낮았었는데, CU40개로 늘리고 성능 30% 정도 올랐습니다
M1 Max가 그래서 잘 안나가는거 같더라구요
댓글을 작성하려면 이 필요합니다.
amd ai max 128g 사용중 임미다 램 대역폭이 프로세서의 성능을 발목잡고 있어요 게임에서 4060~4070 랩탑 정도 성능이 나온다던데 실제로는 vram이 아니다 보니 성능이 좀 생각보다 많이 안 나와요