M1 Ultra 20C CPU / 48C GPU / 128GB RAM / 2TB SSD 사용자입니다.

일하는데 사용하는 컴퓨터이고, 적당히 로컬에서 계산작업 돌리기에 딱 알맞은 사양이라 지난 3년여 잘 활용하고 있었습니다.

하는 일은 LLM 과는 별 관련이 없지만 그래도 혹시 이게 로컬 LLM 돌리기에는 어떨까 싶어서 몇종류 시도해 봤는데요..

생각보다 속도가 느리지 않게 잘 돌아가더라고요..

llama4:scout (109B / 16x17B MoE) 모델은 굉장히 빠르고 안정적으로 돌아가고요..

그 외에도 32B 모델은 쓸만하게, 70B 모델까지도 느리지만 그럭저럭 돌아가더라고요.

아무튼 MoE 모델이 파라미터수에 비해서 성능이 굉장히 좋다는 것도 알게 되었고, 갖고놀아 보니깐 재미있네요 ㅎㅎ

그래서 최신형 맥 스튜디오를 사면 얼마나 더 빠를까 싶어서 LLM 벤치마크 자료를 찾아봤는데..

최신 싱글다이 칩셋인 M4 Max 에 와서야 M1 Ultra 48C GPU (구형 듀얼다이 칩셋) 랑 성능이 비슷하네요..

M3 Ultra 는 듀얼다이 울트라 칩셋이라 역시나 강력하긴 하지만

그래도 벤치마크상 성능이 M1 Ultra 의 딱 두배 정도밖에 안되어서 거기에 천만원을 태우기에는 너무 아깝고요.

생각보다 최신형 칩셋에 실망입니다..

아무튼 제 주업은 LLM 이 아니니 잠시 가져놀아 본 것으로 만족하고 다시 지우기는 했습니다.

본업 하기에도 빡세게 굴리는 컴퓨터라 LLM 모델까지 돌릴 여력은 없기 때문에요..

그치만 제가 쓰는 컴퓨터가 충분히 현역인거를 알게 되었으니 ㅎㅎㅎ 기변병을 잠시나마 잠재울 수 있겠습니다 ㅎㅎㅎ