로컬 LLM 한 번 제대로 돌려봐야겠다는 생각에 무작정 드래곤볼을 모으기 시작했습니다.

처음에는 RTX 3090.

"24GB VRAM이면 못 돌리는 게 없겠지?"

실제로 돌려보니 꽤 괜찮았습니다. 모델도 잘 올라가고 속도도 만족스러웠습니다.

근데 쓰다 보니 발열 관리가 너무 귀찮았습니다.

여름에는 방 온도가 올라가고, 팬 소리도 신경 쓰이고, 항상 켜두기에도 부담이 있더군요.

결국 정리.

그러다 문득 생각했습니다.

"아 맞다. 최신 노트북 있잖아."

라이젠 AI 240에 RTX 5050, 램 32GB.

스펙만 보면 꽤 괜찮아 보였습니다.

"이 정도면 VS Code에 Continue 붙이고 바이브 코딩 정도는 충분하지 않을까?"

언제나 그렇듯 지는 건 나였습니다.

Continue도 붙여보고, 이것저것 로컬 모델도 연결해봤는데 결과는 처참했습니다.

모델 크기도 애매하고, 컨텍스트도 아쉽고, 코딩 정확도도 기대에 못 미쳤습니다.

결국 또 장비병에 당한 건가 싶어서 마음을 비우게 되더군요.

그러다가 마지막으로 M1 Max에 다시 도전했습니다.

M1 Max... 작년만 해도 가격이 착했는데..지금은 기본형이 160~190.... 아 가격...

그래도 어찌저찌 구해서 테스트 해봤는데

솔직히 큰 기대는 안 했습니다.

"아무리 그래도 GPU 달린 PC보다는 못하지 않을까?"

근데...

아 신발.

이게 되네? ㅋㅋㅋ

Mac Studio M1 Max 32GB에 Ollama 설치하고 Roo Code 연결.

Qwen3.6 27B 올리고 Flutter 프로젝트를 물렸습니다.

처음엔 ripgrep 문제로 삽질도 좀 했고 설정도 만졌는데, 어느 순간부터 진짜로 프로젝트를 읽기 시작하더군요.

로그를 보니 2만 토큰 넘게 집어넣고 분석 중.

"오...?"

그러더니 테스트 파일 수정.

"에이 설마."

바로 테스트 실행.

flutter test test/planet_model_test.dart

결과:

00:00 +20: All tests passed!

순간 진짜 웃음이 나왔습니다.

몇 달 동안

3090 → 5050 → M1 Max

돌고 돌아 내린 결론은,

생각보다 중요한 건 GPU 이름이 아니라

"얼마나 괜찮은 모델을 안정적으로 돌릴 수 있느냐"

인 것 같습니다.

물론 절대 성능은 아직도 3090이 강합니다.

근데 개발자가 매일 쓰는 로컬 AI 코딩 환경 기준으로는 M1 Max도 생각보다 엄청 괜찮네요.

몇 년 전만 해도 맥 미니 같은 걸로 27B 모델 물려서 Flutter 프로젝트 수정하고 테스트 통과시키는 날이 올 줄은 상상도 못 했습니다. 😅

여유가 생기면 m4 max /ultra 128기가 돌려보고 싶네요 ㅎㅎ