(BC250은 채굴용으로 개발된 플스5 계열 컷칩으로 개조하여 게이밍, LLM장난감으로 쓰입니다)

조립다하고 셋팅하고 한 2주 정도 가지고 놀았습니다.

목적이 일단 LLM용이라, 지난번에 github문서에 따라 셋팅해서 거기에 명시된데로,

2bit 양자화된 Qwen3.5 35B-A3B 돌아가고, 이번에 나온 Gemma4 26B-A4B모델도 3비트 양자화로 돌아갑니다.

(물론 둘다 손 좀 대서 비전 모델은 때내야 합니다;)

Gemma4 같은 경우는 신기하게 덩치에 비해서 속도도 괜찮고, Think 끄면, 개인용으로 그럭저럭 괜찮게 돌아갑니다. 오히려 E4B모델이 vulkan이랑 안맞는지 제대로 안되는 문제가 있고

Qwen3-Coder-30B-A3B 2bit 양자화 모델도 꾸역꾸역 돌아는 갑니다.

Cline code assistant가 context엄청 빡빡하게 밀어넣는데도, 시간이 좀 걸려서 그렇지 어제 코드 수정까지 하더라구요 ㄷ ㄷ ㄷ

물론 일목적으로 쓸 수준은 택도 없습니다. 상용보다 100배 정도 느린듯 -_-

어제 ministral 3 14b(4bit양자+비전)과 24b(3bit양자, -비전) 돌려봤는데, 14b는 빠릿하게 돌아서 메인으로 써도 괜찮을거 같습니다. cline같은 code 빡센 code assistant말고, 좀 널널한 애들에 넣으면 잘 돌거 같습니다.

결론 : 뭔가 목적을 가지고 사용하긴 어려운 성능이나 장난감으로서는 충분. 인터넷에 어떤 자료들 검색해서 요약해줘 이런거 시키면 잘합니다. pdf에 필요한 부분 찾아서 요약도 잘하고요. 시간이 좀 걸리뿐

덤으로, 얘가 처리할때 먹는 전기를 보면 클라우드 센터들이 전기를 얼마나 먹을지 상상도 안갑니다;

처음에 github문서 작성하신 분도 보면 뭔가 바로 시키고 하고 하는 즉답 머신 보단, 혼자 정해진 작업들 계속 돌면서 처리하고, 중간에 요청 들어오는거 큐로 넣어서 작업하고 그런식이더라구요

여튼 LLM 궁금하고 비싼 GPU 사긴 어려운분들은 추천입니다.

얘가 채굴목적 때문에 GPU성능은 3060급인데, 메모리 대역폭은 70급이라 이러한 기기가 되어버렸군요

스팀PC로 써보려고 한대 더 샀습니다 -_-ㅋ