땅콩버터 (223.♡.205.230)
2026년 4월 12일 PM 06:45
안녕하세요.
4k 모니터 연결했고, r23은 연속으로 멀티 1 싱글 1 멀티 3 번 순서로 돌렸습니다. 성능 유지력 좋고 온도도 괜찮은듯 합니다.
그 외 특별히 설명 드릴 건 없고 개인적으로 마음에 드네요.^^
혹시 관심 있으신 분 참고 되었으면 합니다.
댓글 (13)
- S
SassyBrain
04.12 · 115.♡.24.164
- 땅
땅콩버터
→ SassyBrain 작성자 04.12 · 223.♡.205.230
말씀하신 스타일로 테스트 이미 하긴 했습니다. 제일 큰 모델 사용시 실시간 채팅 느낌은 불가능하면 대략 3-4 토큰 출력 됩니다. 질문 던져놓고 다른 일 하다가 팬소리가 잦아들면 가서 확인하면 답변 완료 되어 있어서 다음으로 넘어가는 방식으로 저는 사용 중 입니다. 참고하십시요 ^^
- 경
경사
→ 땅콩버터 04.12 · 222.♡.114.172
생각보다 너무 느리네요. 양자화 무엇으로 돼있는 모델이셨을까요?
- 땅
땅콩버터
→ 경사 작성자 04.12 · 223.♡.205.230
- 땅
땅콩버터
→ 경사 작성자 04.12 · 223.♡.205.230
16비트 제일 큰 모델 256k 입니다. 작은 모델은 테스트 안해봤는데 26b 모델 정도는 쾌적하게 돌아간다는 다른 분의 테스트 글을 보았습니다 참고하십시요
- 경
경사
→ 땅콩버터 04.12 · 222.♡.114.172
8비트나 4비트로는 31B 도 잘 돌지 않을까 싶어요 ㅎㅎ 26B 4bit는 NUC14 내장그래픽으로도 두자리수 토큰은 나오더라구요
- 땅
땅콩버터
→ 경사 작성자 04.12 · 223.♡.205.230
그렇군요 좋은 정보 감사드립니다.
- S
SassyBrain
→ 땅콩버터 04.12 · 115.♡.24.164
일반적인 용도로 쓰면서 openclaw 도 로컬 모델로 돌릴 수 있을 것 같은 희망을 가졌던 pc인데... 무리인가 보군요 ㅜㅜ
- 땅
땅콩버터
→ SassyBrain 작성자 04.12 · 223.♡.205.230
일반적인 용도에는 오픈클로 충분히 돌릴듯 한데 말입니다. 맥미니4도 오픈클로 돌리는데 395pc에서 돌리는 것은 사용하시기 나름이지 않을까 싶습니다.. 네모트론 같은 큰 모델은 맥미니로 돌릴 수도 없을테구요. 일부러 제일 큰 모델 테스트 삼아 돌린건데. 굳이 이 gemma4 제일 큰 모델 말고 적정한 모델로 오픈클로 개안적으로 사용예정입니다..
- 경
경사
→ SassyBrain 04.13 · 211.♡.192.72
좀더 찾아봤는데 모델 크기보다도 dgx spark나 ai 395 같은건 MoE 구조만 빠르게 돌릴수 있어서... 이번 gemma4가 26B 모델만 MoE고 31B는 dense 모델이라 성능 차이가 크게 나나봅니다.
레딧 실험으로는 26B MoE 모델은 초당 30~40토큰 나오네요. https://www.reddit.com/r/LocalLLaMA/comments/1sf182p/gemma_4_on_localai_vulkan_vs_rocm/?tl=ko
댓글을 작성하려면 이 필요합니다.
오 여기서 gemma4 31b 256k context 로 쓸만하게 돌아가나요?