완두파 (211.♡.65.23)
2026년 7월 9일 AM 09:38
스팀덱 oled 1개 가지고 있는데, 알고보니 16gb 통합메모리 시스템이네요.
잘 구워 삶아서 Ornith-1.0-9B 모델을 구동 해보니 잘 되네요.
모델 4bit 양자화, kvcache turboquant 4bit 양자화 , 64k ctx 적용해서 써보니 12~14 tps 정도 나오네요.
그런데 역시나 세차장 벤치는 실패네요!! ㅎㅎ
현재는 Hermes agent 를 가족들과 함께 일상용 비서로 사용하고 있기 때문에 구독제 api 를 이용하여 deepseek v4 flash 를 연결하여 쓰고 있습니다.
스팀덱을 24시간 서버로 쓰는데 역시 api 호출이다 보니 열이 안나서 안정적이네요.
최근 댓글
- 하다 못해 말 하다가 기침만 나와도 죄송하다고 사과를 합니다.그런데 일베어를 내뱉어 놓고도 사과를 안하는건 몰상식한겁니다.
- 자율주행이 되는 차와 안되는 차 중 선택 하는거죠.Ncm 과 lfp 배터리는 명백히 각자의 장단점이 있어서 취향 차이이구요.
- 스파크 1대로 STEP3.7 양자화 모델 구동하면 30토큰까지 나옵니다.대신 추론을 LOW 로 해야 루프에 안빠지고 쓸만하더라구요.지금은 개선이
- 잘 가세요~
- 아무래도 메모리가 부족하다보니 일단 26b나 35b moe 모델은 무조건 oom 나더라구요.그래서 9b 모델 자체도 4bit 양자화 모델 적용하
댓글 (4)
- 찌
찌릿
07.09 · 1.♡.83.12
- 완
완두파
→ 찌릿 작성자 07.09 · 211.♡.65.23
코딩, 에이전트, 툴콜 같은 기술적 성능은 아닌데 일상적으로 사용하는 수준에서의 수준을 평가하는 유명한 벤치입니다. ㅋㅋ
재미삼아 하는 수준의 테스트고, 별의별 기기에서 둠이 구동 되는지 안되는지 수준의 밈 정도라고 보시면 됩니다.
-
남남극백곰
07.09 · 114.♡.188.135
전 스팀덱에 아무리 해도 안 풀리던데 대단해요
- 완
완두파
→ 남극백곰 작성자 07.09 · 211.♡.65.23
아무래도 메모리가 부족하다보니 일단 26b나 35b moe 모델은 무조건 oom 나더라구요.
그래서 9b 모델 자체도 4bit 양자화 모델 적용하고
Kv cache 를 tourboquant 로 양자화 해서 겨우 돌렸습니다.
Hermes agent 가 실행하려면 max ctx 를 최소 64k 이상 확보해야 실행이 되어서 양자화는 필수네요.
댓글을 작성하려면 이 필요합니다.
오 이런 테스트가 있군요 ㅎㅎ 걸어서 세차를 ㅋㅋ