사용기
DFlash가 빠르긴 빠르네요
C
CaTo (112.♡.38.222)
2026년 7월 20일 PM 06:33
조회 488 공감 0
llamacpp에 DFlash가 통합 되서,
잘 돌아간다는 Qwen 3.6으로 한번 돌려봤습니다.
느려터진 Strix Halo에서 Q6KL기준
27B : 15-16tps -> 15-23tps 오락가락
35BA3B: 60tps -> 60-90tps 오락가락
어차피 메모리는 남아도니까 DFlash올리면 되는데, 이걸로 써보니 디퓨전 계열이라
뭔가 엉성하고 멍청해지는거 같네요 ;;
MoE모델 같은 경우는 말귀도 제대로 못알아 듣는 듯
댓글 (2)
-
플플루
07.20 · 221.♡.234.208
- C
CaTo
→ 플루 작성자 07.21 · 112.♡.38.222
네 통합되었는데 머 아직 좀 그렇습니다 ㅎㅎ
댓글을 작성하려면 이 필요합니다.
llamacpp 에 DFlash 가 통합되었나요? ㅎ. 윗글에도 있지만.. 저는 괜히 빌드 테스트 하느라 고생했네요.
좀만더..좀만더 쾌적해지면 좋겠는데요.
사람 욕심에는 끝이없어요.