RTX 3090 24GB에서 DiffusionGemma 26B-A4B-it Q4_K_M GGUF 테스트.

프롬프트: "Explain DeepMind."

최고 raw TPS는 max_steps=4에서 222.8 tok/s였지만 출력은 깨졌습니다.

영어 기준 실사용 가능한 지점은 max_steps=24의 49.5 tok/s 전후로 측정됩니다.

보수적 품질 설정 max_steps=48은 42.9 tok/s였습니다.

영어가 더 잘나올 줄 알았는데 비슷한 것 같습니다.

샘플 요약:

max_steps=4:

DeepMind is a British artificial intelligence (AI) research laboratory based in London

subsidiary of subsidiary of subsidiary subsidiary parent parent...

max_steps=12:

DeepMind is a British artificial intelligence research laboratory based in London. It is a

subsidiary of Alphabet Inc...

...

AlphaZero ... playing playing against itself ... surpassing surpassing...

max_steps=24는 영어 답변이 꽤 쓸 만했습니다. 다만 같은 문단을 반복하는 현상이 있습니다.

max_steps=48도 가장 안정적이지만 완전히 깨끗하진 않습니다.