DINKIssTyle (61.♡.73.102)
2026년 3월 18일 AM 09:13
https://x.com/stevibe/status/2033857533983777185
저는 로컬 소형 모델의 한계를 시험하는 데 몰두하고 있습니다. Qwen3.5:0.8b 모델은 Mac Studio M2 Ultra에서 실시간 비디오 자막을 생성하고, 비디오 재생과 동시에 설명을 스트리밍합니다. 프레임당 1초도 채 걸리지 않으며, 3분 49초짜리 비디오에서 269프레임을 캡처하고 설명했습니다. 아무 곳에서나 일시 정지하고 자막을 읽어보면 모든 프레임을 놀라울 정도로 정확하게 설명합니다. 이 모델의 용량은 1GB도 채 되지 않습니다. 로컬 AI는 믿을 수 없을 정도로 빠르게 발전하고 있습니다.
오.. 퀜 3.5 0.8b 녀석 이런일에 안성맞춤이군요~
영상속 캡셔닝 솔루션은 https://github.com/stevibe/local-llm-video-captioning 입니다.
댓글 (5)
- 셀
셀레본
03.18 · 112.♡.41.1
- D
DINKIssTyle
→ 셀레본 작성자 03.18 · 61.♡.73.102
엇~ 그러게요
mlx-community/Qwen3.5-0.8B-MLX-8bit
우선 퀜3.5가 비디오, 오디오, 이미지, 텍스트 멀티모달이긴 한데... 0.8b에도 되는게 신기하군요
-
일일리어스
→ 셀레본 03.18 · 211.♡.22.79
API 연동하지 않았을까요?
- 도
도롱이
03.18 · 106.♡.202.101
일단 리소스를 쏟아부으면 AI가 제대로 동작한다는 것을 알게 되었으니 그 다음에 리소스의 최적화는 당분간은 어려운 일이 아니죠.
-
BBigHeadAZ
03.18 · 1.♡.205.104
저도 여러가지 사이드프로젝트를 llm 과 연동하는 실험을 하는 중인데요.
아무래도 대형모델들은 응답시간이 좀 굼뜨는 느낌이 많더라구요. 채팅이야 스트림으로 받으면 되지만,
대부분의 다른 응용 어플리케이션들은, 결과만 받아야 하니 느릴수 밖에 없더군요.
가벼운 로컬 모델이 원하는 목적에 달성할 수 있는 만큼만 발전되면 딱 좋겠습니다.
댓글을 작성하려면 이 필요합니다.
텍스트 모델인데 받아쓰기를 어떻게 하는걸까요? openai에서 받아쓰기 전용 모델로 whisper를 만들었는데, 저 정도면 whisper보다 정확한 것도 같아 보이는데요. 신기하네요.