VibeVoice: 최첨단 오픈 소스 텍스트 음성 변환 모델

VibeVoice-Realtime은 스트리밍 텍스트 입력 과 강력한 장문 음성 생성을 지원하는 경량 실시간 텍스트 음성 변환 모델 입니다 . 실시간 TTS 서비스를 구축하고, 라이브 데이터 스트림을 내레이션하고, 다양한 LLM이 완전한 답변이 생성되기 훨씬 전에 첫 번째 토큰(선호하는 모델에 플러그인)에서 음성을 시작하도록 할 수 있습니다. 하드웨어에 따라 약 300ms 이내에 초기 음성을 생성합니다 .

▶️ 데모 영상 보기

이 모델은 인터리브드 윈도우 방식을 사용합니다. 즉, 입력되는 텍스트 청크를 점진적으로 인코딩하는 동시에 이전 맥락에서 확산 기반 음향 잠재 생성을 병렬로 계속 진행합니다. 완전한 다중 화자 장문 변형과 달리, 이 스트리밍 모델은 의미론적 토크나이저를 제거하고 초저 프레임 속도(7.5Hz)로 작동하는 효율적인 음향 토크나이저에만 의존합니다.

주요 특징:

• 매개변수 크기: 0.5B(배포에 적합)
• 실시간 TTS(~300ms 최초 가청 지연)
• 스트리밍 텍스트 입력
• 강력한 장문 음성 생성

이 실시간 변형은 단일 화자만 지원합니다. 다중 화자 대화 음성 생성에는 다른 VibeVoice 모델을 사용하세요 . 이 모델은 현재 영어 음성에만 사용되며, 다른 언어에서는 예측할 수 없는 결과가 발생할 수 있습니다.

https://huggingface.co/microsoft/VibeVoice-Realtime-0.5B

아직 영어기는 하지만 속도 매우 빨라 보이네요.

그나저나 바이브 보이스 악용 사례가 있다고 모델 내렸었던 같은데...

지금 1.5B 모델은 내려받을 수 있군요.

남들 다 하는거 안하고 있으려니 근질거린 마소입니까? ㅎㅎㅎㅎ