微軟開源 VibeVoice-1.5B：90分鐘多角色語音合成，讓TTS進入“長音頻時代” 原創(chuàng)

發(fā)布于 2025-10-9 07:29

瀏覽

0收藏

過去幾年，AI語音合成（TTS, Text-to-Speech）技術突飛猛進。從最初僵硬的機器人腔，到今天能表達情緒、模仿語氣的自然人聲，TTS 已經(jīng)悄悄滲透進播客、客服、教育培訓乃至短視頻配音等場景。

然而，絕大多數(shù)開源 TTS 模型仍然存在兩大硬傷：一是 時長受限，通常難以生成超過幾分鐘的連貫語音；二是 角色單一，很難在同一段音頻里自然呈現(xiàn)多位說話人。

微軟最新開源的 VibeVoice-1.5B 正是在這兩個痛點上給出了突破性答案：它能一次性合成長達 90分鐘的語音，還能支持 多達四個不同角色的發(fā)聲，并且已經(jīng)在 Hugging Face 免費開放下載，MIT 許可證，研究者與開發(fā)者都可自由使用。

這不僅是一款新的 TTS 模型，更像是一整套面向“長音頻對話場景”的開放框架，直接瞄準播客、長對話內(nèi)容生成以及跨語言語音應用。

一、VibeVoice-1.5B 能做什么？

從官方公布的功能來看，VibeVoice-1.5B 的定位非常清晰：它不是“短句讀稿器”，而是面向 長篇、多角色、情緒化 的語音場景。

核心能力包括：

超長上下文支持

最長可合成90分鐘不間斷語音，遠超大部分只能生成幾分鐘的開源模型。
特別適合播客、長對話、故事講述等需要“整段生成”的應用。

多角色對話

支持最多四位不同發(fā)聲人 同時出現(xiàn)。
不是簡單拼接，而是真正模擬自然對話的節(jié)奏與輪換。

跨語言與歌聲生成

訓練語料涵蓋中文與英文，支持跨語言朗讀（如英文提示→中文語音）。
更難得的是，它甚至可以生成“唱歌”的效果，在開源模型中極為少見。

情緒與表達力

內(nèi)置情緒控制機制，能生成更自然、帶有語氣變化的聲音，而非單調(diào)播報。

開放友好

基于MIT License 完全開源，可商用、可二次開發(fā)，研究復現(xiàn)無門檻。
社區(qū)測試顯示，運行對多角色對話的推理需要大約7GB 顯存，一張 RTX 3060 就能本地跑起來。

一句話總結(jié)：這是一個 能跑長劇本、能講多角色故事、能切換語言還能唱歌 的 TTS 工具，真正讓“合成音頻”從小樣本實驗邁向長篇真實內(nèi)容。

微軟開源 VibeVoice-1.5B：90分鐘多角色語音合成，讓TTS進入“長音頻時代”-AI.x社區(qū)

二、它為什么強？技術架構(gòu)拆解

如果說功能是亮點，那么架構(gòu)設計就是 VibeVoice-1.5B 真正的“底氣”。微軟在這里用了不少創(chuàng)新思路：

微軟開源 VibeVoice-1.5B：90分鐘多角色語音合成，讓TTS進入“長音頻時代”-AI.x社區(qū)

1. 基礎大模型

底座是Qwen2.5-1.5B LLM，一個 15 億參數(shù)的語言模型，負責語義建模與對話邏輯。
與傳統(tǒng) TTS 的“文本直接轉(zhuǎn)語音”不同，VibeVoice 先用 LLM 處理語義與對話結(jié)構(gòu)，再交給語音生成模塊。

2. 雙 Tokenizer 設計

聲學 Tokenizer（Acoustic）

基于 σ-VAE 結(jié)構(gòu)，約 3.4 億參數(shù)，能將 24kHz 原始音頻壓縮到 3200倍低頻率（7.5Hz） 表示，保證長序列生成的效率。

語義 Tokenizer（Semantic）

借助 ASR 代理任務訓練，專注處理語義信息，同樣以低頻率表示，保證長語音時的連貫性。

這套“雙路并行”設計讓模型既能保留語音細節(jié)，又能處理大規(guī)模上下文。

3. 輕量擴散解碼器

采用擴散模型（Diffusion Decoder Head），僅 1.23 億參數(shù)，負責將 Token 轉(zhuǎn)回高質(zhì)量音頻。
借助CFG（Classifier-Free Guidance）與DPM-Solver提升音質(zhì)，兼顧表現(xiàn)力與可控性。