一天拿下3.4k star，這個1.6B開源模型火了，合成對話超逼真
如果不提前告訴你，你可能很難相信這段視頻里的語音全部是 AI 生成的：
這些聲音來自 Dia-1.6B——一個剛剛在 ??、GitHub 等平臺上走紅的開源語音模型。它不僅能生成說話的聲音、對話，同時也能合成真實感非常強的笑聲、噴嚏聲和吸鼻子聲等表達情緒的聲音。
由于效果過于逼真，它在 GitHub 上線后不到 24 小時就收獲了超過 3.4k star，現在的 star 數更是已經達到了 5.4k。同時，Dia-1.6B 也是目前 Hugging Face 上熱度第二的模型，目前已經被下載了超過 5600 次。
- GitHub：https://github.com/nari-labs/dia/
- Hugging Face: https://huggingface.co/nari-labs/Dia-1.6B
- 試用地址：https://huggingface.co/spaces/nari-labs/Dia-1.6B
在和 ElevenLabs Studio、Sesame CSM-1B 等之前以逼真著稱的模型對比之后，Dia-1.6B 依然有著明顯的優勢，尤其是在情緒表達方面。
表現如此之好，自然也是收獲好評無數：
機器之心也做了一些簡單的嘗試，下面是一個示例
整體來說，Dia-1.6B 在合成簡單英語對話方面確實表現卓越，但卻并不能很好地理解用戶通過括號標注的指令，偶爾會出現類似電流的雜音。
Dia 模型細節
Dia 來自 Nari Labs，是一個 1.6B 參數量的文本轉語音模型。
Dia 可以直接基于文字生成高真實感的對話。用戶可以對輸出的音頻進行調整，從而控制其情緒和語調。同時，模型還可以生成非語言的交流聲音，例如笑聲、咳嗽聲、吸鼻子聲等。
并且 Nari Labs 開源發布了 Dia，使用了 Apache License 2.0 證書。該團隊表示：「為了加速研究，我們提供了預訓練模型檢查點和推理代碼的訪問權限。模型權重托管在 Hugging Face 上。」
不過遺憾的是，目前該模型僅支持英語生成。
硬件和推理加速
目前 Nari Labs 并未發布 Dia 模型的詳細技術報告，但我們可以在其 Hugging Face 頁面看到些許有關硬件和推理加速的技術細節。
該團隊表示，Dia 目前僅在 GPU 上進行過測試（Pytorch 2.0+，CUDA 12.6）。CPU 支持也即將添加。并且由于需要下載 Descript Audio Codec，初始運行會需要更長時間。
在企業級 GPU 上，Dia 可以實時生成音頻。在較舊的 GPU 上，推理會更慢。作為參考，在 A4000 GPU 上，Dia 大約每秒生成 40 個 token（86 個 token 相當于 1 秒的音頻）。torch.compile 將提高受支持 GPU 的速度。
Dia 的完整版本需要大約 10GB 的顯存才能運行。不過該團隊承諾未來會放出一些量化版本。
Dia 還有更大規模的版本。在 Nari Labs 的 Discord 中，開發者 Toby Kim 表示更大的模型還處于規劃階段。感興趣的用戶可以通過這個鏈接加入等待列表：https://tally.so/r/meokbo
另外，Toby Kim 還指出目前最長能穩定生成大約 25 秒的音頻，但用戶也可以基于之前的生成結果來生成更長的音頻。
Nari Labs 簡介
Nari Labs 的 Hugging Face 頁面透露，Nari 是一個源自韓語的詞（??），意為百合。
據介紹，Nari Labs 是一個非常小的團隊，目前僅有一位全職研究工程師和一位兼職研究工程師。他們的 GitHub 賬戶也是四天前才剛注冊的。
其中一位開發者 Toby Kim 在 ?? 上表示，這兩位工程師目前都還是本科生。而他們的目標是「構建一個可以與 NotebookLM Podcast、ElevenLabs Studio 和 Sesame CSM 相媲美的 TTS 模型。」
目前看來，他們已經取得了初步的成功。Toby Kim 表示這項成功耗時三個月時間，而這個過程中他們遇到的最大阻礙是計算不足。
接下來，他們計劃將 Dia 做成一個 B2C 應用，可以生成有趣的對話和混音內容。
