時域音頻分離模型登GitHub熱榜，效果超傳統頻域方法
本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。
用AI對歌曲音軌的分離研究很多，不過大多數都是在頻域上進行的。這類方法先把聲音進行傅立葉變換，再從頻譜空間中把人聲、樂曲聲分別抽離出來。
比如，上個月在GitHub上大熱的Spleeter，就是這樣。
但是由于要計算頻譜，這類工具存在著延遲較長的缺點。雖然之前也有一些對聲音波形進行處理的方法，但實際效果與頻域處理方法相差甚遠。
最近，Facebook AI研究院提供了兩種波形域方法的PyTorch實現，分別是Demucs和Conv-Tasnet，而且測試結果均優于其他常見的頻域方法，目前登上了GitHub日榜
效果對比
話不多說，我們先來聽聽這段30s音頻的分離實測效果。
vocals.mp3
00:30.069
這兩種方法在MusDB上的訓練結果已經接近了頻域方法的最優結果，加入150首額外的訓練數據后，總體信號失真比（overall SDR）達到了6.3，超過了其他所有方法。
安裝與使用方法
先將代碼下載到本地，根據自己用CPU還是GPU來選擇不同的安裝環境：
- conda env update -f environment-cpu.yml # if you don’t have GPUs
- conda env update -f environment-cuda.yml # if you have GPUs
- conda activate demucs
在代碼庫的根目錄下運行以下代碼（Windows用戶需將python3換為python.exe）：
- python3 -m demucs.separate --dl -n demucs PATH_TO_AUDIO_FILE_1 [PATH_TO_AUDIO_FILE_2 ...] # for Demucs
- python3 -m demucs.separate --dl -n tasnet PATH_TO_AUDIO_FILE_1 ... # for Conv-Tasnet
- # Demucs with randomized equivariant stabilization (10x slower, suitable for GPU, 0.2 extra SDR)
- python3 -m demucs.separate --dl -n demucs --shifts=10 PATH_TO_AUDIO_FILE_1
其中—dl將自動下載預訓練模型，-n后的參數代表選用的預訓練模型類型：
demucs：表示在MusDB上進行訓練的Demucs；
demucs_extra：使用額外數據訓練的Demucs；
tasnet：表示在MusDB上進行訓練的Conv-Tasnet；
tasnet_extra：使用額外數據訓練的Conv-Tasnet。
在—shifts=SHIFTS執行多個預測與輸入和平均他們的隨機位移（又名隨機等變穩定）。這使預測SHIFTS時間變慢，但將Demucs的精度提高了SDR的0.2點。它對Conv-Tasnet的影響有限，因為該模型本質上幾乎是等時的。原始紙張使用10的值，盡管5產生的增益幾乎相同。默認情況下禁用它。
原理簡介
Demucs是Facebook人工智能研究院在今年9月提出的弱監督訓練模型，基于受Wave-U-Net和SING啟發的U-Net卷積架構。
研究人員引入了一個簡單的卷積和遞歸模型，使其比Wave-U-Net的比信號失真比提高了1.6個點。
上圖是Demucs的完整框架結構，右側是編碼器和解碼器層的詳細表示。
與之前的Wave-U-Net相比，Demucs的創新之處在于編碼器和解碼器中的GLU激活函數，以及其中的雙向LSTM和倍增的通道數量。
Conv-TasNet是哥大的一名中國博士生Yi Luo提出的一種端到端時域語音分離的深度學習框架。
Conv-TasNet使用線性編碼器來生成語音波形的表示形式，該波形針對分離單個音軌進行了優化。音軌的分離則是通過將一組加權函數（mask）用于編碼器輸出來實現。
然后使用線性解碼器將修改后的編碼器表示形式反轉回波形。由卷積的一維擴張卷積塊組成的時間卷積網絡（TCN）查找mask，使網絡可以對語音信號的長期依賴性進行建模，同時保持較小的模型尺寸。
Conv-TasNet具有顯著較小的模型尺寸和較短的延遲，是脫機和實時語音分離應用程序的合適解決方案。
傳送門
項目地址：
https://github.com/facebookresearch/demucs
測試結果論文：
https://hal.archives-ouvertes.fr/hal-02379796/document
