AI都會寫靈魂Rap了？Transformer跨界說唱，節奏流暢度都不在話下
給你一段 Rap，你能看出這是 AI 寫的嗎？
仔細品味，也能發現這段詞中的美中不足之處，但這作詞水平可以說是不錯的。
同樣的第一句，可以迅速生成完全不同的段落：
人類Rapper的雙押，還是更厲害一點：
只需要給定一句輸入，AI 就能生成整首歌詞。從押韻、流暢度、節奏方面，基本不遜于人類 Rapper。
這項研究來自港科大、清華、復旦等機構，在這篇論文中，研究者提出了一個基于 Transformer 的 Rap 生成系統「DeepRapper」，該系統可以同時模擬 Rap 的韻律和節奏。
論文鏈接：https://arxiv.org/pdf/2107.01875.pdf
由于沒有現成可用的節奏對齊的 Rap 數據集，為了構建這個系統，研究者設計了一個數據挖掘 pipeline，并收集了一個大規模的 Rap 數據集進行韻律建模。
一開始，研究者先從網上抓取了許多包含歌詞和音頻的說唱歌曲，并對每一首抓取的說唱歌曲進行一系列數據預處理步驟。為了更好地建模，研究者以自回歸的方式從右到左生成每一句 Rap，這樣就可以很容易地識別出一個句子的最后幾個單詞 (即反向句子的第一個單詞) 來押韻。
此外，為了進一步提高 Rap 的押韻質量，研究者在語言模型中加入了一些押韻表征，并在推理過程中通過押韻約束來提高生成的 Rap 中的 N-gram 韻律。
研究者使用一個特殊的標記 [ BEAT ] 來表示有節奏的節拍，并將其插入到相應的詞之前的歌詞中。通過這種方式，可以在訓練和生成方面按照歌詞的順序來模擬節拍。
受到預訓練語言模型的成功啟發，研究者將預訓練納入系統。為了獲得大規模的預訓練數據，研究者還使用了數據挖掘 pipeline 收集了另外兩個數據集:
1)節拍對齊的非說唱歌曲，它可以比說唱數據集更大，因為非說唱歌曲比說唱歌曲更通用; 2)純歌詞，同樣比非說唱歌曲數據集更大。
在預訓練階段，研究者基于上述兩個數據集對 DeepRapper 模型進行了預訓練，然后調整模型在說唱歌曲與調整節拍上的性能，微調模型即用于最終的說唱產生。客觀評估和主觀評估的實驗結果都證實了 DeepRapper 在生成押韻和節奏的說唱歌詞方面的優勢。
Rap 數據集
以前用于 rap 生成的作品（Potash 等人，2015 年；Liang 等人，2018 年；Nikolov 等人，2020 年）通常使用只有歌詞的說唱數據集，而不考慮節奏節拍信息。為了在 rap 生成中建模節奏，說唱數據集應該包含具有對齊節奏節拍的歌詞。然而，節拍對齊很難實現，因為它們的注釋需要專業音樂家來識別說唱歌曲中的重讀音節。
因此，為了解決這個問題，研究者設計了一個數據挖掘 pipeline 來自動提取 beatlyric 對齊。
數據挖掘 pipeline
下圖 1 展示了數據挖掘 pipeline 的整體框架，包含 5 個步驟：數據抓取、人聲（vocal）與伴奏分離、人聲與歌詞對齊、節拍檢測以及歌詞與節拍對齊。
挖掘數據集
基于上圖數據挖掘 pipeline，研究者得到了一個具有對齊節拍的說唱歌詞（rap lyric）數據集，并命名為 D-RAP。該數據集滿足了構建具有韻律和節奏的 rap 生成系統的要求。他們以 4:1 的比例將 D-RAP 數據集劃分為訓練和驗證集。
與一般歌曲相比，說唱風格的歌曲數量往往較少，因此研究者挖掘了另外兩個數據集，以使用相同的挖掘 pipeline 對 DeepRapper 模型進行預訓練，它們分別是具有對齊節拍的非說唱歌曲數據集 D-SONG 和沒有對齊節拍的純歌詞數據集 D-LYRIC。
研究者在下表 1 中對這三個數據集包含的歌曲數量和歌詞句子數量進行了統計。
下圖 2 展示了 D-RAP 數據集中具有對齊節拍的說唱歌曲示例。
Rap 生成模型
如下圖 3 所示，研究者展示了 rap 生成模型的整體架構以及韻律和節奏建模的細節。
具體地，研究者使用 Transformer 構建了一個用于 rap 生成的自回歸語言模型，并引入了以下一些新的對齊：
1）為了更好地建模韻律，該模型從左到右生成歌詞句子，這是因為押韻字通常位于句子結尾；
2）如前所述，節奏對于 rap 效果至關重要，因而插入了一個特殊的 token [BEAT]來進行顯式節拍建模；
3）與僅有詞嵌入和位置嵌入的原始 Transformer 不同，研究者添加了多個額外嵌入以更好地建模韻律和節奏。
實驗評估
下表 2 展示了 DeepRapper 的客觀與主觀評估結果，并與兩個 baseline 進行了比較。Baseline 模型是一個標準的自回歸語言模型，與 DeepRapper 的模型配置相同，但沒有本文提出的韻律模型（+PT 的意思是采用了預訓練）?？陀^評估結果的維度包括 perplexity、韻律準確性和韻密度；主觀評估維度包括主題、流暢度、押韻質量和押韻多樣性。
為了突出 DeepRapper 在建模 N-gram 韻律中的優勢，研究者使用 Combo-N 來度量 DeepRapper 中每個設計建模 N-gram 韻律的能力。結果如下表 4 所示：
為了更好地度量節拍質量，研究者分別使用 DeepRapper 和具有節拍頻率控制的 DeepRapper 隨機生成了大約 5000 個樣本。他們提出了一階分布（First Order Distribution, FOD）和二階分布（Second Order Distribution, SOD），并度量了生成樣本與 DRAP 數據集之間分布的距離。
研究者將當前 [BEAT] 的間隔定義為當前 [BEAT] 與下個 [BEAT] 之間的歌詞數量。因此，FOD 被定義為當前 [BEAT]間隔的分布，SOD 被定義為當前 [BEAT]與下個 [BEAT]之間間隔差的分布。間隔的數值區間為[0, 1]，具體結果如下表 5 所示：
下圖 6 中，研究者展示了生成的 rap 歌曲示例，可以看出 DeepRapper 的生成效果還不錯。
