Python進(jìn)行AI聲音克隆的端到端指南
人工智能語音克隆是一種捕捉聲音的獨(dú)特特征，然后準(zhǔn)確性復(fù)制它的技術(shù)。這種技術(shù)不僅可以讓我們復(fù)制現(xiàn)有的聲音，還可以創(chuàng)造全新的聲音。它是一種徹底改變內(nèi)容創(chuàng)作的工具，從個(gè)性化歌曲到自定義畫外音，開辟了一個(gè)超越語言和文化障礙的創(chuàng)意世界。
本文的將提供利用AI語音克隆技術(shù)-通過訓(xùn)練自定義模型將任何音頻轉(zhuǎn)換為選定藝術(shù)家的音調(diào)甚至自己的聲音的端到端解決方案。
技術(shù)背景
我們將在本文中使用的技術(shù)稱為歌唱聲音轉(zhuǎn)換(Singing Voice Conversion )，特別是一個(gè)稱為SO-VITS-SVC的系統(tǒng)，它代表“SoftVC VITS Singing Voice Conversion”。
SO-VITS-SVC系統(tǒng)代表了使用深度學(xué)習(xí)技術(shù)的聲音轉(zhuǎn)換(SVC)的復(fù)雜實(shí)現(xiàn)。理解這個(gè)系統(tǒng)需要了解它所使用的特定機(jī)器學(xué)習(xí)架構(gòu)和算法。
1、變分推理和生成對(duì)抗網(wǎng)絡(luò)
SO-VITS-SVC的核心是文本到語音的變分推理(VITS)架構(gòu)。該系統(tǒng)巧妙地結(jié)合了變分自編碼器(VAEs)和生成對(duì)抗網(wǎng)絡(luò)(GANs)。在SVC中，mel譜圖是音頻信號(hào)的重要表征，利用VAE對(duì)mel譜圖的分布進(jìn)行建模，有助于捕捉語音的潛在變量。
VAE損失函數(shù)按下式表示。式中，x為輸入mel譜圖，z為潛變量，KL為Kullback-Leibler散度。
上面公式封裝了VAE損失函數(shù)，通過Kullback-Leibler散度平衡了mel譜圖的重建和潛空間的正則化。
GAN則增強(qiáng)了合成音頻的真實(shí)感。GAN中的鑒別器對(duì)生成器的輸出進(jìn)行判別，提高了生成器的精度。GAN損失函數(shù)為:
GAN損失函數(shù)展示了對(duì)抗訓(xùn)練動(dòng)態(tài)，驅(qū)動(dòng)生成模型產(chǎn)生難以區(qū)分的歌聲。
如果想全面了解了解變分自編碼器(VAEs)和生成對(duì)抗網(wǎng)絡(luò)(gan)，以下是原始論文:
VAEs: Kingma, D. P., and Welling, M. “Auto-Encoding Variational Bayes.” arXiv:1312.6114, 2013.
GANs: Goodfellow, I. J., et al. “Generative Adversarial Nets.” arXiv:1406.2661, 2014.
2、淺擴(kuò)散過程
如附所示，淺擴(kuò)散過程從噪聲樣本開始，通過一系列變換逐步細(xì)化為結(jié)構(gòu)化梅爾譜圖。
上圖展示了SO-VITS-SVC合成流程，從淺擴(kuò)散模型的初始噪聲生成到mel譜圖的細(xì)化和最終可聽聲音輸出的語音編碼。
初始噪聲樣本:噪聲的視覺表示，作為擴(kuò)散過程的起點(diǎn)。
轉(zhuǎn)換步驟:噪聲在擴(kuò)散模型中經(jīng)歷一系列步驟，從無序狀態(tài)過渡到結(jié)構(gòu)化的mel譜圖。其中xt是步驟t的數(shù)據(jù)，而ε表示高斯噪聲。
上面公式說明了擴(kuò)散過程中的逐漸轉(zhuǎn)變，將隨機(jī)噪聲轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，捕捉目標(biāo)歌聲的細(xì)微差別。在SO-VITS-SVC的背景下，“淺”意味著更少的層或步驟，在計(jì)算效率和音頻質(zhì)量之間取得平衡。
mel譜圖優(yōu)化:這個(gè)過程的結(jié)果是一個(gè)mel譜圖，它封裝了歌唱聲音的音頻內(nèi)容，為下一個(gè)合成階段做好準(zhǔn)備。
聲音編碼:最后的聲音編碼步驟將mel譜圖轉(zhuǎn)換成聲音波形，即可聽到的歌聲。
如果想深入探索擴(kuò)散模型，請(qǐng)看一下的資料:
Sohl-Dickstein, J., et al. “Deep Unsupervised Learning using Nonequilibrium Thermodynamics.” arXiv:1503.03585, 2015.
Ho, J., et al. “Denoising Diffusion Probabilistic Models.” arXiv:2006.11239, 2020.
3、完整流程與SVC系統(tǒng)的整合
在淺層擴(kuò)散模型將噪音結(jié)構(gòu)化成更連貫的形式之后，如前面提到的圖表所示，生成的mel譜圖捕捉了歌唱聲音的微妙音頻內(nèi)容。這個(gè)mel譜圖作為原始、非結(jié)構(gòu)化數(shù)據(jù)與最終聲音輸出之間的關(guān)鍵橋梁。
然后使用聲碼器將優(yōu)化后的mel譜圖轉(zhuǎn)換為音頻波形。在這一步中，將從視覺數(shù)據(jù)轉(zhuǎn)換為可聽的歌唱聲音。聲碼器的作用是合成mel譜圖中捕捉到的音高、音色和節(jié)奏的細(xì)微差別，從而產(chǎn)生最終的歌唱聲音輸出。
為了實(shí)現(xiàn)高保真度的合成，SO-VITS-SVC系統(tǒng)會(huì)經(jīng)過重新的訓(xùn)練和優(yōu)化。訓(xùn)練包括優(yōu)化結(jié)合了VAE、GAN和擴(kuò)散模型組件貢獻(xiàn)的損失函數(shù)。這種優(yōu)化使用諸如隨機(jī)梯度下降或Adam等算法進(jìn)行，其最終目標(biāo)是最小化總體損失。這個(gè)過程確保最終輸出在音色、音高和節(jié)奏方面與目標(biāo)歌唱聲音非常相似。
這個(gè)過程的最終結(jié)果是一個(gè)與目標(biāo)歌唱聲音非常相似的合成聲音。在保持源聲音的音樂性和表現(xiàn)力細(xì)微差別的能力的同時(shí)，采用目標(biāo)的音色特質(zhì)，這是SO-VITS-SVC系統(tǒng)復(fù)雜性的體現(xiàn)。
4、使用的python庫
GitHub上的SO-VITS-SVC Fork是一個(gè)專門設(shè)計(jì)用于實(shí)時(shí)歌聲轉(zhuǎn)換的專業(yè)工具。它是提供了增強(qiáng)功能的原始SO-VITS-SVC項(xiàng)目的分支：如使用CREPE更準(zhǔn)確的音高估計(jì)、圖形用戶界面(GUI)、更快的訓(xùn)練時(shí)間以及使用pip安裝工具的便利性。
它還集成了QuickVC并修復(fù)了原始存儲(chǔ)庫中存在的一些問題。并且支持實(shí)時(shí)語音轉(zhuǎn)換，下面我們來演示如何使用它。
AI聲音克隆
聲音克隆就是我們一般所說的推理階段，是指神經(jīng)網(wǎng)絡(luò)模型在數(shù)據(jù)集上接受訓(xùn)練以理解特定聲音后，用所學(xué)到的聲音生成新內(nèi)容的過程。
在這個(gè)階段，我們可以通過向預(yù)訓(xùn)練的模型提供新的輸入(原始的聲音音頻)來讓AI“唱歌”，然后該模型會(huì)在原始聲音音頻上產(chǎn)生模仿藝術(shù)家歌唱風(fēng)格的輸出。
1、設(shè)置環(huán)境
為簡(jiǎn)單起見，我們將創(chuàng)建一個(gè)心的虛擬環(huán)境，然后使用它
conda create -n sovits-svc
conda activate sovits-svc安裝必要的庫。
!python -m pip install -U pip wheel
%pip install -U ipython
%pip install -U so-vits-svc-fork如果你運(yùn)行svc命令報(bào)錯(cuò)，例如下圖
則需要使用pip uninstall Torchaudio卸載Torchaudio，然后使用pip install Torchaudio重新安裝。這可能是因?yàn)橐恍┮蕾嚊]有完整的安裝，所以卸載后重裝就可以了。
2、預(yù)訓(xùn)練模型
entrepreneurdly在Huggingface上提供了很多預(yù)訓(xùn)練模型
我們直接下載使用：
from huggingface_hub import hf_hub_download
import os
# Set the repository ID and local directory, we'll use Drake's Model
repo_id = 'Entreprenerdly/drake-so-vits-svc'
local_directory = '.'
# Download the config.json file
config_file = hf_hub_download(
repo_id=repo_id,
filename='config.json',
local_dir=local_directory,
local_dir_use_symlinks=False
)
# Construct the path to the config file in the current directory
local_config_path = os.path.join(local_directory, 'config.json')
print(f"Downloaded config file: {local_config_path}")
# Download the model file
model_file = hf_hub_download(
repo_id=repo_id,
filename='G_106000.pth',
local_dir=local_directory,
local_dir_use_symlinks=False
)
# Construct the path to the model file in the current directory
local_model_path = os.path.join(local_directory, 'G_83000.pth')
print(f"Downloaded model file: {local_model_path}")3、選擇一個(gè)干凈的音頻文件
下面就是要復(fù)制音頻，但是這里需要音頻是一個(gè)只有人聲的干凈的音頻文件，如果音頻里面的噪聲比較多，我們需要手動(dòng)進(jìn)行預(yù)處理。因?yàn)樵匆纛l的質(zhì)量會(huì)顯著影響語音轉(zhuǎn)換的保真度，因此始終建議使用高質(zhì)量、干凈的錄音。
import requests
vocals_url = 'https://drive.google.com/uc?id=154awrw0VxIZKQ2jQpHQQSt__cOUdM__y'
response = requests.get(vocals_url)
with open('vocals.wav', "wb") as file:
file.write(response.content)
display(Audio('vocals.wav', autoplay=True))4、運(yùn)行推理
from IPython.display import Audio, display
import os
# Filenames
audio_filename = 'vocals.wav'
model_filename = 'G_106000.pth'
config_filename = 'config.json'
# Construct the full local paths
audio_file = f"\"{os.path.join('.', audio_filename)}\""
model_path = f"\"{os.path.join('.', model_filename)}\""
config_path = f"\"{os.path.join('.', config_filename)}\""
# Running the inference command
!svc infer {audio_file} -m {model_path} -c {config_path}5、顯示輸出
可以直接在Jupyter筆記本或任何IPython界面中顯示輸出音頻:
from IPython.display import Audio, display
# Path for the output audio file
output_audio_path = "vocals.out.wav"
# Display the output audio
display(Audio(output_audio_path, autoplay=True))使用GUI
SO-VITS-SVC系統(tǒng)提供了一個(gè)可選的GUI來執(zhí)行語音轉(zhuǎn)換。可以使用以下命令啟動(dòng)它
svcg
訓(xùn)練自己的AI模型
上面我們演示了使用預(yù)訓(xùn)練模型的推理過程，下面我們來介紹如何訓(xùn)練自己的模型。
我們將展示使用SO-VITS-SVC系統(tǒng)訓(xùn)練自定義歌聲轉(zhuǎn)換模型所需的步驟。從準(zhǔn)備數(shù)據(jù)集開始，進(jìn)行環(huán)境設(shè)置和模型訓(xùn)練，最后通過從現(xiàn)有音頻剪輯生成歌聲來進(jìn)行生成。
這個(gè)任務(wù)需要大量計(jì)算資源，需要一臺(tái)配備高端GPU和大量VRAM的系統(tǒng)——通常超過10GB。對(duì)于那些個(gè)人硬件可能不符合這些要求的人來說，Google Colab提供了一個(gè)可行的替代方案，提供了訪問強(qiáng)大GPU和足夠的內(nèi)存——一塊T4 GPU就足夠了。
1、數(shù)據(jù)準(zhǔn)備
可以在Hugging Face上找到許多適用于訓(xùn)練自定義so-vits-svc模型的語音數(shù)據(jù)集。但是要個(gè)性化自己的模型以反映獨(dú)特的聲音特征，則需要錄制自己的聲音。
聲音樣本要求：
- 樣本長(zhǎng)度：最好每段10秒。這個(gè)長(zhǎng)度對(duì)于捕捉聲音細(xì)微差別而言是最理想的，同時(shí)也不會(huì)對(duì)處理過程提出太高的要求。
- 樣本數(shù)量：數(shù)據(jù)越多，效果越好。需要至少200個(gè)聲音樣本。如果需要唱歌，則需要50個(gè)歌唱樣本和150個(gè)說話樣本，類似這樣比例。
- 總音頻長(zhǎng)度：至少五分鐘的總音頻時(shí)常。這為模型提供了一個(gè)學(xué)習(xí)的堅(jiān)實(shí)基礎(chǔ)。
- 多樣化內(nèi)容：通過朗讀語音質(zhì)量平衡的句子來覆蓋各種音素。例如IEEE推薦的語音質(zhì)量測(cè)量實(shí)踐提供了一個(gè)這樣的句子列表，這些句子可以為一個(gè)全面的數(shù)據(jù)集做出貢獻(xiàn)。
- 錄制工具：Audacity是一個(gè)免費(fèi)、開源的軟件，非常適合錄制您的樣本。它可以輕松錄制、編輯和導(dǎo)出WAV文件，還可以對(duì)音頻進(jìn)行處理，所以推薦使用
聲音樣本的預(yù)處理
我們需要從音頻軌道中去除背景噪音。Spleeter庫可以實(shí)現(xiàn)這個(gè)功能
!pip install spleeter
from spleeter.separator import Separator
# Initialize the separator with the desired configuration.
# Here, 'spleeter:2stems' means we want to separate the audio into two stems: vocals and accompaniment.
separator = Separator('spleeter:2stems')
# Use the separator on the audio file.
# This function will separate the audio file into two files: one containing the vocals, and one containing the background music.
separator.separate_to_file('audiofile.wav', './')將音頻軌道分割為片段：我們可以使用AudioSlicer將大量的音頻文件分割成適合訓(xùn)練模型的10至15秒的片段。
from audioslicer import slice_audio
# Path to the input audio file
input_audio_path = 'long_audio_file.wav'
# Path to the output directory where snippets will be saved
output_directory = 'output/snippets/'
# Length of each audio snippet in seconds
snippet_length = 15
# Slice the audio file into snippets
slice_audio(input_audio_path, output_directory, snippet_length)在當(dāng)目錄下創(chuàng)建了dataset_raw文件夾，并且錄音存儲(chǔ)在dataset_raw/{speaker_id}目錄中，如下面的文件夾結(jié)構(gòu)所示
.
├── dataset_raw
│ └── {speaker_id}
│ └── {wav_file}.wav我們處理后的音頻以這種形式保存即可
然后需要運(yùn)行，進(jìn)行svc的自動(dòng)預(yù)處理
!svc pre-resample
!svc pre-config
!svc pre-hubert2、訓(xùn)練配置
訓(xùn)練之前還配置模型，需要在config/44k/目錄中創(chuàng)建的config.json文件。這個(gè)配置文件中的關(guān)鍵參數(shù)包括：log_interval、eval_interval、epochs、batch_size：
對(duì)于包含200個(gè)樣本和批量大小為20的數(shù)據(jù)集，每個(gè)訓(xùn)練輪次等于10步。如果要訓(xùn)練100輪，這就等于1,000個(gè)步。
默認(rèn)設(shè)置可能會(huì)建議10,000步，但根據(jù)您的硬件和數(shù)據(jù)集大小，可能需要調(diào)整這個(gè)設(shè)置。一個(gè)實(shí)際的方法可能是以20,000步(20000/10 約等于2000輪)為目標(biāo)，然后評(píng)估性能再?zèng)Q定是否延長(zhǎng)訓(xùn)練。
3、開始訓(xùn)練
使用svc train命令開始實(shí)際的模型訓(xùn)練。
!svc train4、模型推理
在對(duì)模型進(jìn)行了訓(xùn)練、微調(diào)和驗(yàn)證之后，下一步是運(yùn)行推理，將源音頻轉(zhuǎn)換為目標(biāo)語音
from IPython.display import Audio, display
import os
# Filenames
audio_filename = 'vocals.wav' # vocals to applied trained model
model_filename = 'model.pth' # model file created
config_filename = 'config.json' # config file created
# Construct the full local paths
audio_file = f"\"{os.path.join('.', audio_filename)}\""
model_path = f"\"{os.path.join('.', model_filename)}\""
config_path = f"\"{os.path.join('.', config_filename)}\""
# Running the inference command
!svc infer {audio_file} -m {model_path} -c {config_path}然后就可以查看結(jié)果了
總結(jié)
SO-VITS-SVC(基于擴(kuò)散模型和變分自動(dòng)編碼器的歌聲轉(zhuǎn)換系統(tǒng))是一個(gè)強(qiáng)大的工具，用于實(shí)現(xiàn)實(shí)時(shí)歌聲轉(zhuǎn)換。通過結(jié)合了擴(kuò)散模型、變分自動(dòng)編碼器和生成對(duì)抗網(wǎng)絡(luò)等技術(shù)，SO-VITS-SVC系統(tǒng)能夠捕捉歌聲的細(xì)微差別，并產(chǎn)生高質(zhì)量的合成歌聲。
SO-VITS-SVC系統(tǒng)是一個(gè)功能強(qiáng)大且靈活的歌聲轉(zhuǎn)換工具，可以應(yīng)用于多種場(chǎng)景，包括音樂制作、語音合成、語音轉(zhuǎn)換等領(lǐng)域，為用戶提供了實(shí)現(xiàn)個(gè)性化歌聲轉(zhuǎn)換的便利和可能。
so-vits-svc-fork地址：
