【51CTO.com原創(chuàng)稿件】相信看過《名偵探柯南》的小伙伴，都會對柯南身上五花八門的黑科技“保命神器”記憶猶新吧。它們不單陪著柯南出入各種案發(fā)現(xiàn)場，協(xié)助破案，關(guān)鍵時刻還能幫柯南化險為夷，逃出生天。而這其中最被人熟知的，當屬蝴蝶結(jié)變聲器了。近年來，隨著科技的發(fā)展，這種神奇的蝴蝶結(jié)變聲器也已成為現(xiàn)實了。今天，就讓小編帶您一同去探究下它是如何實現(xiàn)的吧！

[[235877]]

簡單來說，語音合成分為文本分析、韻律分析和聲學(xué)分析三個部分。通過文本分析提取出文本特征，在此基礎(chǔ)上預(yù)測基頻、時長、節(jié)奏等多種韻律特征，然后通過聲學(xué)模型實現(xiàn)從前端參數(shù)到語音參數(shù)的映射。

波形拼接語音合成的過程很容易理解，即在語料庫中抽取合適的拼接單元，拼接成為句子。而參數(shù)語音合成則需要對音庫進行參數(shù)化建模，根據(jù)訓(xùn)練得到的模型預(yù)測出韻律參數(shù)和聲學(xué)參數(shù)。

通常情況下，波形拼接語音合成需要對錄音人進行長達幾十個小時以上的錄音采集，而參數(shù)語音合成則只需要十個小時的錄音采集，即可完成一套定制化語音包的制作 。

綜合對比來看，拼接合成的語音更加貼近真實發(fā)音，但波形拼接語音合成需要有足夠的高質(zhì)量發(fā)音人錄音才能夠合成高質(zhì)量的語音；統(tǒng)計參數(shù)語音合成雖然整體合成質(zhì)量略低，但是在發(fā)音人語料規(guī)模有限的條件下，優(yōu)勢更為明顯。

近年來，深度學(xué)習(xí)已成為AI領(lǐng)域的當紅辣子雞，不單發(fā)展勢頭迅猛，所涉及領(lǐng)域也越發(fā)寬泛，無論是學(xué)術(shù)研究還是企業(yè)應(yīng)用均呈現(xiàn)出指數(shù)級增長的趨勢；伴隨著這項技術(shù)的不斷成熟，深度學(xué)習(xí)對智能語音領(lǐng)域也產(chǎn)生巨大的沖擊，極大的超越了傳統(tǒng)的語音合成技術(shù)。

傳統(tǒng)的基于HMM統(tǒng)計參數(shù)的語音合成是在訓(xùn)練過程中建立文本參數(shù)與聲學(xué)參數(shù)之間的映射模型，通過高斯混合模型描述每個建模單元。在建模過程中有三個環(huán)節(jié)會導(dǎo)致語音音質(zhì)下降，第一是決策樹的聚類，第二是聲碼器，第三是參數(shù)生成算法。針對決策樹聚類問題，可以通過深層神經(jīng)網(wǎng)絡(luò)建立文本特征和聲學(xué)特征之間的映射關(guān)系，替代傳統(tǒng)的淺層模型，提高模型精度；比較典型的深層神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)包括深層置信神經(jīng)網(wǎng)絡(luò)和長短時記憶遞歸神經(jīng)網(wǎng)絡(luò)；后者具有更強的序列學(xué)習(xí)能力，采用BLSTM-RNN建模時，還可以跳過參數(shù)生成算法直接預(yù)測語音參數(shù)，最后通過聲碼器就可以合成語音；總的來說，利用深層神經(jīng)網(wǎng)絡(luò)強大的非線性建模能力，在一定程度上提升了語音合成系統(tǒng)的性能，但是并沒有跳出原有的語音合成系統(tǒng)框架。

在已有的研究中，很少有人會直接在時域上對已有音頻建模。從直覺上分析，構(gòu)建一個自回歸模型，能夠預(yù)測每一個samples是如何被前面所有的samples所影響的，是一個相當艱巨的任務(wù)。谷歌提出的基于WaveNets的語音合成方法，跳出了傳統(tǒng)語音合成框架，繞開聲碼器模塊，直接對采樣點進行預(yù)測，面對這個充滿挑戰(zhàn)的問題，取得了突破。

WaveNet語音合成系統(tǒng)的輸入包括文本特征以及先前時段的音頻采樣點。其中文本特征的有效表述起到非常重要的作用。如果在沒有文本序列的情況下來訓(xùn)練網(wǎng)絡(luò)，仍然可以生成語音，但是無法聽懂輸出音頻的內(nèi)容。WaveNet語音合成系統(tǒng)存在的問題是模型每次輸出單個采樣點，計算效率難以滿足實用要求。可以引入一些自適應(yīng)的方法對已有模型進行優(yōu)化，使其能夠適用于不同發(fā)音人。也可以在模型的輸入端提供更多的信息，例如情感或口音，這樣使得生成的語音可以更多樣化，更具表現(xiàn)力。

2017 年 2 月，百度研究部門提出了深度語音（Deep Voice）系統(tǒng)，該系統(tǒng)是一個完全由深度神經(jīng)網(wǎng)絡(luò)構(gòu)建的高質(zhì)量文本轉(zhuǎn)語音系統(tǒng)。

它將里面的很多模塊用深度神經(jīng)網(wǎng)絡(luò)去實現(xiàn)，通過類似于WaveNet的合成器來合成，效果也是比較理想的。已有的語音合成系統(tǒng)會在某些環(huán)節(jié)上采用深度學(xué)習(xí)，但在Deep Voice之前，沒有團隊采用全深度學(xué)習(xí)的框架。傳統(tǒng)語音合成需要進行大量的特征處理和特征構(gòu)建，但百度通過使用深度學(xué)習(xí)避免了這些問題。這使得 Deep Voice 的應(yīng)用范圍更加廣泛，使用起來也更加方便。如果需要應(yīng)用于新的數(shù)據(jù)集，傳統(tǒng)的語音合成系統(tǒng)完成重新訓(xùn)練需數(shù)天到數(shù)周的時間進行調(diào)節(jié)，而對Deep Voice進行手動操作和訓(xùn)練模型所需的時間只要幾個小時就足夠。相比于WaveNet語音合成系統(tǒng)，現(xiàn)在這個系統(tǒng)的有效速度提升了400倍。

第一個是Char2Wav，這個模型是直接對輸入的文本進行編碼，采用encoder-decoder模型。對輸入特征進行編碼，然后生成的中間編碼信息放到解碼器里進行最后的合成，合成采用SimpleRNN的合成器來合成語音，效果也是比較理想的，而且是典型的End-To-End的語音合成模型。

再一個是谷歌提出的端對端的語音合成系統(tǒng)Tacotron，它跟Char2Wav比較類似，該模型可接收Embeddings的輸入，輸出相應(yīng)的原始頻譜圖，然后將其提供給 Griffin-Lim 重建算法直接生成語音。合成的效果也比較理性。

測試結(jié)果上，合成效果也比較理想：Tacotron 在美式英語測試里的平均主觀意見評分達到了 3.82 分（總分是 5 分），在自然感（naturalness）方面優(yōu)于已在生產(chǎn)中應(yīng)用的參數(shù)系統(tǒng)（parametric system）。此外，由于 Tacotron 是在幀（frame）層面上生成語音，所以它比樣本級自回歸（sample-level autoregressive）方式快得多。

好了，說了這么多，你是否對建立在深度學(xué)習(xí)基礎(chǔ)上的語音合成技術(shù)有了更進一步的了解呢？其實，目前我們已可在許多領(lǐng)域熟練的應(yīng)用這一技術(shù)了：在AI推手此前提到的紀錄片《創(chuàng)造中國》中，節(jié)目負責人就成功合成了“時代之音”李易老師的聲音；百度也曾在發(fā)起的“別開生面”的張國榮誕辰60周年紀念活動中，合成出張國榮生前的聲音，并在張國榮最新電影《緣分》開場前首次公布對話實錄視頻，實現(xiàn)了粉絲與偶像“互動”的愿望，以特殊的方式，紀念一代天王。。。。

語音合成技術(shù)的不斷發(fā)展，一方面突顯了科技發(fā)展的重要性，一方面也為我們的日常生活帶來了無數(shù)驚喜~

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】