近日，中國人機語音交互領(lǐng)域最權(quán)威的學術(shù)會議——全國人機語音通訊學術(shù)會議(NCMMSC2015)在天津舉辦。會上，來自產(chǎn)學研各界的技術(shù)大牛分享了在人機語音交互方面的技術(shù)成果和突破，其中最引人關(guān)注的當屬百度語音技術(shù)部負責人賈磊的演講。

　　他在會上介紹了百度最新研發(fā)出的語音識別技術(shù)，識別相對錯誤率比現(xiàn)有技術(shù)降低15%以上，使?jié)h語安靜環(huán)境普通話語音識別的識別率接近97%。這是繼2011年，引入深度學習技術(shù)，相對錯誤率降低20%~30%之后，語音技術(shù)領(lǐng)域又一次具有標志性意義的重要進展。

[[154066]] 

　　百度語音技術(shù)部負責人賈磊在NCMMSC2015上介紹百度語音技術(shù)取得的重大突破

　　一次框架性的創(chuàng)新

　　近年來，語音識別技術(shù)突飛猛進。2011年，隨著深度學習技術(shù)被引入語音識別領(lǐng)域，語音識別技術(shù)翻開了新的篇章。隨后的幾年里，CNN(卷積神經(jīng)網(wǎng)絡(luò))、LSTM(長短時記憶模型)、CNN混合LSTM的建模技術(shù)在語音識別工業(yè)產(chǎn)品中不停涌現(xiàn)，并持續(xù)提升語音識別產(chǎn)品效果。而百度此次研發(fā)的突破性技術(shù)，是漢語語音技術(shù)上一次框架性的革新，成為目前世界上最先進的漢語語音識別技術(shù)。

　　“百度研發(fā)出了基于多層單向LSTM的漢語聲韻母整體建模技術(shù)，并成功把連接時序分類(CTC)訓練技術(shù)嵌入到傳統(tǒng)的語音識別建模框架中，再結(jié)合語音識別領(lǐng)域的決策樹聚類、跨詞解碼和區(qū)分度訓練等技術(shù)，大幅度提升線上語音識別產(chǎn)品性能。”賈磊表示，該技術(shù)相比于工業(yè)界現(xiàn)有的基于狀態(tài)建模的深度學習的語音識別產(chǎn)品技術(shù)，相對錯誤率降低在15%以上。

　　值得注意的是，這一技術(shù)創(chuàng)新并非依靠單點的突破，而是“打造基于多層單向LSTM的漢語聲韻母整體建模技術(shù)”、“引入CTC技術(shù)”、“與語音識別領(lǐng)域的傳統(tǒng)技術(shù)相結(jié)合”三大方面共同作用的結(jié)晶，是一項框架性的創(chuàng)新。

　　這一革新不純粹是學術(shù)上的研究成果，而是可以直接應(yīng)用在產(chǎn)品上。據(jù)悉，應(yīng)用這一新技術(shù)的百度搜索產(chǎn)品即將上線。

　　三大因素助力攻克十年技術(shù)困局

　　LSTM與CTC技術(shù)都已經(jīng)存在很長時間。特別是于2006年首次被提出的CTC技術(shù)，由于其容易收斂到局部點等特點，以及這兩大技術(shù)結(jié)合后計算量巨大等原因，10多年來，LSTM與CTC的結(jié)合一直沒有在語音工業(yè)領(lǐng)域成功應(yīng)用。此次，百度依靠三大因素——大數(shù)據(jù)機器學習和語音識別傳統(tǒng)理論結(jié)合、創(chuàng)新的算法以及強大的計算能力，成功突破了這十多年的技術(shù)困局。

　　這一切的成功要回溯到4個多月前。早在今年6月初，百度展開了對語音技術(shù)的創(chuàng)新探索。“我們詳細地研究和分析了漢語狀態(tài)建模、聲韻母整體半音節(jié)建模、音節(jié)整體建模等多種漢語建模單元，并深入探索了不同建模單元的CTC訓練的價值和作用。”賈磊娓娓道來。

　　功夫不負有心人。經(jīng)過短短4個月的不斷探索與試驗，百度在世界范圍內(nèi)率先克服了在漢語領(lǐng)域使用CTC技術(shù)訓練單向LSTM的高精度建模難題。

　　相比雙向LSTM，單向LSTM的好處是明顯的。“單向比雙向更適于產(chǎn)品系統(tǒng)。因為用雙向LSTM技術(shù)建立的模型，需要使用語音的未來一段時間的數(shù)據(jù)，這就造成了解碼器的額外等待，會給語音識別造成時延;而單向則不需要，解碼過程和數(shù)據(jù)到達同步進行，識別速度更快。”賈磊介紹到，“雖然單向LSTM在做建模單元的整體建模上有諸多好處，但一直以來，因其存在解碼路徑右邊信息的不完整性，導致識別效果較低，始終超不過傳統(tǒng)的三狀態(tài)建模。”

　　LSTM和CTC技術(shù)各有特點，將二者結(jié)合的技術(shù)非常困難，以至10多年來在語音識別產(chǎn)品領(lǐng)域從未被成功應(yīng)用過。“LSTM和CTC建模技術(shù)結(jié)合，其核心難度之一就在于海量數(shù)據(jù)下的深度學習需要強大的計算能力，這兩項技術(shù)的計算量比傳統(tǒng)深度學習的計算量大一個數(shù)量級。直接按照數(shù)學公式去實現(xiàn)上述算法，LSTM和CTC訓練就需要采用單幀遞推模式，這樣的訓練速度在工業(yè)條件下的將近1萬小時訓練數(shù)據(jù)下，幾乎是不可能實現(xiàn)的。”賈磊解釋到。

　　為此，百度進行了一系列的算法革新，并利用百度大數(shù)據(jù)平臺計算優(yōu)勢，成功地攻克了這一學術(shù)訓練難題，打破十年來的技術(shù)困局。

　　據(jù)了解，對比谷歌2015年9月份于Interspeech 發(fā)表的在英文領(lǐng)域的類似研究成果，百度的訓練數(shù)據(jù)是谷歌的4-5倍，模型訓練參數(shù)規(guī)模是谷歌的10-20倍。而該技術(shù)成功突破的核心要素之一就是訓練能力的極致提升，大模型大數(shù)據(jù)下的難度要比實驗室小數(shù)據(jù)小模型的情況下難很多。百度研發(fā)出的全新訓練算法，更接近工業(yè)大數(shù)據(jù)的產(chǎn)品實踐，是可以推廣到10萬小時訓練的全新技術(shù)。

　　僅憑上述深度學習技術(shù)的創(chuàng)新，要想推動漢語識別技術(shù)的產(chǎn)品重大突破是遠遠不夠的。深度學習技術(shù)必須和行業(yè)專業(yè)理論結(jié)合才能以質(zhì)變的方式提升工業(yè)產(chǎn)品技術(shù)。

　　“過去，有很多機器學習技術(shù)應(yīng)用于語音識別領(lǐng)域取得了不錯的效果，但是在解決產(chǎn)品上線的計算量和用戶等待時間方面總是差強人意。”賈磊指出，百度根據(jù)自己在語音產(chǎn)品實踐中的長期積累和經(jīng)驗，經(jīng)過大量實驗詳細的比較，在嘗試了音節(jié)、聲韻母和狀態(tài)等不同長度的建模單元之后，最后探索出最適合漢語的聲韻母整體建模。最終，把上述成果一起應(yīng)用到語音識別的傳統(tǒng)技術(shù)框架中，結(jié)合決策樹聚類、跨詞解碼技術(shù)和區(qū)分度訓練等一系列傳統(tǒng)技術(shù)，實現(xiàn)了漢語語音識別工業(yè)產(chǎn)品技術(shù)的實質(zhì)性提升。

　　在解決工業(yè)難題的同時，百度還最先對工業(yè)情況下的CTC技術(shù)在語音產(chǎn)品中發(fā)揮巨大作用的本質(zhì)進行了深入探索。

　　在研究過程中，賈磊和他的團隊發(fā)現(xiàn)，在大數(shù)據(jù)、大模型條件下，在固定邊界的CE訓練之后，采用CTC訓練，可能對多層雙向LSTM模型的性能提升很有限，但對多層單向LSTM模型的改善是顯著的。

　　“我們對CTC的本質(zhì)進行了深度探究，”賈磊表示，“我們認為，一個可能的解釋是，CTC的空白吸收機制和動態(tài)邊界尖峰學習能力，可以動態(tài)自適應(yīng)地形成‘target delay’，從而解決單向LSTM模型的右邊信息不完整的問題，而這個作用對雙向LSTM模型的價值就小很多。”

　　該理論的探索和發(fā)現(xiàn)，對于CTC技術(shù)進一步在語音識別中的創(chuàng)新研究打下了很好的基礎(chǔ)。除此之外，百度產(chǎn)品團隊還探索了語音識別中CTC訓練后的模型具有超快的解碼速度的本質(zhì)原因，并向業(yè)界公開其相應(yīng)的解碼器加速策略。

　　更深刻的變革正在來臨

　　如今，百度已經(jīng)開始使用上萬小時的樣本進行模型訓練。不難預(yù)測，不久，語音識別技術(shù)發(fā)展將很快進入10萬小時數(shù)據(jù)樣本訓練階段，只有這樣，才能覆蓋千差萬別的用戶口音差異。再考慮環(huán)境變化的影響，未來訓練語料量可能會突破100萬小時。

　　在賈磊看來，隨著訓練數(shù)據(jù)量的迅速增加，如何實現(xiàn)大規(guī)模LSTM建模和CTC的有效訓練，會成為一個核心的技術(shù)難題。“以后，語音識別領(lǐng)域的深度學習將進入數(shù)百GPU并行訓練的狀態(tài)，理論創(chuàng)新和算法技術(shù)創(chuàng)新都將圍繞大數(shù)據(jù)展開。語音識別技術(shù)的研發(fā)方法，相對于現(xiàn)在必將發(fā)生深刻的變革。”

　　除此之外,CTC建模技術(shù)進一步降低了語音識別應(yīng)用的解碼成本，隨著適合深度模型計算的專業(yè)硬件的大量涌現(xiàn)，語音識別云服務(wù)的成本將大量降低，從而推動語音交互技術(shù)的更大范圍的普及。

　　賈磊告訴我們，這次百度做出的重大技術(shù)創(chuàng)新，更大程度上是百度對計算能力極限挖掘的一次嘗試。“未來這樣的嘗試一定還會更多”。