譯者 | 李睿

審校 | 重樓

如今，似乎每一款商用設(shè)備都具備某種形式的語音識(shí)別功能，或者至少嘗試過實(shí)現(xiàn)這一功能。從跨平臺(tái)的語音助手到轉(zhuǎn)錄服務(wù)和輔助工具，再到最近成為大型語言模型(LLM)差異化的關(guān)鍵要素——語音輸入已成為日常的用戶界面。根據(jù)預(yù)測(cè)，語音用戶界面(VUI)的市場(chǎng)規(guī)模將從2023年至2028年以23.39%的復(fù)合年增長率增長，可以預(yù)見將有更多的科技公司采用這一技術(shù)。

以下從剖析和定義使語音識(shí)別成為可能的最常見技術(shù)開始。

一、語音識(shí)別的機(jī)制：它是如何工作的?

特征提取

在進(jìn)行任何“識(shí)別”之前，機(jī)器必須將人們產(chǎn)生的聲波轉(zhuǎn)換成它們能理解的格式。這個(gè)過程稱為預(yù)處理和特征提取。梅爾頻率倒譜系數(shù)(MFCC)和感知線性預(yù)測(cè)(PLP)系數(shù)是兩種最常見的特征提取技術(shù)。

(1)梅爾頻率倒譜系數(shù)(MFCC)

梅爾頻率倒譜系數(shù)(MFCC)捕捉音頻信號(hào)的功率譜，從本質(zhì)上識(shí)別每個(gè)聲音的獨(dú)特之處。這項(xiàng)技術(shù)首先通過放大高頻來平衡信號(hào)使其更清晰。然后，信號(hào)被分成短幀或聲音片段，持續(xù)時(shí)間在200毫秒到40毫秒之間。然后對(duì)這些幀進(jìn)行分析以了解它們的頻率成分。通過應(yīng)用一系列模擬人耳如何感知音頻的濾波器，梅爾頻率倒譜系數(shù)(MFCC)捕捕捉語音信號(hào)的關(guān)鍵、可識(shí)別的特征。最后一步是將這些特征轉(zhuǎn)換成聲學(xué)模型可以使用的數(shù)據(jù)格式。

(2)感知線性預(yù)測(cè)(PLP)系數(shù)

感知線性預(yù)測(cè)(PLP)系數(shù)旨在盡可能地模擬人類聽覺系統(tǒng)的反應(yīng)。與梅爾頻率倒譜系數(shù)(MFCC)類似，感知線性預(yù)測(cè)系數(shù)(PLP)過濾聲音頻率以模擬人耳。在經(jīng)過過濾之后，動(dòng)態(tài)范圍(樣本的“響度”范圍)被壓縮，以反映人們的聽覺對(duì)不同音量的不同反應(yīng)。在最后一步，感知線性預(yù)測(cè)(PLP)估計(jì)“頻譜包絡(luò)線”，這是一種捕捉語音信號(hào)最基本特征的方法。這個(gè)過程提高了語音識(shí)別系統(tǒng)的可靠性，特別是在嘈雜的環(huán)境中。

(3)聲學(xué)建模

聲學(xué)建模是語音識(shí)別系統(tǒng)的核心，它形成了語音信號(hào)(聲音)和語音單位(構(gòu)成語言的不同聲音)之間的統(tǒng)計(jì)關(guān)系。最廣泛使用的技術(shù)包括隱馬爾可夫模型(HMM)和最近的深度神經(jīng)網(wǎng)絡(luò)(DNN)。

(4)隱馬爾可夫模型(HMM)

自從20世紀(jì)60年代末以來，隱馬爾可夫模型(HMM)一直是模式識(shí)別工程的基石。它們對(duì)語音處理特別有效，因?yàn)樗鼈儗⒖谡Z分解成更小、更易于管理的部分——音素。每個(gè)提取的音素都與隱馬爾可夫模型(HMM)中的一個(gè)狀態(tài)相關(guān)聯(lián)，該模型將計(jì)算從一個(gè)狀態(tài)到另一個(gè)狀態(tài)轉(zhuǎn)換的概率。這種概率方法允許系統(tǒng)從聲音信號(hào)中推斷出單詞，即使在存在噪聲和不同個(gè)體的語音差異的情況下也是如此。

(5)深度神經(jīng)網(wǎng)絡(luò)(DNN)

近年來，與人工智能和機(jī)器學(xué)習(xí)的發(fā)展和興趣密切相關(guān)，深度神經(jīng)網(wǎng)絡(luò)(DNN)已經(jīng)成為自然語言處理(NLP)的首選。與依賴于預(yù)定義狀態(tài)和轉(zhuǎn)換的隱馬爾可夫模型(HMM)不同，深度神經(jīng)網(wǎng)絡(luò)(DNN)直接從數(shù)據(jù)中學(xué)習(xí)。它們由多層相互連接的神經(jīng)元組成，這些神經(jīng)元逐步提取數(shù)據(jù)的高級(jí)表示。

通過關(guān)注場(chǎng)景以及某些單詞和聲音之間的關(guān)系，深度神經(jīng)網(wǎng)絡(luò)可以捕獲語音中更復(fù)雜的模式。這使得它們?cè)跍?zhǔn)確性和魯棒性方面與隱馬爾可夫模型(HMM)相比表現(xiàn)得更好，并且需要額外的訓(xùn)練來適應(yīng)口音、方言和說話風(fēng)格——這在日益多語言的世界中是一個(gè)巨大的優(yōu)勢(shì)。

展望未來：挑戰(zhàn)與創(chuàng)新

語音識(shí)別技術(shù)已經(jīng)取得了很大的進(jìn)步，但是，正如用戶認(rèn)識(shí)到的那樣，它還遠(yuǎn)遠(yuǎn)不夠完美。背景噪音、多人同時(shí)講話、口音以及延遲是尚未解決的挑戰(zhàn)。隨著工程師們逐漸認(rèn)識(shí)到網(wǎng)絡(luò)模型的潛力，一個(gè)頗具前景的創(chuàng)新是利用隱馬爾可夫模型(HMM)和深度神經(jīng)網(wǎng)絡(luò)(DNN)的優(yōu)勢(shì)，使用混合解決方案。擴(kuò)大人工智能研究的另一個(gè)好處是跨領(lǐng)域的深度學(xué)習(xí)應(yīng)用，傳統(tǒng)上用于圖像分析的卷積神經(jīng)網(wǎng)絡(luò)(CNN)在語音處理方面顯示出有前景的結(jié)果。另一項(xiàng)激動(dòng)人心的發(fā)展是遷移學(xué)習(xí)的使用，在大數(shù)據(jù)集上訓(xùn)練的模型可以通過相對(duì)較小的配套數(shù)據(jù)集對(duì)特定任務(wù)和語言進(jìn)行微調(diào)。這減少了為新應(yīng)用程序開發(fā)高性能語音識(shí)別所需的時(shí)間和資源，允許采用更環(huán)保的方法來重復(fù)模型部署。

二、整合一切：現(xiàn)實(shí)世界的應(yīng)用

綜上所述，特征提取和聲學(xué)建模協(xié)同工作，形成了所謂的語音識(shí)別系統(tǒng)。這個(gè)過程從使用預(yù)處理和特征識(shí)別將聲波轉(zhuǎn)換成可管理的數(shù)據(jù)開始。然后將這些數(shù)據(jù)點(diǎn)或特征輸入聲學(xué)模型，由聲學(xué)模型進(jìn)行解釋并將輸入轉(zhuǎn)換為文本。從那里，其他應(yīng)用程序可以很容易地與語音輸入進(jìn)行交互。

從最嘈雜、最耗時(shí)的環(huán)境(如汽車界面)到個(gè)人設(shè)備上的無障礙替代方案，人們?cè)絹碓叫湃芜@項(xiàng)技術(shù)，并將其用于更關(guān)鍵的功能。對(duì)于致力改進(jìn)這項(xiàng)技術(shù)的人來說，理解這些機(jī)制不僅僅是學(xué)術(shù)上的需要，還激勵(lì)技術(shù)人員欣賞這些工具及其在提高無障礙性、可用性和用戶體驗(yàn)效率方面的潛力。隨著語音用戶界面(VUI)越來越與大型語言模型(LLM)相關(guān)聯(lián)，工程師和設(shè)計(jì)師應(yīng)該熟悉生成式人工智能在現(xiàn)實(shí)世界應(yīng)用中最常見的界面。

原文標(biāo)題：Demystifying the Magic: A Look Inside the Algorithms of Speech Recognition，作者：Manoj bopathi Raj