人工智能 (AI) 正在改變當(dāng)今的工業(yè)格局。 從企業(yè)軟件到機(jī)器自動(dòng)化的一切都受益于多層神經(jīng)網(wǎng)絡(luò)的能力(通過足夠的數(shù)據(jù)和訓(xùn)練)來理解我們的世界。 但隨著深度學(xué)習(xí)模型規(guī)模的不斷膨脹，為更復(fù)雜的自然語言處理 (NLP) 和其他人工智能應(yīng)用打開了大門，所需的計(jì)算量也隨之增加。 對于邊緣人工智能來說，這就是一個(gè)問題。

邊緣AI趨勢

在智能手機(jī)或車載車輛等便攜式計(jì)算硬件上部署深度學(xué)習(xí)算法，使用戶能夠獲得強(qiáng)大的圖像識別功能——這只是眾多用例之一。 在邊緣人工智能硬件上本地運(yùn)行模型可以提供針對任何連接中斷的恢復(fù)能力。

還有能源方面的考慮。 考慮到訓(xùn)練具有數(shù)十億參數(shù)的模型的能源成本以及在此過程中消耗大量冷卻水，用戶開始質(zhì)疑在云中運(yùn)行大型人工智能算法對環(huán)境的影響。 但事實(shí)證明，開發(fā)人員已經(jīng)成為修剪模型的專家，以減少深度學(xué)習(xí)推理的計(jì)算需求，而對結(jié)果的準(zhǔn)確性影響很小。

這些效率措施對于實(shí)現(xiàn)邊緣人工智能來說是個(gè)好消息。 為了理解各種方法的工作原理，首先描繪深度學(xué)習(xí)的圖景并考慮多層神經(jīng)網(wǎng)絡(luò)如何將輸入轉(zhuǎn)化為有意義的輸出是很有用的。

在抽象層面上，您可以將深度神經(jīng)網(wǎng)絡(luò)視為通用函數(shù)逼近器。 給定足夠的參數(shù)，一切都可以用數(shù)學(xué)函數(shù)來表示。 您可能見過以 3D 形式繪制時(shí)看起來像貝殼的公式或類似于樹枝的分形。 事實(shí)證明，大量的人工神經(jīng)元能夠描述圖像并找到句子中缺失的單詞。

訓(xùn)練這些人工智能算法涉及調(diào)整數(shù)百萬個(gè)模型權(quán)重，以使人工神經(jīng)元的模式對某些輸入敏感，例如圖像中的邊緣特征。 還需要為網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)設(shè)置偏差，以確定使相應(yīng)的人工神經(jīng)元“放電”所需的激活強(qiáng)度。

如果您曾經(jīng)見過覆蓋著旋鈕的模擬音樂合成器，這是一個(gè)很好的類比，但請將旋鈕的數(shù)量乘以一百萬或更多。 我們的輸入可以是攝像機(jī)的輸入，在完成所有設(shè)置后，每當(dāng)圖像中看到狗時(shí)，攝像機(jī)就會(huì)打開燈。

查看表盤上的數(shù)字，我們可能會(huì)發(fā)現(xiàn)某些參數(shù)比其他參數(shù)更重要。 這給我們帶來了模型修剪的概念，這是將算法壓縮到邊緣人工智能硬件上的一種方法。

如今，開發(fā)人員使用各種方法使邊緣 AI 神經(jīng)網(wǎng)絡(luò)運(yùn)行速度更快、尺寸更小以適應(yīng)而不影響性能。 一種方法是將非常小的模型權(quán)重歸零，這可以精確定位對算法行為影響很小的人工神經(jīng)元。

另一個(gè)技巧是通過幾次迭代重新訓(xùn)練修剪后的模型，這可能會(huì)導(dǎo)致對其他參數(shù)進(jìn)行微調(diào)，以恢復(fù)任何丟失的準(zhǔn)確性。 一些經(jīng)過修剪的圖像識別算法可以比原始神經(jīng)網(wǎng)絡(luò)表現(xiàn)得更有效，這對于邊緣人工智能來說是一個(gè)很好的結(jié)果。

不幸的是，大型語言模型(LLM)可能更難優(yōu)化，因?yàn)橹匦掠?xùn)練步驟并不簡單。 但一種名為 Wanda(通過權(quán)重和激活進(jìn)行修剪)的新方法已在 LLaMA 系列 LLM 上進(jìn)行了評估，表明考慮激活路徑可以修剪 50% 的結(jié)構(gòu)，而不會(huì)造成性能的重大損失。 而且，重要的是，不需要重新運(yùn)行訓(xùn)練來更新權(quán)重。

考慮權(quán)重的表示方式也很有幫助——例如，將值存儲(chǔ)為 8 位整數(shù)而不是單精度浮點(diǎn)格式 (FP32) 可以顯著節(jié)省內(nèi)存。 傳統(tǒng)上，模型權(quán)重被縮放到 0 到 1 之間，但這些值仍然可以從節(jié)省內(nèi)存的整數(shù)中恢復(fù)以進(jìn)行處理。

使邊緣人工智能應(yīng)用程序的算法更加高效的另一種策略是部署所謂的教師和學(xué)生模型，學(xué)生可以從教師提供的更豐富的信息中學(xué)習(xí)。 具體來說，教師模型可以為學(xué)生模型提供最可能結(jié)果的概率分布作為訓(xùn)練輸入。

這種方法已成功用于構(gòu)建 DistilBERT，這是 BERT 的精煉版本：更小、更快、更便宜、更輕。 Hugging Face 研究人員使用教師和學(xué)生模型(也稱為知識蒸餾)表明，可以將 BERT 模型的大小減少 40%，同時(shí)保留 97% 的語言理解能力，速度提高 60%。

要理解為什么這如此重要，值得注意的是 BERT 是目前最有用的 NLP 模型之一。 BERT 可用于文本編碼，以從其他數(shù)據(jù)中檢索相似的段落。 它可以總結(jié)大量的文本信息并提供問題的答案。

考慮到邊緣人工智能，輕量級 NLP 模型可以在本地處理數(shù)據(jù)，以保護(hù)隱私并保護(hù)客戶可能不希望發(fā)送到云端的敏感信息。 例如，公司可以使用 DistilBERT 構(gòu)建自己專有的語義搜索引擎來導(dǎo)航業(yè)務(wù)數(shù)據(jù)，而無需將任何數(shù)據(jù)發(fā)送給 Google。

人工智能成功案例

云中人工智能的成功故事啟發(fā)了各種用例。 而且，隨著開發(fā)人員在將算法性能壓縮到更小的占用空間方面變得更加熟練，我們預(yù)計(jì)這些優(yōu)勢也將轉(zhuǎn)化為邊緣人工智能應(yīng)用程序。

此外，用戶可以依靠越來越多的工具來優(yōu)化他們的機(jī)器學(xué)習(xí)模型。 谷歌的 TensorFlow 模型優(yōu)化工具包支持將模型部署到對處理、內(nèi)存、功耗、網(wǎng)絡(luò)使用和模型存儲(chǔ)空間有限制的邊緣設(shè)備。

還有其他選項(xiàng)，例如可以為嵌入式系統(tǒng)提供高效深度學(xué)習(xí)的模型優(yōu)化 SDK。 供應(yīng)商包括瑞典深度科技公司 Embedl，該公司最近籌集了 45 MSEK(410 萬美元)來擴(kuò)大其業(yè)務(wù)。

“Embedl 的解決方案在汽車領(lǐng)域開發(fā)自動(dòng)駕駛系統(tǒng) (AD) 和高級駕駛輔助系統(tǒng) (ADAS) 時(shí)提供了顯著的性能增強(qiáng)，”該公司在其網(wǎng)站上寫道。 “它還將使人工智能能夠融入到硬件功能較弱的消費(fèi)產(chǎn)品中。”

該公司表示，客戶可以使用該 SDK 創(chuàng)建可在電池供電設(shè)備上運(yùn)行的深度學(xué)習(xí)算法，這標(biāo)志著邊緣人工智能的另一個(gè)趨勢。