深度學習的流行，本質原因都是人們對算力的追求。

近日，MIT卻發出警告：深度學習正在接近計算極限，必須轉變現有技術「大幅」提高計算效率。

根據麻省理工學院，安德伍德國際學院和巴西利亞大學的研究人員的說法，他們在最近的一項研究中發現，深度學習的進展「非常依賴」計算的增長。他們斷言，不斷的進步將需要通過改變現有技術或通過尚未發現的新方法來「戲劇性地」更有效地使用深度學習方法。

「我們的研究表明，深度學習的計算成本并非偶然，而是精心設計的。同樣的靈活性使得它在建模各種現象和優于專家模型方面表現出色，也使得它的計算成本大大增加。盡管如此，我們發現深度學習模型的實際計算負擔比理論上擴展得更快，這表明需要會有實質性的改進。」

深度學習是機器學習的一個子領域，研究的是受大腦結構和功能啟發的算法。這些算法被稱為人工神經網絡，由排列成層的函數(神經元)組成，這些函數將信號傳輸給其他神經元。

這些信號是輸入數據輸入網絡的產物，從一層傳輸到另一層，緩慢地「調整」網絡，實際上就是調整每個連接的突觸權重。網絡最終學會了通過從數據集中提取特征和識別交叉樣本的趨勢來進行預測。

研究人員分析了預印本服務器Arxiv.org上的1058篇論文和其他基準資料，以理解深度學習性能和計算之間的聯系，特別關注圖像分類、目標檢測、問題回答、命名實體識別和機器翻譯等領域。他們分別對計算需求進行了兩項分析，反映了可用的兩類信息:

1、每一網絡遍歷的計算量，或給定深度學習模型中單次遍歷(即權值調整)所需的浮點運算數。

2、硬件負擔，或用于訓練模型的硬件的計算能力，以處理器數量乘以計算速度和時間計算。(研究人員承認，雖然這是一種不精確的計算方法，但在他們分析的論文中，它的報道比其他基準要廣泛得多。)

報告說，除從英語到德語的機器翻譯（使用的計算能力幾乎沒有變化）外，所有基準均具有「統計學上顯著性」的斜率和「強大的解釋能力」。

對象檢測，命名實體識別和機器翻譯對于硬件的負擔大幅增加，而結果的改善卻相對較小，計算能力解釋了流行的開源ImageNet基準測試中圖像分類精度差異的43%。

研究人員估計，三年的算法改進相當于計算能力提高了10倍。他們寫道：「總體而言，我們的結果清楚地表明，在深度學習的許多領域中，訓練模型的進步取決于所使用的計算能力的大幅提高。」

「另一種可能性是，要改善算法本身可能需要互補地提高計算能力。」

在研究過程中，研究人員還對預測進行了推斷，以了解達到各種理論基準所需的計算能力以及相關的經濟和環境成本。即使是最樂觀的計算，要降低ImageNet上的圖像分類錯誤率，也需要進行100000次以上的計算。

他們的觀點是，一份同步報告估計，華盛頓大學(University of Washington)的格羅弗(Grover)假新聞檢測模型的培訓成本為2.5萬美元，耗時約兩周。據報道，OpenAI花費了1200萬美元來訓練它的GPT-3語言模型，谷歌花費了大約6912美元來訓練BERT，一個雙向轉換模型重新定義了11個自然語言處理任務的最新狀態。

在去年6月的另一份報告中，馬薩諸塞大學阿姆赫斯特分校(University of Massachusetts at Amherst)的研究人員得出結論稱，訓練和搜索某一模型所需的能量大約排放了62.6萬磅二氧化碳。這相當于美國汽車平均壽命的五倍。

研究人員寫道:「我們不認為這些目標所隱含的計算要求……硬件、環境和貨幣成本會令人望而卻步。以經濟的方式實現這一目標，將需要更高效的硬件、更高效的算法或其他改進，從而產生如此巨大的凈影響。」

研究人員指出，在算法級別進行深度學習改進已有歷史先例。他們指出了諸如Google的張量處理單元，現場可編程門陣列（FPGA）和專用集成電路（ASIC）之類的硬件加速器的出現，以及通過網絡壓縮和加速技術來降低計算復雜性的嘗試。

他們還引用了神經體系結構搜索和元學習，以此使用優化來查找在一類問題上保持良好性能的體系結構，以此作為計算上有效的改進方法的途徑。

[[334078]]

算力確實在提高。一項OpenAI研究表明，自2012年以來，每16個月將AI模型訓練到ImageNet圖像分類中相同性能所需的計算量就減少了2倍。Google的Transformer架構超越了以前的狀態seq2seq也是由Google開發的模型，在seq2seq推出三年后，計算量減少了61倍。

DeepMind的AlphaZero這個系統從零開始教自己如何掌握國際象棋，將棋和圍棋的游戲，而在一年后，與該系統的前身AlphaGoZero的改進版本相匹配，其計算量就減少了八倍。

用于深度學習模型的計算能力的爆炸式增長已經結束了「人工智能冬天」，并為各種任務的計算機性能樹立了新的基準。

但是，深度學習對計算能力的巨大需求限制了它可以以目前的形式提高性能的程度，特別是在硬件性能的提高放緩的時代。這些計算限制的可能影響迫使……機器學習轉向比深度學習更高效的技術。