[[349523]]

盡管人工智能的誕生已經超過半個世紀，但近十年來人工智能領域發展非常迅速。自2012年ImageNet競賽開始深度學習的現代時代以來，只有8年的時間。自那時以來，人工智能領域的進步令人震驚，現在人工智能已經深入我們日常工作生活的方方面面。

有專家表示，這個驚人的步伐只會越來越快。從現在開始的五年后，人工智能領域將與今天大不相同。當前被認為是最先進的方法將已經過時;今天剛剛出現或處于邊緣的方法將成為主流。

下一代人工智能將是什么樣子?哪種新穎的AI方法將釋放當前在技術和業務方面難以想象的可能性?之前的文章《下一代人工智能的發展方向 (上)》涵蓋了AI內的三個新興領域，(無監督學習、聯合學習和Transformer)這些領域將在未來幾年重新定義人工智能領域和社會。

本文將再介紹另外三個：

4、神經網絡壓縮

人工智能正在走向邊緣。

能夠直接在邊緣設備(例如電話、智能揚聲器、攝像頭、車輛)上運行AI算法具有巨大優勢，而無需從云端來回發送數據。

也許最重要的是，邊緣AI增強了數據隱私性，因為不需要將數據從其源頭移動到遠程服務器。由于所有處理均在本地進行，因此Edge AI的延遲也較低。對于諸如自動駕駛汽車或語音助手之類的時間敏感型應用程，這至關重要。它具有更高的能源效率和成本效益，成為機器學習擴大的計算和經濟成本日益重要的考慮因素。而且，它使AI算法無需互聯網連接即可自主運行。

Nvidia首席執行官黃仁勛(Jensen Huang)是AI商業世界的巨頭之一，他認為邊緣AI是計算的未來：“ AI正在從云移動到邊緣，連接到AI計算機的智能傳感器可以加快許多應用的速度，并節省能源。隨著時間的流逝，將有數以萬億計的這種由人工智能驅動的小型自主計算機。”

但是，要使邊緣智能無處不在的崇高愿景成為現實，就需要一項關鍵的技術突破：人工智能模型需要變得更小，而且比目前的小得多。因此，在不損害神經網絡性能的情況下開發和商業化壓縮神經網絡的技術已成為AI領域最重要的追求之一。

如今，典型的深度學習模型非常龐大，需要大量的計算和存儲資源才能運行。 OpenAI的新語言模型GPT-3于今年夏天成為頭條新聞，其模型參數高達1750億個，僅存儲模型就需要超過350 GB的空間。即使是大小不接近GPT-3的模型也仍然需要大量計算：ResNet-50是幾年前開發的一種廣泛使用的計算機視覺模型，每秒使用38億個浮點運算來處理圖像。

這些模型不能在邊緣運行。邊緣設備中的硬件處理器(例如手機、Fitbit或Roomba中的芯片)功能不足以支持它們。

因此，開發使深度學習模型更輕量級的方法成了關鍵：它將釋放圍繞分散式人工智能構建的一系列產品和商業機會。

這樣的模型壓縮將如何工作?

近年來，研究人員和企業家在該領域取得了長足進步，開發了一系列使神經網絡小型化的技術。這些技術可以分為五個主要類別：精簡、量化、低秩分解、緊湊型卷積濾波器和知識蒸餾。

精簡需要識別并消除神經網絡中的冗余或不重要連接，以使其精簡。量化通過使用較少的比特表示值來壓縮模型。在低秩分解中，模型的張量將被分解，以構造近似于原始張量的稀疏版本。緊湊型卷積濾波器是經過特殊設計的濾波器，可減少執行卷積所需的參數數量。最后，知識蒸餾涉及使用模型的完整版本來“教”一個較小的模型以模仿其輸出。

這些技術大多彼此獨立，這意味著它們可以串聯部署以提高結果。實際上，其中一些(精簡、量化)可以應用于已經存在的模型，而其他一些(緊湊的過濾器、知識蒸餾)則需要從頭開始開發模型。

少數新興公司已經出現，將神經網絡壓縮技術從研究領域推向市場。更有前途的有Pilot AI、Latent AI、 Edge Impulse 和Deeplite。舉一個例子，Deeplite聲稱其技術可以使神經網絡縮小100倍，加快10倍，將電源效率提高20倍，而不會犧牲性能。

“在過去的十年中，世界上具有一定計算能力的設備數量激增，” Pilot AI首席執行官Jon Su解釋說。 “Pilot AI的核心IP極大地減少了用于對象檢測和跟蹤等任務的AI模型的大小，從而使AI / ML工作負載可以直接在邊緣IoT設備上運行。這將使設備制造商能夠將每年售出的數十億個傳感器(如按鈕門鈴、恒溫器或車庫門開啟器)轉換為可為下一代IoT應用提供支持的豐富工具。”

大型技術公司正在積極收購這一類別的初創公司，突顯了該技術的長期戰略重要性。今年早些時候，蘋果以2億美元的價格收購了總部位于西雅圖的Xnor.ai。Xnor的技術將幫助蘋果在其iPhone和其他設備上部署邊緣AI功能。特斯拉在2019年收購了該領域的早期先驅者之一DeepScale，以支持對其車輛的推斷。

多年來，最重要的技術交易之一-英偉達上個月宣布的以400億美元收購Arm的交易-很大程度上是由于AI走向邊緣而加速向高效計算的轉變。

英偉達首席執行官黃仁勛在談到這一交易時強調了這一點：“能源效率是未來計算領域中最重要的一件事……英偉達和Arm將共同打造這個人工智能時代世界一流的計算公司。”

在未來的幾年中，人工智能將變得不受束縛、分散化和環境化，并在邊緣的數萬億種設備上運行。模型壓縮是一項必不可少的促成技術，它將幫助實現這一愿景。

5、生成人工智能

當今的機器學習模型主要對現有數據進行交織和分類：例如，識別人臉或識別欺詐。生成式AI是一個快速發展的新領域，它專注于構建可生成自己新穎內容的AI。簡而言之，生成型人工智能將人工智能超越了感知到創造。

生成AI的核心是兩項關鍵技術：生成對抗網絡(GAN)和變分自編碼器(VAE)。

兩種方法吸引人的是，GAN是Ian Goodfellow在AI先驅Yoshua Bengio在蒙特利爾大學攻讀博士學位時于2014年發明的。

Goodfellow在概念上的突破是使用兩個獨立的神經網絡構造GAN，然后將它們相互對抗。

從給定的數據集(例如，一張人臉照片的集合)開始，第一個神經網絡(稱為“生成器”)開始生成新圖像，這些圖像在像素方面在數學上類似于現有圖像。同時，第二個神經網絡(“鑒別器”)被喂入照片而沒有被告知它們是來自原始數據集還是來自發生器的輸出。它的任務是識別合成的照片。

當這兩個網絡不斷地互相作用時(生成器試圖欺騙鑒別器，鑒別器試圖暫緩生成器的創造物)，它們彼此磨煉了能力。最終，判別器的分類成功率下降到50%，沒有比隨機猜測更好，這意味著合成生成的照片已經與原始照片變得難以區分。

2016年，AI大神Yann LeCun稱GAN為“過去十年中機器學習中最有趣的想法”。

與GAN差不多同時推出的VAE是一種概念上相似的技術，可以用作GAN的替代方法。

與GAN一樣，VAE由兩個神經網絡組成，這兩個神經網絡協同工作以產生輸出。第一個網絡(“編碼器”)獲取一條輸入數據并將其壓縮為較低維的表示形式。第二個網絡(“解碼器”)采用這種壓縮表示形式，并基于原始數據屬性的概率分布和隨機性函數，生成新穎的輸出，將“riff”輸入到原始輸入。

通常，GAN的輸出質量比VAE更高，但構建起來更加困難且成本更高。

與更廣泛的人工智能類似，生成型AI激發了廣泛受益的和可怕的現實世界應用。只有時間能說明哪個將占主導地位。

從積極的方面來看，生成AI的最有希望的用例之一是合成數據。合成數據是一種潛在的改變游戲規則的技術，它使從業人員能夠數字化地構建他們訓練AI模型所需的確切數據集。

如今，訪問正確的數據既是AI的最重要也是最具挑戰性的部分。通常，為了訓練深度學習模型，研究人員必須從現實世界中收集成千上萬個數據點。然后，他們必須在每個數據點上貼上標簽，然后模型才能從數據中學習。這充其量是一個昂貴且耗時的過程。最糟糕的是，根本無法獲得所需的數據。

合成數據使從業人員能夠根據需要人為地創建高保真數據集，以適應他們的精確需求，從而顛覆了這種范式。例如，使用合成數據方法，自動駕駛汽車公司可以生成數十億個不同的駕駛場景供其車輛學習，而無需在現實世界的街道上實際遇到這些場景中的每一個。

隨著合成數據準確地逼近現實世界數據，它將使AI民主化，削弱專有數據資產的競爭優勢。在可以按需廉價地生成數據的世界中，跨行業的競爭動態將被顛覆。

涌現出了一批有前途的初創公司來追逐這一機會，包括Applied Intuition、Parallel Domain、AI.Reverie、Synthesis AI和Unlearn.AI。大型技術公司(包括Nvidia、Google和Amazon)也在大力投資于合成數據。合成數據的第一個主要商業用例是自動駕駛汽車，但該技術正在迅速遍及各個行業，從醫療保健到零售以及其他領域。

抵消合成數據的巨大積極潛力，另一種生成型AI應用有可能對社會產生廣泛的破壞性影響：DeepFakes。

本質上，DeepFakes技術使擁有計算機和互聯網連接的任何人都可以創建看起來真實逼真的照片和視頻，這些人所說的和做的事情實際上并沒有說或做，只是換了張別人的臉而已。

Deepfake技術已被廣泛應用的第一個用例是成人內容。根據初創公司Sensity在2019年7月的一份報告，在線上的Deepfake視頻中有96%是有關成人內容的。 Deepfake幾乎總是在未經同意的情況下進行的，涉及人工合成具有著名名人或私人聯系人的露骨視頻。

從互聯網上的這些黑暗角落，DeepFakes的使用已開始蔓延到政治領域，在政治領域，危害更大。最近在加蓬、馬來西亞和巴西與DeepFakes相關的政治事件可能是即將發生的事的早期例子。

布魯金斯學會(Brookings Institution)在最近的一份報告中嚴厲地總結了DeepFakes帶來的一系列政治和社會危險：“扭曲民主言論;操縱選舉;削弱對機構的信任;削弱新聞業;加劇社會分化;破壞公共安全;并造成難以修復的著名人士，包括民選官員和公職候選人的名譽受到損害。”

合成數據和Deepfake的核心技術是相同的。然而，用例和潛在的現實世界影響卻截然相反。

技術上的一個大真理是，任何給定的創新都可能給人類帶來巨大的利益，也可能給社會帶來嚴重的傷害，這取決于人類選擇使用它的方式。核能確實如此;互聯網確實如此。人工智能同樣如此。生成式人工智能就是一個有力的例證。

6、“syetem2”推理

諾貝爾獎獲得者心理學家丹尼爾·卡尼曼(Daniel Kahneman)在其具有里程碑意義的著作《思考，快與慢》中普及了“系統1”思維和“系統2”思維的概念。

• system1是直覺系統，主要負責快速、無意識、非語言的認知，這是目前深度學習主要做的事情;
• system2是邏輯分析系統，是有意識的、帶邏輯、規劃、推理以及可以語言表達的系統。這是未來深度學習需要著重考慮的。

system1的思維是直觀、快速、輕松而自動的。system1的活動示例包括識別朋友的臉，閱讀路過的廣告牌上的文字或填寫“戰爭與_______”一詞。system1幾乎不需要有意識的處理。

系統2的思考速度較慢，更具分析性和審議性。當需要費力的推理來解決抽象問題或處理新穎情況時，人們會使用System 2思維。system1活動的示例包括解決復雜的腦筋急轉彎或確定社交環境中特定行為的適當性。

盡管system11 /system12框架是為分析人類認知而開發的，但它可以很好地映射到當今的人工智能世界。簡而言之，當今最先進的AI系統在System 1任務上表現出色，但在System 2任務上卻舉步維艱。

AI領導者Andrew Ng對此進行了很好的總結：“如果一個典型的人可以花不到一秒鐘的時間完成一項心理任務，那么我們現在或不久的將來都可以使用AI將其自動化。”

Yoshua Bengio在NeurIPS的2019年主題演講中探索了這個確切的主題。 Bengio在演講中呼吁AI尋求新方法，使AI系統能夠從System 1任務擴展到System 2功能，例如計劃、抽象推理、因果理解和開放式概括。

Bengio說：“我們希望擁有能夠理解世界的機器，能夠建立良好的世界模型，能夠理解因果關系，并且能夠在世界上采取行動來獲取知識。”

有許多不同的方法來組織AI學科的議程、軌跡和抱負。但是，也許最強大、最緊湊的方式是這樣的：為了進步，人工智能需要在system2思維上變得更好。

尚無人確切知道向System 2 AI邁進的最佳方法。近年來，有關如何執行此操作的爭論經常引起爭議。這場辯論引發了關于智力概念的基本哲學問題。

Bengio堅信，盡管可以對當今的神經網絡進行進一步的創新，但System 2推理可以在當前的深度學習范例中實現。

Bengio在NeurIPS的主題演講中說：“有人認為我們需要發明全新的東西來應對這些挑戰，也許可以回到經典的AI來處理諸如高級認知之類的問題。” “但是，我們現在有一條路，擴展了深度學習的能力，可以解決認知系統2的這類高級問題。”

Bengio指出，注意力機制，持續學習和元學習是深度學習中的現有技術，它們對追求System 2 AI具有特別的希望。

但是，其他人則認為，人工智能領域需要更根本的重置。

教授兼企業家Gary Marcus一直特別提倡非深度學習方法來研究System 2智能。 Marcus呼吁將神經網絡與符號方法結合起來的混合解決方案，這種方法在AI研究的最初幾年中很流行，但最近卻不受歡迎。

“深度學習只是構建智能機器的更大挑戰的一部分，” Marcus在現代深度學習時代來臨之際于2012年在《紐約客》上寫道。 “這類技術缺乏表達因果關系的方法，并且在獲取抽象思想時可能會面臨挑戰……。它們沒有明顯的邏輯推理方法，距離集成抽象知識(例如關于什么是對象，它們的用途以及通常的使用方式。”

Marcus與他人共同創立了機器人初創公司Robust.AI，以尋求通往可以推理的AI替代途徑。就在最近，Robust宣布完成了1500萬美元的A輪融資。

計算機科學家Judea Pearl是另一位主要思想家，他認為通向System 2推理的道路不只是深度學習。 Pearl多年來一直倡導因果推理(理解因果關系的能力，而不僅僅是統計關聯)是構建真正智能機器的關鍵。正如Pearl最近所說：“深度學習的所有令人印象深刻的成就都等于曲線擬合。”

 在本系列文章探討的六個AI領域中，最后一個目標是最開放和抽象的。通往System 2 AI的途徑很多。前方的道路仍然迷霧重重。這可能是一個曲折的旅程，但是在我們有生之年，它將改變經濟和世界。