[[214266]]

毫無疑問，AI 的終極未來是達到并超越人類的智能。但是，這是一個非常遙遠的目標。即使我們之中最樂觀的人，也只敢打賭稱人類級別的 AI（泛人工智能（AGI）或者超人工智能（ASI））將會在 10～15 年之后出現。而懷疑論者甚至打賭稱，即使人類級別的人工智能出現，這個過程也需要幾個世紀。不過，這不是我們這篇文章所關注的（如果你對學習超人工智能非常感興趣，你可以閱讀這篇文章）。這里我們將講述一個觸手可及的、更近的未來，討論一些新興的并且強大的 AI 算法。我認為，這些算法正在塑造 AI 不遠的將來。

AI 已經開始在一些選定的具體任務中超過人類。例如，在診斷皮膚癌上打敗醫生和在世界級大賽上打敗圍棋選手。但是，相同的系統和模型不能在其它的任務上表現得很好，因為這些任務與它們專門訓練解決的任務不同。這就是為什么，長期以來，一個不需要重新評估就能高效地解決各種問題的通用智能系統被視為 AI 的未來。但是，在 AI 不遠的將來，泛人工智能還很遙遠的時候，科學家們將如何讓 AI 驅動的算法克服我們現在面臨的問題，讓它們走出實驗室，成為我們的日常用品？

當你環顧四周，AI 正在一個一個地攻破各種難題（請閱讀我們關于 AI 如何超越人類的文章，第一部分和第二部分）。在這樣一個雙贏的情況下，可能會出現什么樣的問題呢？人類在制造越來越多的數據（這是 AI 的基礎）。同時，我們的硬件性能也在變得越來越好。畢竟，數據和更強的計算能力是深度學習在 2012 年開始復興的原因，不是嗎？然而真相是，人們的期待增長得遠比數據和計算能力增長得要快。數據科學家將必須思考比現在已有的解決方案更好的方案，用于解決真實世界的問題。例如，大多數人以為圖像分類是一個科學上已經解決了的問題（如果我們忍住說 100% 精確度的沖動）。我們能夠通過 AI 達到與人類相當的圖像分類的能力（比如說貓的圖片和狗的圖片）。但是，這能夠在真實世界的情況下使用嗎？在某些情況下，可以，但是在很多情況下，我們還不能做到。

我們將會帶你了解在使用 AI 構建真實世界解決方案時候，那些主要的“擋路石”。假設我們想要分類貓和狗的圖像。我們將會在整篇文章中使用這個例子。

我們的示例算法：分類貓和狗的圖片

下面這張圖總結了各種挑戰：

構建真實世界的 AI 所涉及的挑戰

圖中英文翻譯如下：

你可以識別出星球大戰中的絕地武士是吧？一旦它我們把它記在腦海里，我們就能每次都能認出絕地武士。然而，一個算法卻需要大量標記過的圖像來學習、測試和訓練。

假設一個算法輸入了一種非常罕見的狗。該算法很難正確地把它分類為狗。真實世界的問題則更加多樣，并且需要對這些更為多樣的問題進行一定的調整和重新評估。

這是”Kotpies“，世界上第一個成功生下來的的貓狗雜交。一旦新的物種加進來，模型需要輸入這些圖像來識別新的物種，并且最終的模型必須重新訓練來適應新加入的物種。

讓我們仔細地討論這些挑戰的細節：

通過更少的數據來學習：

• 成功的深度學習算法所使用的訓練數據都要求包含有其內容或者特征的標簽。這個過程叫做打標簽。
• 這些算法不能直接使用我們身邊的數據。幾百個標記（或者幾千個）很簡單，但是達到人類級別的圖像分類算法需要輸入上百萬的標記過的圖像來學習。
•  所以，問題在于：為一百萬個圖像進行標記是否可行？如果不可行，那么 AI 如何才能在更少量的標記數據上進行擴展。

解決真實世界中多種多樣的問題：

• 雖然數據集是固定的，但真實世界的使用情況是多種多樣的（例如，與人類不同，在彩色圖像上訓練的算法可能會在灰度圖像上表現的非常差）。
• 盡管我們能夠提高計算機視覺算法檢測物體的能力并達到人類的水平。但是，正如剛剛提到的，這些算法只能解決非常特定的問題。與人類的智能相比，這些算法不能廣泛應用于多種場景。
• 我們的舉例說明的貓狗圖像分類算法，它如果之前沒有輸入過某種罕見品種的狗，那也就不能識別出該種類的狗。

調整增量數據：

• 另一個大的挑戰是增量數據。在我們的例子中，如果我們想要識別出是貓還是狗，在第一次部署的時候，我們可能需要為各種品種的貓和狗來訓練我們的 AI 算法。但是，當我們發現新的品種時，我們需要訓練這個算法，讓它能夠在之前的品質中識別出“Kotpies"這個品種。
• 盡管新的品種與其他品種之間可能比我們想象的更相似，并且能夠通過簡單的訓練使算法得到適應，但這就是其中最困難的一點并且需要完整的重新訓練和重新評估的方法。
• 問題在于，我們是否能夠讓 AI 能至少在這種小的變化上有足夠的適應能力。

遷移學習

是什么？

正如它的名字所示，在遷移學習中，習得的知識是在相同的算法上，從一個任務遷移到另一個任務上的。算法先在一個擁有更大的數據集的任務（源任務）上訓練，然后再被遷移為學習另一個只有較少數據集的任務（目標任務）的算法。

 

 

傳統學習 vs 遷移學習。圖片來源：IEEE Computer Society

 舉幾個例子

在圖像分類算法中使用參數在不同的任務中提取特征（例如：物體識別）是遷移學習里的一個簡單的例子。與之相反，這種方法也能用在完成復雜的任務。最近，Google 開發的用來分類糖尿病性視網膜病變的算法表現超過了人類。這個算法就是用的遷移學習。出乎意料的是，該糖尿病性視網膜病變識別器實際上就是一個真實世界里的圖像分類器（貓狗圖像分類器），使用遷移學習來分類眼部掃描的圖像。

告訴我更多！

你會發現，數據科學家把神經網絡中從源任務遷移到目標任務的部分，在深度學習的術語中稱為預訓練網絡。Fine Tuning 就是當目標任務中的誤差被輕微地反向傳播到預訓練的網絡中，而不是完全不作修改地使用預訓練網絡。對于計算機視覺里遷移學習的技術介紹可以在這里看到。遷移學習的這種思想在這些“有效學習”方法論中特別的重要。

多任務學習

是什么？

在多任務學習中，通過利用任務之間的相同和不同，多個學習任務可以同時解決。出人意料的是，有的時候，同時學習兩個或多個任務（有時也叫主任務和輔助任務）可以讓結果變得更好。請注意：并不是每一對（或者三個一組，四個一組）的任務都是相互輔助的。但是當它們是相互輔助的關系時，我們就能“免費地”得到精度上的提升。舉幾個例子

 

 



用多任務學習同時解決三個任務。圖片來源：Sebastian Ruder

告訴我更多！

在多任務學習里，真實世界應用最為看重的是如何把任何任務都能訓練的無懈可擊。要做到這一點，我們需要考慮很多領域數據（也稱為領域適應）。在貓狗圖像分類的場景中，我們可以舉這樣一個例子：一個可以識別多種不同來源圖像的算法（例如，VGA 相機、高清相機或者紅外相機）。在這些場景中，關于領域分類問題（該圖像是從哪里來的）的輔助損失可以被加到任何任務中，然后機器就會去學習從而使主任務（分類圖像是貓還是狗）的算法變得更好，但是會導致在輔助任務上表現得更差（這是由反向傳播領域分類任務的相反誤差梯度所導致的）。這個想法就是，算法在主任務上學習有區分度的特征，卻不記住那些領域區別相關的特征，該方法就能讓算法表現的更好。多任務學習及其領域適應是我們所知的“有效學習”技術中最成功的一個，并且在塑造 AI 的未來上扮演著舉足輕重的角色。

對抗學習

這是什么？

對抗學習是從 Ian Goodfellow 的研究工作里演化出來的一個領域。盡管對抗學習最流行的應用是生成對抗網絡（Generative Adversarial Networks，GANs），用它可以生成令人驚嘆的圖像，我們還是有很多其他應用該技術的方法。這個由博弈論啟發而產生的技術包含兩個算法，一個是生成器算法，一個是鑒別器算法，它們的目標是在訓練的過程中欺騙對方。生成器可以生成我們所提到的非常新奇的圖像，但是也可以生成任何其他用來向鑒別器隱藏細節的數據。后者就是這個概念的有趣之處。

 

 

生成對抗網絡。圖片來源：O’Reilly

 舉幾個例子

這是一個新的領域，并且它的圖像生成能力吸引了像宇航員這樣的人的關注。但是，我們相信它會演化出更新穎的使用場景。

告訴我更多！

通過使用 GAN 的損失函數，領域適應問題可以做的更好。這里所說的輔助損失是一個 GAN 系統而不是一個單純的領域分類。這個 GAN 系統中的鑒別器嘗試分類某個數據是從那個領域來的，生成器則嘗試通過一些隨機噪音產生的數據來欺騙它。在我們的經驗中，這種方法比普通的領域適應（這種方法也更容易在編寫時出錯）要更好一些。

少樣本學習（Few Shot Learning）

這是什么？

少樣本學習是一種能夠讓深度學習（或者任何機器學習算法）通過更少的樣本學習，而不像傳統的那樣使用大量樣本的技術。單樣本學習（One Shot Learning）就是通過每個分類中取一個樣本來學習。推而廣之，K 樣本學習（K-shot Learning）就是每個分類中取 K 個樣本學習。

使用每個類別中的少量樣本進行單樣本學習。圖片來源：Google DeepMind

 舉幾個例子

少樣本學習是在所有深度學習的會議上都能看到大量論文的一個領域。現在有一些特定的數據集可以用來衡量它們的性能，例如 MNIST 和 CIFAR，這些一般用于機器學習的數據集。單樣本學習有不少在特定圖像分類問題上的應用，例如特征識別和表示。

告訴我更多！

我們有很多方法來實現少樣本學習，包括遷移學習、多任務學習和元學習。有時作為整個算法，有時作為算法的一部分。也有一些其他的方法，比如使用更聰明的損失函數，使用動態的架構或者使用一些優化技巧。零樣本學習，該算法聲稱它可以預測那些從來沒有見過的分類里的數據，本質就是一種可以隨著新類型的數據而擴展的算法。

元學習

這是什么？

元學習就像它聽起來的那樣，是一種可以通過一個數據集，生成一個專為這個數據集準備的新機器學習算法。這個定義第一眼看感覺非常前衛。你會感覺到，“哇，這不就是數據科學家們做的事情嗎！”，它把“21 世紀最性感的工作”給自動化了！在某種程度上，元學習算法已經開始做這樣的事情了（引用自 Google 的博文和這篇論文）。

在一些少樣本圖像分類問題上構建元學習的例子。圖片來源：Ravi et.al.

 舉幾個例子

元學習已經成為了最近深度學習領域的熱門話題。有非常多的研究論文發表，大多數都使用了超參數和神經網絡調優的方法，尋找好的網絡架構，少樣本的圖像識別和高速的強化學習。你可以在這里找到更多易于理解的關于應用場景的文章。

告訴我更多！

一些人把這樣完完全全的自動化決定參數、超參數和網絡架構的方法稱為 AutoML，同時你也可能發現人們把元學習和 AutoML 看作兩個不同的領域。盡管元學習和 AutoML 伴隨著非常多的炒作，但真相是元學習算法仍然是在數據復雜度和多樣性變得越來越大的時候，可以用于擴展機器學習算法的一種好方法。

大多數元學習論文都運用了非常聰明的技巧。根據 Wikipedia 上的資料，他們普遍擁有一些屬性：

• 系統必須包含一個學習系統，它會根據經驗來做適應。
• 經驗通過利用元知識，要么從之前學習的單個數據集里獲得，要么從不同的領域知識獲得。
• 學習偏差必須動態選擇。

子系統的建立是為了適應當領域元數據被加入到系統中的情況。這個元數據可以告訴我們分類數量的增長，復雜度，顏色、材質和物體的變化（在圖像問題中），風格，語言模式（在自然語言問題中）和其他相似的特征。你可以看看一些非常酷的論文：Meta-Learning Shared Hierarchies 和 Meta-Learning Using Temporal Convolutions。你也可以用元學習的架構來構建少樣本學習或零樣本學習的算法。元學習是最有前景能夠塑造 AI 未來的算法之一。

神經推理

這是什么？

神經推理是在圖像分類領域里的下一個重磅新事物。神經推理在模式識別上更深入了一步，其算法不再只是簡單地認出和分類文本和圖像。神經推理正在解決文本分析和視覺分析中更通用的問題。例如，下面的圖片中展示了一系列問題，而這些問題神經推理能夠通過圖像給出解答。

 

告訴我更多！

在 Facebook 放出它最新的 CLEVR 數據集之后，這一系列新技術就出現了。這些用于發掘圖像中物體的關系，而不只是其中的模式的技術，展示了非常巨大的潛力。它可能不只是解決神經推理的問題，還有可能解決很多其他困難的問題，包括少樣本學習問題等。

小結

現在我們了解了這些技術是什么，讓我們回到最開始，來看看它們如何解決我們最開始提出的問題。下面的表格給出了這些“有效學習”技術的在解決這些挑戰時的能力：

“有效學習”技術的能力

• 所有我們上面提到的技術都能通過某些方法，幫助我們解決在少量數據上訓練的問題。元學習會給出一個與訓練數據匹配的架構；遷移學習則利用一些其他領域的知識來彌補少量的訓練數據；少樣本學習致力于解決科學學科專業的問題；而對抗學習則可以幫助增強數據集。
• 領域適應（多任務學習的一種），對抗學習和元學習的架構幫助解決了數據多樣性增長所引起的問題。
• 元學習和少樣本學習幫助解決了數據量變大的問題。
• 通過與元學習算法和少樣本學習算法結合起來，神經推理算法展現出了解決真實世界問題的潛力。

 

請注意：這些“有效學習”技術并不是新的深度學習或機器學習技術，而是用于增強現有技術的技巧，讓他們能夠在現有的情況下表現的更好。因此，你還是會在實戰中使用例如卷積神經和 LSTM 網絡這樣的工具，不過會被加上一些“特技”。這些只需要更少的數據還能夠同時解決多個問題的“有效學習”技術，能夠幫助我們更簡單地部署算法，更簡單地商業化 AI 驅動的產品和服務。