[[311763]]

人工智能不再準備著有朝一日改變世界，而是正在改變世界。在我們買入新的一年和十年之際，VentureBeat邀請了人工智能領域最敏銳的一些人，重新審視了2019年取得的成就，并展望了機器學習在2020年將如何成熟。

每個人都有對未來一年的預測，但這些人——在人工智能領域擁有權威的個人——正在塑造今天的未來，他們珍視科學追求，他們的經歷為其贏得了信譽。盡管一些人預測在諸如半監督學習和神經符號方法等子領域會有進步，但幾乎所有ML領域的杰出人士都表示，在2019年基于Transformer的自然語言模型方面取得了巨大進步，并預計在面部識別等技術方面會繼續存在爭議。他們還希望看到人工智能領域發展出比準確性更有價值的東西。

Soumith Chintala

PyTorch的負責人、首席工程師和創建者

不管你如何評價，PyTorch是當今世界上最受歡迎的機器學習框架。 PyTorch是2002年引入的Torch開源框架的衍生產品，于2015年可用，并且在擴展和庫中穩步增長。

今年秋天，Facebook發布了帶有量化和TPU支持的PyTorch 1.3，以及深度學習可解釋性工具Captum和PyTorch Mobile。還有諸如PyRobot和PyTorch Hub之類的東西，用于共享代碼并鼓勵ML從業者支持可重復性。

今年秋天在PyTorch開發大會上，Chintala在與VentureBeat的一次對話中表示，他在2019年的機器學習中幾乎沒有突破性進展。

“實際上，我認為我們沒有開創性的東西……基本上是從Transformer開始的。我們的ConvNets在2012年達到黃金時段，而Transformer在2017年左右。這是我的個人看法。”他說。

他繼續稱DeepMind的AlphaGo在強化學習方面的貢獻是開創性的，但是他說，這些成果很難應用到現實世界的實際任務中。

Chintala還認為，機器學習框架(如PyTorch和谷歌的TensorFlow)的發展已改變了研究人員探索思想和開展工作的方式，這些機器學習框架在當今的ML從業者中廣受歡迎。

他說：“從某種意義上說，這是一個突破，它使他們移動的速度比以前快了一兩個數量級。”

今年，谷歌和Facebook的開源框架引入了量化，以提高模型訓練的速度。在未來的幾年中，Chintala希望PyTorch的JIT編譯器和Glow等神經網絡硬件加速器的重要性和采用率“爆炸式增長”。

“借助PyTorch和TensorFlow，你已經看到了框架的融合。出現量化的原因，以及其他一系列較低級別的效率，是因為下一場戰爭是框架的編譯器——XLA，TVM，PyTorch擁有Glow，許多創新正在等待發生。”他說，“在接下來的幾年中，你將看到……如何更智能地量化，如何更好地融合，如何更有效地使用GPU，以及如何自動為新硬件進行編譯。”

像大多數其他行業領導者那樣，Chintala預測AI社區將在2020年之前將更多的價值放在AI模型性能上，而不僅僅是準確性，并開始將注意力轉向其他重要因素，例如創建模型所需的權重，如何向人類解釋輸出，以及AI如何更好地反映人們想要建立的社會類型。

“如果思考一下過去的五、六年，我們只是關注準確性，而原始數據如英偉達的模型是否更準確? Facebook的模型更準確嗎?'”他說， “我實際上認為2020年將是我們開始(以更復雜的方式)進行思考的一年，如果你的模型……沒有良好的互操作性機制(或滿足其他標準)，你的模型是否比現在精確3%并不重要。”

塞萊斯特·基德(Celeste Kidd)

加州大學伯克利分校的發展心理學家

塞萊斯特·基德(Celeste Kidd)是加州大學伯克利分?；聦嶒炇业闹魅?，她和她的團隊在這里探索孩子們的學習方式。他們的見解可以幫助神經網絡的創建者，這些人正試圖以一種與養育孩子差不多的方式來訓練模型。

她說：“人類嬰兒沒有被標記的數據集，但它們管理得很好，對我們來說重要的是要了解這種情況。”

讓基德在2019年感到驚訝的一件事是，神經網絡創建者的數量隨隨便便救貶低了自己或其他研究人員的工作，因為他們無法做嬰兒可以做的事情。

她說，當你將嬰兒的行為平均化時，您會看到有證據表明他們了解某些東西，但他們絕對不是完美的學習者，而這種談話對嬰兒的能力描繪得過于樂觀。

她說：“人類嬰兒很棒，但他們犯了很多錯誤，而且我經常看到人們隨便進行的許多比較，都是把嬰兒行為在人口層面上理想化了。” “我認為，對于目前了解的內容與你接下來想要了解的內容之間的聯系，人們很可能會越來越有辨別力。”

在人工智能中，“黑匣子”這個詞已經存在多年了。它曾經用來批評神經網絡缺乏可解釋性，但基德認為2020年可能意味著神經網絡不可解釋的觀念的終結。

她說：“黑匣子的論點是虛假的……大腦也是黑匣子，我們在理解大腦如何工作方面取得了很大進步。”

在揭開這種對神經網絡的認識的神秘面紗時，基德研究了像麻省理工學院- IBM沃森人工智能實驗室(MIT-IBM Watson AI Lab)執行主任奧德·奧利瓦(Aude Oliva)這樣的人的工作。

“我們當時在談論這個問題，我說了有關該系統是黑匣子的事情，她合理地譴責了我，說他們當然不是黑匣子。當然，你可以將它們分解并將它們拆開，看看它們如何工作并對其進行實驗，就像我們為理解認知所做的一樣。”基德說。

上個月，基德在神經信息處理系統(NeurIPS)會議上發表了開幕式主題演講，這是世界上最大的年度AI研究會議。她的演講重點關注人腦如何固守頑固的信念，注意力系統和貝葉斯統計。

她說，信息傳遞的“舒適區”介于一個人之前的興趣和理解與他們感到驚訝的東西之間。人們傾向于較少接觸那些過于令人驚訝的內容。

然后她說，不存在中立的技術平臺，于是她把注意力轉向內容推薦系統的制造商如何操縱人們的信念。為了追求最大程度的參與而構建的系統會對人們如何形成信念和觀點產生重大影響。

基德在演講中談到了機器學習中男性的誤解，即與女性同事獨自一人會導致性騷擾指控并結束男性職業。她說，這種誤解反而會損害女性在該領域的職業。

由于在羅切斯特大學發表有關性行為不端的言論，基德與其他女性一起被評為2017年度“年度人物”，這些女性幫助實現了我們現在所說的“平等對待婦女運動”。當時，基德認為大聲疾呼將結束她的職業生涯。

她希望在2020年看到人們越來越意識到技術工具和技術決策對現實生活的影響，并拒絕認為工具制造商對人們的使用行為不負責任的觀點。

她說：“我聽到很多人試圖說'‘我不是真理的審判人’來為自己辯護。” “我認為必須提高對這是不誠實立場的認識。”

“在一個社會，尤其是作為使用這些工具的人們，我們真的需要直接意識到隨之而來的責任。”

杰夫·迪恩(Jeff Dean)

谷歌AI總監

迪恩領導Google AI已有近兩年時間，但他已經在谷歌工作了二十年，是谷歌早期搜索和分布式網絡算法的架構師，也是Google Brain的早期成員。

迪恩上個月在NeurIPS上與VentureBeat進行了交談，在那里他就ASIC半導體設計的機器學習以及AI社區應對氣候變化的方式進行了演講，他說這是我們時代最重要的問題。在關于氣候變化的討論中，迪恩討論了AI可以努力成為零碳行業以及AI可以用來幫助改變人類行為的想法。

他預計到2020年，多模式學習領域將取得進展，這是一種依靠多種媒體進行訓練的AI，而多任務學習則涉及旨在一次完成多個任務的網絡。

毫無疑問，2019年最大的機器學習趨勢之一是基于Transformer的自然語言模型的持續增長和擴散，此前模型Chintala被稱為近年來人工智能最大的突破之一。 谷歌于2018年開源了基于Transformer的模型BERT。根據GLUE排行榜，今年發布的許多性能最高的模型(例如Google的XLNet，微軟的MT-DNN和Facebook的RoBERTa)都基于Transformer。公司發言人告訴VentureBeat，XLNet 2將于本月晚些時候發布。

迪恩指出了已經取得的進展，他說：“ ...我認為整個研究線程在實際產生機器學習模型方面非常富有成效，[現在讓我們]做的機器學習模型比過去能夠完成的復雜得多。但是他補充說，仍有增長空間。“我們仍然希望能夠創建更多情境的模型。像現在這樣，BERT和其他模型可以很好地處理數百個單詞，但不能作為處理上下文的10,000個單詞。因此，這是[有趣的方向。”

迪恩說，他希望少強調一些最新技術，而傾向于創建更強大的模型。

Google AI還將努力推進新的舉措，例如Everyday Robot，這是一個于2019年11月推出的內部項目，旨在制造能夠在家庭和工作場所完成常見任務的機器人。

Anima Anandkumar

英偉達機器學習研究總監

Anandkumar在擔任AWS首席科學家后加入了GPU制造商英偉達。在英偉達，人工智能研究在多個領域進行，從醫療保健的聯合學習到自動駕駛，超級計算機和圖形學。

英偉達和Anandkumar在2019年的重點領域之一是強化學習的仿真框架，這些框架越來越受歡迎且成熟。

在2019年，我們看到了英偉達的Drive autonomus駕駛平臺和Isaac機器人模擬器的興起，以及從模擬和生成對抗網絡或GAN生成綜合數據的模型的興起。

去年還迎來了AI的興起，例如StyleGAN(一種可以使人們分辨不出自己看到的是計算機生成的人臉還是真實的人的網絡)和GauGAN(可以用畫筆生成風景的網絡)。 StyleGAN2上個月首次亮相。

GAN是可以模糊現實界限的技術，Anandkumar認為，它們可以幫助AI社區嘗試解決的主要挑戰，例如抓握機械臂和自動駕駛。

Anandkumar還希望未來一年通過迭代算法、自我監督和訓練模型的自訓練方法取得進展，這些模型可以通過對未標記數據進行自我訓練來改進。

“我認為各種不同的迭代算法都是未來，因為如果你只做一個前饋網絡，那么魯棒性就成為問題。”她說：“如果你嘗試進行多次迭代，并根據所需的數據類型或精度要求對迭代進行調整，那么實現這一目標的機會就更多了。”

Anandkumar看到了2020年AI社區面臨的眾多挑戰，例如需要與各領域專家一道創建專門針對特定行業的模型。決策者、個人和AI社區也將需要解決代表性問題，以及確保用于訓練模型的數據集能夠涵蓋不同人群的挑戰。

她說：“我認為[面部識別問題]很容易掌握，但是在很多[其他領域]……人們沒有意識到使用數據存在隱私問題。”

Anandkumar說，面部識別得到了最大的關注，因為很容易理解面部識別如何侵犯個人隱私，但是AI社區在2020年還面臨許多其他道德問題。

“我們將在數據收集方式和使用方式方面進行越來越嚴格的審查。這種情況正在歐洲發生，但是在美國，我們肯定會看到更多這樣的情況，而且出于正確的理由，我們會看到更多這樣的情況，比如國家運輸安全委員會和聯邦運輸管理局。”她說。

在Anandkumar看來，2019年的一大驚喜是文本生成模型的發展速度。

“ 2019年是語言模型之年，對嗎?現在，我們第一次在段落長度上達到了更加連貫的文本生成，這在以前是不可能的，但現在已經很好了。”Anandkumar說。

2019年8月，英偉達推出了Megatron自然語言模型。Megatron擁有80億個參數，是全球最大的基于Transformer的AI模型。 Anandkumar說，她對人們開始將模型表征為具有個性或字符的方式感到驚訝，并且她希望看到更多針對特定行業的文本模型。

“我們還沒有達到產生對話的階段，這種對話是互動的，可以跟蹤并進行自然的對話。所以我認為，到2020年，在這個方向上將會有更多認真的嘗試。”她說。

例如，開發用于控制文本生成的框架要比開發用于識別人或對象的圖像的框架更具挑戰性。文本生成模型還可能面臨例如為神經模型定義事實的挑戰。

最后，Anandkumar說，她很高興看到基德在NeurIPS上的演講獲得了起立鼓掌，并且被機器學習社區中越來越成熟和包容的跡象所鼓舞。

“我覺得現在是分水嶺。” 她說， “一開始甚至很難做些小改動，然后大壩就破裂了。我希望是這樣，因為在我看來，我希望保持這種勢頭，并進行更大的結構改革，并使所有小組，這里的每個人都蓬勃發展。”

達里奧·吉爾(Dario Gil)

IBM研究總監

吉爾領導的一組研究人員積極為白宮和世界各地的企業提供咨詢服務。他認為，2019年的重大飛躍包括圍繞生成模型的進步，以及生成可信語言的質量不斷提高。

他預測，在降低精度的體系結構上，更有效的培訓將繼續取得進展。更高效的AI模型的開發是NeurIPS的重點，IBM Research在此引入了具有8位精度模型的深度學習技術。

他說:“我們用現有的硬件和GPU架構來訓練深度神經網絡，其效率仍然很低。”因此，對這個問題進行根本性的反思是非常重要的。我們必須提高人工智能的計算效率，這樣我們才能做得更多。”

吉爾引用研究表明，對機器學習訓練的需求每三個半月翻一番，這比摩爾定律所預測的增長快得多。

吉爾也對AI如何幫助加速科學發現感到興奮，但是IBM Research將主要專注于機器學習的神經符號方法。

吉爾希望AI從業者和研究人員將專注于準確性以外的指標，以考慮生產中部署的模型的價值。將該領域轉向構建受信任的系統，而不是把準確性放在首位，這將是繼續采用AI的中心支柱。

“社區中有些人可能會繼續說，‘不用擔心，只要提供準確性。沒關系，人們會習慣這個東西有點像黑匣子，”或者他們會提出這樣的論點，即人們有時不會對我們做出的某些決定產生解釋。我認為，非常重要的一點是，我們要集中社區的知識力量，在此方面做得更好。人工智能系統不能成為關鍵任務應用程序的黑匣子。”

吉爾相信要擺脫這樣的觀念，即只有少數機器學習向導才能做到AI，以確保更多的具有數據科學和軟件工程技能的人采用AI。

他說：“如果我們把它作為一個神秘領域，那就是AI的領域，只對從事這方面研究的博士開放，它并不能真正促進人工智能的應用。”

在來年，吉爾對神經符號AI特別感興趣。 IBM將尋求神經符號方法來增強諸如概率性編程之類的功能，其中AI將學習如何操作程序以及可共享其決策背后原因的模型。

他說:“通過采用這種混合的方法，一種新的當代方法，通過這些神經符號方法，把學習和推理結合在一起。在這種方法中，符號維度嵌入到學習程序中。我們已經證明，你可用所需數據的一小部分來學習。”“因為你學了一個程序，你最終得到了一些可解釋的東西，并且因為你有了一些可解釋的東西，你得到了一些更可信的東西。”

他說，公平性，數據完整性和數據集選擇等問題將繼續引起人們的廣泛關注，“與生物識別技術有關的任何事情也將如此”。面部識別得到了很多關注，但這僅僅是開始。語音數據以及其他形式的生物識別技術將越來越具有敏感性。他繼續引用了哥倫比亞大學教授Rafael Yuste的話，他從事神經技術研究，并正在探索提取視覺皮層上神經模式的方法。

吉爾說：“我以這個例子為例，所有與身份、人的生物特征以及人工智能在分析方面取得的進步，將繼續處于前沿和中心位置。”

除了神經符號和常識推理(MIT-IBM沃森實驗室的一項旗艦計劃外)，吉爾于2020年表示，IBM Research還將探索AI量子計算，以及AI模擬硬件，而不僅僅是降低精度的架構。

總結

機器學習正在繼續塑造商業和社會，VentureBeat采訪的研究人員和專家看到了一些即將出現的趨勢:

隨著Transformers推動了巨大的飛躍，自然語言模型的進步是2019年的主要故事。在2020年尋找更多基于BERT和基于Transformer的模型的變體。

人工智能行業應該尋找方法來評估模型輸出的準確性。

諸如半監督學習，機器學習的神經符號方法之類的方法以及諸如多任務和多模式學習之類的子領域可能會在明年出現。

與生物統計數據(如語音記錄)相關的倫理挑戰可能會繼續引起爭議。