自 2012 年，以 AlexNet 為代表的深度學(xué)習(xí)技術(shù)突破開(kāi)始，至今已有 10 年。

10 年后，如今已經(jīng)成為圖靈獎(jiǎng)得主的 Geoffrey Hinton、Yann LeCun，ImageNet 挑戰(zhàn)賽的主要發(fā)起人與推動(dòng)者李飛飛如何看待過(guò)去十年的 AI 技術(shù)突破？又對(duì)接下來(lái)十年的技術(shù)發(fā)展有什么判斷？

近日，海外媒體 VentureBeat 的一篇專訪文章，讓 AI 社區(qū)開(kāi)始討論起這些問(wèn)題。

在LeCun看來(lái)，過(guò)去十年最重要的成果包括自監(jiān)督學(xué)習(xí)、ResNets、門-注意力-動(dòng)態(tài)連接圖、可微存儲(chǔ)和置換等變模塊，例如多頭自注意力-Transformer。

Hinton 認(rèn)為，AI 領(lǐng)域的快速發(fā)展勢(shì)頭將繼續(xù)加速。此前，他與其他一些 AI 領(lǐng)域知名人士對(duì)「深度學(xué)習(xí)已經(jīng)碰壁」這一觀點(diǎn)進(jìn)行了反駁。Hinton 表示，「我們看到機(jī)器人領(lǐng)域出現(xiàn)了巨大進(jìn)步，靈活、敏捷且更順從的機(jī)器人比人類更高效、溫和地做事情。」

Geoffrey Hinton。圖源：https://www.thestar.com/

LeCun 和李飛飛贊同 Hinton 的觀點(diǎn)，即 2012 年基于 ImageNet 數(shù)據(jù)集的一系列開(kāi)創(chuàng)性研究開(kāi)啟了計(jì)算機(jī)視覺(jué)尤其是深度學(xué)習(xí)領(lǐng)域的重大進(jìn)步，將深度學(xué)習(xí)推向了主流，并引發(fā)了一股難以阻擋的發(fā)展勢(shì)頭。李飛飛對(duì)此表示，自 2012 年以來(lái)的深度學(xué)習(xí)變革是她做夢(mèng)也想不到的。

李飛飛

不過(guò)，成功往往會(huì)招致批評(píng)。最近，很多觀點(diǎn)紛紛指出了深度學(xué)習(xí)的局限性，認(rèn)為它的成功僅限于很小的范圍。這些觀點(diǎn)認(rèn)為深度學(xué)習(xí)無(wú)法實(shí)現(xiàn)其宣稱的根本性突破，即最終幫助人類實(shí)現(xiàn)期望的通用人工智能，其中 AI 的推理能力真正地類似于人類。

知名 AI 學(xué)者、Robust.AI 創(chuàng)始人 Gary Marcus 在今年三月發(fā)表了一篇《深度學(xué)習(xí)撞墻了》的文章，他認(rèn)為純粹的端到端深度學(xué)習(xí)差不多走到盡頭了，整個(gè) AI 領(lǐng)域必須要尋找新出路。之后，Hinton 和 LeCun 都對(duì)他的觀點(diǎn)發(fā)起了駁斥，由此更引發(fā)了圈內(nèi)熱議。

雖然批評(píng)的聲音不斷，但他們不能否認(rèn)計(jì)算機(jī)視覺(jué)和語(yǔ)言等關(guān)鍵應(yīng)用已經(jīng)取得了巨大進(jìn)展。成千上萬(wàn)的企業(yè)也見(jiàn)識(shí)到了深度學(xué)習(xí)的強(qiáng)大力量，并在推薦引擎、翻譯軟件、聊天機(jī)器人以及更多其他領(lǐng)域取得了顯著的成果。

2022 年了，當(dāng)我們回顧過(guò)往蓬勃發(fā)展的 AI 十年，我們能從深度學(xué)習(xí)的進(jìn)展中學(xué)到什么呢？這一改變世界的變革性技術(shù)未來(lái)會(huì)更好還是走下坡路呢？Hinton、LeCun、李飛飛等人對(duì)此發(fā)表了自己的看法。

2012 年，深度學(xué)習(xí)變革的開(kāi)始

一直以來(lái)，Hinton 堅(jiān)信深度學(xué)習(xí)革命的到來(lái)。1986 年，Hinton 等人的論文《Learning representations by back-propagating errors》提出了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的反向傳播算法，他便堅(jiān)信這就是人工智能的未來(lái)。之后，1989 年率先使用反向傳播和卷積神經(jīng)網(wǎng)絡(luò)的 LeCun 對(duì)此表示贊同。

Hinton 和 LeCun 以及其他人認(rèn)為多層神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)架構(gòu)可以應(yīng)用于計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理和機(jī)器翻譯等領(lǐng)域，并生成媲美甚至超越人類專家的結(jié)果。與此同時(shí)，李飛飛也提出了自己深信不疑的假設(shè)，即只要算法正確，ImageNet 數(shù)據(jù)集將成為推進(jìn)計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)研究的關(guān)鍵。

到了 2012 年，Alex Krizhevsky、Ilya Sutskever 和 Hinton 的論文《ImageNet Classification with Deep Convolutional Neural Networks》問(wèn)世，使用 ImageNet 數(shù)據(jù)集創(chuàng)建了今天大家非常熟悉的 AlexNet 神經(jīng)網(wǎng)絡(luò)架構(gòu)，并獲得了當(dāng)年的 ImageNet 競(jìng)賽冠軍。這個(gè)在當(dāng)時(shí)具有開(kāi)創(chuàng)性意義的架構(gòu)在分類不同的圖像方面比以往方法準(zhǔn)確得多。

論文地址：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

可以這么說(shuō)，這項(xiàng)研究在 ImageNet 數(shù)據(jù)集和更強(qiáng)大 GPU 硬件的加持下，直接促成了下個(gè)十年的主要 AI 成功案例，比如 Google Photos、Google Translate、Amazon Alexa、OpenAI DALL-E 和 DeepMind AlphaFold 等。

在 AlexNet 推出的 2012 年，也有其他人和機(jī)構(gòu)開(kāi)始轉(zhuǎn)向深度學(xué)習(xí)研究領(lǐng)域。Google X 實(shí)驗(yàn)室構(gòu)建了一個(gè)由 16000 個(gè)計(jì)算機(jī)處理器組成的神經(jīng)網(wǎng)絡(luò)，它具有 10 億個(gè)連接，并逐漸能夠識(shí)別類貓（cat-like）特征以及高度準(zhǔn)確地識(shí)別 YouTube 上的貓視頻。

與此同時(shí)，Jeffrey Dean 和 Andrew Ng 也在大規(guī)模圖像識(shí)別領(lǐng)域進(jìn)行突破性工作。Dan Ciregan 等人中稿 CVPR 2012 的論文顯著提高了卷積神經(jīng)網(wǎng)絡(luò)在多個(gè)圖像數(shù)據(jù)集上的 SOTA 性能。

論文地址：https://arxiv.org/pdf/1202.2745.pdf

總而言之，到了 2013 年，「幾乎所有的計(jì)算機(jī)視覺(jué)研究都轉(zhuǎn)向了神經(jīng)網(wǎng)絡(luò)，」Hinton 說(shuō)，他從那時(shí)起就在 Google Research 和多倫多大學(xué)之間分配時(shí)間。他補(bǔ)充說(shuō)，從最近的 2007 年算起，幾乎發(fā)生了一次人工智能的徹底改變，遙想當(dāng)時(shí)，「在一次會(huì)議上發(fā)表兩篇關(guān)于深度學(xué)習(xí)的論文甚至是不合適的」。

十年深度學(xué)習(xí)進(jìn)展

李飛飛表示，她深度參與了深度學(xué)習(xí)的突破——在 2012 年意大利佛羅倫薩會(huì)議上親自宣布了 ImageNet 競(jìng)賽的獲勝者——人們認(rèn)識(shí)到那一刻的重要性也就不足為奇了。

「ImageNet 是一個(gè)始于 2006 年的愿景，當(dāng)時(shí)幾乎沒(méi)有人支持，」李飛飛補(bǔ)充說(shuō)，它后來(lái)「在事實(shí)上以如此具有歷史意義的重大方式獲得了回報(bào)。」

自 2012 年以來(lái)，深度學(xué)習(xí)的發(fā)展速度驚人，深度也令人印象深刻。  

「有一些障礙正在以令人難以置信的速度被清除，」LeCun 說(shuō)，他引用了自然語(yǔ)言理解、文本生成翻譯和圖像合成方面的進(jìn)展。

有些領(lǐng)域的進(jìn)展甚至比預(yù)期中要快。對(duì)于 Hinton 來(lái)說(shuō)，這種進(jìn)展包括在機(jī)器翻譯中使用神經(jīng)網(wǎng)絡(luò)，其在 2014 年取得了長(zhǎng)足的進(jìn)步。「我本認(rèn)為那會(huì)是很多年，」他說(shuō)。

李飛飛也承認(rèn)了計(jì)算機(jī)視覺(jué)的進(jìn)步——比如 DALL-E——「比我想象的要快。」

駁回深度學(xué)習(xí)批評(píng)者

然而，并不是所有人都同意深度學(xué)習(xí)的進(jìn)展令人瞠目結(jié)舌。2012 年 11 月，Gary Marcus 為《紐約客》寫(xiě)了一篇文章，他這么說(shuō)：「套用一句古老的寓言，Hinton 建造了一個(gè)更好的梯子，但更好的梯子并不一定能讓你登上月球。」

Marcus 認(rèn)為深度學(xué)習(xí)沒(méi)有比十年前更接近「月球」，此處的月球是指通用人工智能或人類水平的人工智能。

「當(dāng)然有進(jìn)步，但為了登上月球，你必須解決因果理解和自然語(yǔ)言理解及推理，」他說(shuō)。「在這些事情上沒(méi)有太大進(jìn)展。」

Marcus 認(rèn)為將神經(jīng)網(wǎng)絡(luò)與符號(hào) AI（在深度學(xué)習(xí)興起之前主導(dǎo)該領(lǐng)域的 AI 分支）相結(jié)合的混合模型是對(duì)抗神經(jīng)網(wǎng)絡(luò)極限的前進(jìn)方向。不過(guò) Hinton 和 LeCun 都駁斥過(guò) Marcus 的批評(píng)。

「深度學(xué)習(xí)沒(méi)有撞墻——如果你看看最近的進(jìn)展，那真是太棒了，」Hinton 說(shuō)，盡管他曾承認(rèn)深度學(xué)習(xí)在它可以解決的問(wèn)題范圍內(nèi)是有限的。

LeCun 補(bǔ)充說(shuō)，「沒(méi)有被撞到的墻」。「我認(rèn)為有一些障礙需要清除，而這些障礙的解決方案并不完全清楚，」他說(shuō)。「但我根本沒(méi)有看到進(jìn)展放緩…… 進(jìn)展正在加速。」

不過(guò)，Bender 并不相信。「在某種程度上，他們只是在談?wù)摳鶕?jù) ImageNet 等基準(zhǔn)提供的標(biāo)簽對(duì)圖像進(jìn)行分類的進(jìn)展，看來(lái) 2012 年取得了一些質(zhì)的突破。但如果他們?cè)谡務(wù)摫冗@更宏大的事情，那都是炒作。」

人工智能偏見(jiàn)和道德問(wèn)題迫在眉睫

在其他方面，Bender 也認(rèn)為人工智能和深度學(xué)習(xí)領(lǐng)域已經(jīng)走得太遠(yuǎn)了。

「我確實(shí)認(rèn)為，將非常大的數(shù)據(jù)集處理成可以生成合成文本和圖像的系統(tǒng)的能力（計(jì)算能力 + 高效算法）已經(jīng)讓我們?cè)趲讉€(gè)方面脫軌了，」她說(shuō)。比如，人們似乎陷入了一個(gè)循環(huán)：發(fā)現(xiàn)模型有偏見(jiàn)，并提議嘗試去掉偏見(jiàn)，不過(guò)公認(rèn)的結(jié)果是，目前并沒(méi)有完全去偏見(jiàn)的數(shù)據(jù)集或模型。

此外，她表示希望看到該領(lǐng)域遵守真正的問(wèn)責(zé)標(biāo)準(zhǔn)，無(wú)論是針對(duì)實(shí)際測(cè)試還是產(chǎn)品安全——「為此，我們需要廣大公眾了解以及如何看穿人工智能炒作的說(shuō)法都處于危險(xiǎn)之中，我們將需要有效的監(jiān)管。」

然而，LeCun 指出，這些都是人們傾向于簡(jiǎn)化的復(fù)雜而重要的問(wèn)題，而且很多人「有惡意的假設(shè)」。他堅(jiān)持認(rèn)為，大多數(shù)公司「實(shí)際上都想做正確的事」。

此外，他還抱怨了那些不參與人工智能技術(shù)和研究的人。「這是一個(gè)完整的生態(tài)系統(tǒng)，但一些人在看臺(tái)上射擊，」他說(shuō)，「基本上只是在吸引注意力。」

關(guān)于深度學(xué)習(xí)的辯論肯定會(huì)繼續(xù)

盡管辯論看起來(lái)很激烈，但李飛飛強(qiáng)調(diào)，這些是科學(xué)的全部?jī)?nèi)容。「科學(xué)不是真理，科學(xué)是尋求真理的旅程。這是發(fā)現(xiàn)和改進(jìn)的旅程——所以辯論、批評(píng)、慶祝都是其中的一部分。」

然而，一些辯論和批評(píng)讓李飛飛覺(jué)得「有點(diǎn)做作」，無(wú)論是說(shuō) AI 都是錯(cuò)誤的，還是說(shuō) AGI 即將來(lái)臨，都屬于極端情況。「我認(rèn)為這是一場(chǎng)更深入、更微妙、更細(xì)微、更多維度的科學(xué)辯論的相對(duì)普及版本。」

當(dāng)然，李飛飛指出，在過(guò)去十年中，人工智能的進(jìn)步令人失望——而且并不總是與技術(shù)有關(guān)。

人工智能和深度學(xué)習(xí)的未來(lái)  

LeCun 承認(rèn)，一些人們投入大量資源的 AI 挑戰(zhàn)尚未得到解決，例如自動(dòng)駕駛。「我會(huì)說(shuō)其他人低估了它的復(fù)雜性，」他說(shuō)，并補(bǔ)充說(shuō)他沒(méi)有將自己歸入這一類別。

「我知道這很難，而且需要很長(zhǎng)時(shí)間，」他聲稱。「我不同意一些人的說(shuō)法，他們說(shuō)我們基本上已經(jīng)弄清楚了…… 這只是讓這些模型更大的問(wèn)題。」

事實(shí)上，LeCun 最近發(fā)布了一份創(chuàng)建「自主機(jī)器智能」的藍(lán)圖，這也表明他認(rèn)為當(dāng)前的人工智能方法并不能達(dá)到人類水平的人工智能。

但他也看到了深度學(xué)習(xí)未來(lái)的巨大潛力，表示自己最興奮的是讓機(jī)器更高效地學(xué)習(xí)，更像動(dòng)物和人類。

LeCun 表示，對(duì)他本人來(lái)說(shuō)，最大的問(wèn)題是動(dòng)物學(xué)習(xí)的基本原則是什么，這也是他一直提倡自監(jiān)督學(xué)習(xí)等事物的原因之一。

「這一進(jìn)展將使我們能夠構(gòu)建目前遙不可及的東西，比如可以在日常生活中助力智能系統(tǒng)，就好像它們是人類助手一樣。這是我們將需要的東西，因?yàn)樗腥硕紝⒋魃?AR 眼鏡，我們將不得不與其互動(dòng)。」

Hinton 同意深度學(xué)習(xí)正在取得更多進(jìn)展。除了機(jī)器人技術(shù)的進(jìn)步，他還相信神經(jīng)網(wǎng)絡(luò)的計(jì)算基礎(chǔ)設(shè)施將會(huì)有另一個(gè)突破，因?yàn)槟壳暗脑O(shè)施只是用非常擅長(zhǎng)做矩陣乘法器的加速器完成數(shù)字計(jì)算。他說(shuō)，對(duì)于反向傳播，需要將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。  

「我們會(huì)找到在模擬硬件中工作的反向傳播的替代方案，」他說(shuō)。「我非常相信，長(zhǎng)遠(yuǎn)來(lái)看我們幾乎所有的計(jì)算都將以模擬方式完成。」

李飛飛認(rèn)為，對(duì)于深度學(xué)習(xí)的未來(lái)，最重要的是交流和教育。「在 Stanford HAI，我們實(shí)際上花費(fèi)了過(guò)多的精力來(lái)面對(duì)商業(yè)領(lǐng)袖、政府、政策制定者、媒體、記者和記者以及整個(gè)社會(huì)，并創(chuàng)建專題討論會(huì)、會(huì)議、研討會(huì)、發(fā)布政策簡(jiǎn)報(bào)、行業(yè)簡(jiǎn)報(bào)。」  

對(duì)于如此新的技術(shù)，李飛飛比較擔(dān)心的是缺乏背景知識(shí)無(wú)助于傳達(dá)對(duì)這個(gè)時(shí)代的更細(xì)致和更深思熟慮的描述。

10 年來(lái)的深度學(xué)習(xí)將如何被銘記

對(duì)于 Hinton 來(lái)說(shuō)，深度學(xué)習(xí)在過(guò)去十年取得了超出想象的成功，但他也強(qiáng)調(diào)了，這種巨大的進(jìn)步應(yīng)該被歸功于「計(jì)算機(jī)硬件的進(jìn)步」。

Marcus 是一位批評(píng)者的角色，他認(rèn)為深度學(xué)習(xí)雖然取得了一些進(jìn)展，但之后看來(lái)這可能是一種不幸。

「我認(rèn)為 2050 年的人們會(huì)從 2022 年開(kāi)始審視這些系統(tǒng)，并且會(huì)說(shuō)：是的，它們很勇敢，但并沒(méi)有真正發(fā)揮作用。」

但李飛飛希望過(guò)去十年將被銘記為「?jìng)ゴ蟮臄?shù)字革命的開(kāi)端」：「它讓所有人而不僅僅是少數(shù)人或部分人類的生活和工作更好了。」

她還補(bǔ)充道，作為一名科學(xué)家，「我永遠(yuǎn)不會(huì)認(rèn)為今天的深度學(xué)習(xí)是人工智能探索的終結(jié)。」

在社會(huì)層面，她說(shuō)她希望將人工智能視為「一種令人難以置信的技術(shù)工具，它以最以人為本的方式被開(kāi)發(fā)和使用——我們必須認(rèn)識(shí)到這種工具的深遠(yuǎn)影響，并接受以人為本的思維框架以及設(shè)計(jì)和部署人工智能。」

最后，李飛飛表示：「我們?nèi)绾伪挥涀。Q于我們現(xiàn)在正在做什么。」