出品 | 51CTO技術棧（微信號：blog51cto）
“過去12年的AI熱潮得益于三位在面對廣泛批評時依然追求非傳統理念的先驅。
一位是多倫多大學的Geoffrey Hinton，他幾十年如一日地推廣神經網絡，盡管幾乎所有人都懷疑它。
第二位是Nvidia的CEO黃仁勛，他早早意識到GPU不僅僅能用于圖形處理。
第三位是李飛飛，她創建了一個在大多數同行看來荒謬龐大的圖像數據集，最終證明了使用GPU訓練的神經網絡的潛力。”
Understanding AI 社區上的這篇《為什么深度學習的蓬勃發展讓幾乎所有人都措手不及？》，以宏大的視角回顧了這波 AI 潮的起源，神經網絡、大數據集和 GPU 計算這三大元素如何交融在歷史的節點。
以史為鑒，作者也認為AI的突破需要敢于走出“Scaling laws”：“我認為，在未來幾年，‘Scaling laws’可能會失效。如果那時到來，我們將需要新一代頑固的非傳統主義者來察覺到舊方法不起作用并嘗試新的方向。”
一個讀者感慨地評道，“我在人工智能領域工作了 30 多年，一直從事與符號人工智能相關的工作，如知識表示、自動推理、智能代理等。我從未想過，那些 "亞符號"（注意這里的蔑視）神經網絡能勝任字符識別之外的任何工作。而今天，我們卻在這里討論新的人工智能系統何時才能達到 AGI 水平（不過我想，在這十年內是不可能的）。”
圖片
以下是作者Timothy B Lee 的《Why the deep learning boom caught almost everyone by surprise》這篇文章的翻譯，enjoy：
在普林斯頓讀計算機科學研究生的第一個學期，我選了COS 402：人工智能。學期末有一節關于神經網絡的課。這是2008年秋天，從那節課和課本中，我明顯感覺到——神經網絡已經成了一個邊緣領域。
在20世紀80年代末到90年代初，神經網絡取得了一些令人印象深刻的成果。然而，進展隨后停滯。到2008年，許多研究人員轉向了更加優雅的數學方法，比如支持向量機。
當時我不知道，普林斯頓的一支團隊——就在我聽課的計算機科學大樓里——正在進行一個項目，這個項目將顛覆傳統觀念，展示神經網絡的強大能力。那支團隊由李飛飛教授領導，他們并沒有開發更好的神經網絡版本，甚至幾乎沒有考慮神經網絡。
相反，他們正在創建一個前所未有的大型圖像數據集：1400萬張圖像，每張圖像都標注了將近2.2萬個類別之一。
圖片
李飛飛在她的最新回憶錄《The Worlds I See》中講述了ImageNet的故事。在項目進行中，她遇到了許多朋友和同事的質疑。
“我認為你把這個想法帶得太遠了，”一位導師在2007年項目開始幾個月后對她說，“訣竅是跟隨你的領域成長，而不是跳得太超前。”
不僅是創建如此龐大的數據集是一個巨大的后勤挑戰，人們還懷疑當時的機器學習算法是否能夠從如此龐大的圖像集合中受益。
“在ImageNet之前，人們并不相信數據的價值，”李飛飛在9月計算機歷史博物館的一次采訪中說，“每個人都在用很少的數據研究完全不同的AI范式。”
不顧負面評價，李飛飛堅持項目超過兩年。這耗費了她的研究預算，也考驗了她研究生們的耐心。2009年她在斯坦福找到了一份新工作，她帶著幾位學生以及ImageNet項目前往加州。
ImageNet在2009年發布后最初幾年幾乎沒有受到關注。然而在2012年，多倫多大學的一個團隊在ImageNet數據集上訓練了一個神經網絡，在圖像識別方面取得了前所未有的性能。那個劃時代的AI模型，因首席作者Alex Krizhevsky的名字而得名AlexNet，引發了持續至今的深度學習熱潮。
AlexNet的成功離不開ImageNet數據集。同樣，如果沒有Nvidia的CUDA平臺使圖形處理單元（GPU）能在非圖形應用中使用，AlexNet也無法實現。2006年Nvidia推出CUDA時，很多人持懷疑態度。
過去12年的AI熱潮得益于三位在面對廣泛批評時依然追求非傳統理念的先驅。一位是多倫多大學的Geoffrey Hinton，他幾十年如一日地推廣神經網絡，盡管幾乎所有人都懷疑它。
第二位是Nvidia的CEO黃仁勛，他早早意識到GPU不僅僅能用于圖形處理。
第三位是李飛飛。她創建了一個在大多數同行看來荒謬龐大的圖像數據集，最終證明了使用GPU訓練的神經網絡的潛力。
1.Geoffrey Hinton：反向傳播算法推動深層神經網絡訓練的突破
神經網絡是數千、數百萬甚至數十億個神經元的網絡。每個神經元是一個數學函數，基于輸入的加權平均值產生輸出。
圖片
假設你想創建一個能夠識別手寫十進制數字（比如紅色方框中的數字2）的網絡。這樣的網絡會接收圖像中每個像素的強度值作為輸入，并輸出一個關于十個可能數字（0、1、2等）的概率分布。
為了訓練這個網絡，首先用隨機權重初始化它。然后，將它應用于一系列示例圖像。對于每張圖像，通過加強那些推動網絡趨向正確答案的連接（在這種情況下，是“2”輸出的高概率值）并削弱那些推動錯誤答案的連接（降低“2”的概率、提高其他數字的概率）來訓練網絡。如果在足夠多的示例圖像上進行訓練，當顯示數字2時，模型應該能夠預測出“2”有較高的概率，而其他情況則不會。
在20世紀50年代末，科學家們開始嘗試使用包含單層神經元的基礎網絡。然而，當他們發現這種簡單的網絡缺乏完成復雜計算的能力時，最初的熱情逐漸消退。
更深層的網絡——即包含多層的網絡——具有更高的靈活性潛力。然而，在20世紀60年代，人們并不知道如何高效地訓練這些網絡。因為在多層網絡的中間層改變一個參數，可能會對輸出產生復雜且不可預測的影響。
因此，當辛頓在20世紀70年代開始他的職業生涯時，神經網絡已不再受到歡迎。辛頓希望研究神經網絡，但他難以找到一個合適的學術環境來進行研究。在1976年至1986年期間，辛頓曾在四個不同的研究機構任職：薩塞克斯大學（University of Sussex）、加州大學圣地亞哥分校（UCSD）、英國醫學研究委員會的一個分支機構，最后是在卡內基梅隆大學（Carnegie Mellon），他于1982年成為該校的教授。
圖片
在1986年，辛頓與他在UCSD的兩位前同事大衛·魯梅爾哈特（David Rumelhart）和羅納德·威廉姆斯（Ronald Williams）共同發表了一篇具有里程碑意義的論文，介紹了一種名為“反向傳播”（backpropagation）的技術，用于高效訓練深層神經網絡。
他們的想法是從網絡的最后一層開始，逐步向后推導。對于最后一層中的每一個連接，該算法計算出一個梯度——即增強該連接的強度是否會將網絡推向正確答案的數學估算。基于這些梯度，該算法調整模型最后一層中的每個參數。
然后，該算法將這些梯度反向傳播到倒數第二層。一個關鍵創新點在于一種公式——基于高中微積分中的鏈式法則——用于基于后一層的梯度來計算前一層的梯度。利用這些新的梯度，該算法更新模型倒數第二層中的每個參數。隨后，梯度再次反向傳播到倒數第三層，并重復整個過程。
該算法在每一輪訓練中只對模型進行微小的調整。但隨著這個過程在成千上萬、數百萬、數十億甚至數萬億的訓練樣本上重復進行，模型的準確性會逐漸提高。
辛頓和他的同事們并非第一個發現反向傳播基本思想的人，但他們的論文普及了這種方法。隨著人們意識到如今可以訓練更深層的網絡，這引發了對神經網絡的新一輪熱情。
1987年，辛頓搬到了多倫多大學，并開始吸引希望研究神經網絡的年輕研究人員。法國計算機科學家楊立昆（Yann LeCun）是其中之一，他在1988年搬到貝爾實驗室之前，曾在辛頓身邊做了一年的博士后研究。
辛頓的反向傳播算法讓楊立昆得以訓練深度足夠的模型，能夠在諸如手寫識別等現實任務中表現良好。到90年代中期，楊立昆的技術效果如此出色，以至于美國的銀行開始用它來處理支票。
“在某個時期，楊立昆的系統讀取了全美超過10%的支票。”凱德·梅茨（Cade Metz）在2022年出版的《天才制造者》一書中寫道。
但是，當楊立昆和其他研究人員嘗試將神經網絡應用于更大、更復雜的圖像時，效果并不理想。神經網絡再度失寵，一些專注于神經網絡的研究人員也轉向了其他項目。
辛頓始終堅信神經網絡能夠超越其他機器學習方法。但要真正證明這一點，他還需要許多年才能獲得足夠的數據和計算能力。
2.黃仁勛：神經網絡訓練成了CUDA的“殺手級應用”
圖片
每臺個人計算機的大腦是中央處理單元（CPU）。這些芯片設計為按順序一步步執行計算，對于像Windows和Office這樣的傳統軟件來說，這樣的方式完全可以滿足需求。然而，一些視頻游戲需要極高的計算量，這對CPU的能力是極大的考驗。像《雷神之錘》、《使命召喚》和《俠盜獵車手》這類游戲尤其如此，它們每秒呈現多個三維世界畫面。
因此，玩家們依賴GPU來提升性能。GPU內部有許多執行單元——本質上是微型的CPU——集成在一個芯片上。在游戲中，不同的執行單元負責繪制屏幕的不同區域。這種并行處理能夠實現比單純用CPU更高的圖像質量和更高的幀率。
Nvidia在1999年發明了GPU，并自那時起一直主導市場。到了2000年代中期，Nvidia的首席執行官黃仁勛（Jensen Huang）開始懷疑GPU的強大計算能力是否可以用于游戲以外的應用。他希望科學家們能夠將其用于計算密集型任務，比如天氣模擬或石油勘探。
因此在2006年，Nvidia發布了CUDA平臺。CUDA允許程序員編寫“內核”，即為單個執行單元設計的簡短程序。內核可以將龐大的計算任務分解為小塊并行處理的任務，從而使某些類型的計算比單靠CPU更快完成。
然而，正如Steven Witt去年在《紐約客》上所寫，CUDA最初發布時幾乎沒有引起興趣：
“CUDA在2006年末發布時，華爾街反應冷淡。黃仁勛正在將超級計算帶給大眾，但大眾卻似乎并不需要這樣的東西。”
“他們在新芯片架構上投入了巨額資金，”《Acquired》這個硅谷流行播客的共同主持人Ben Gilbert說道。“他們花了數十億目標瞄準學術和科學計算的一個小眾角落，而這個市場在當時并不大——遠小于他們投入的資金。”
黃仁勛認為，CUDA的存在本身就會擴大超級計算的市場。但這一觀點并未被廣泛接受，到2008年底，Nvidia的股價已下跌了70%……
CUDA的下載量在2009年達到峰值，隨后三年持續下降。董事會擔心Nvidia因股價低迷會成為企業掠奪者的目標。
創建CUDA平臺時，黃仁勛并未特別考慮到AI或神經網絡。然而，事后證明，Hinton的反向傳播算法可以輕松分解為小任務單元。因此，神經網絡訓練最終成了CUDA的“殺手級應用”。
根據Witt的說法，Hinton迅速意識到CUDA的潛力：
2009年，Hinton的研究小組使用Nvidia的CUDA平臺訓練了一個神經網絡來識別人類語音。他對結果的質量感到驚訝，并在當年的一個會議上展示了該成果。隨后他聯系了Nvidia。“我發了一封電子郵件，說‘我剛告訴了上千名機器學習研究人員他們應該去買Nvidia的顯卡。能給我免費發一個嗎？’”Hinton告訴我。“他們說不行。”
盡管被拒絕，Hinton和他的研究生Alex Krizhevsky及Ilya Sutskever獲得了一對Nvidia GTX 580 GPU用于AlexNet項目。每塊GPU都有512個執行單元，使得Krizhevsky和Sutskever能以比CPU快數百倍的速度訓練神經網絡。這一速度使得他們能夠訓練一個更大的模型，并對更多的訓練圖像進行訓練。而他們需要所有這些額外的計算能力來處理龐大的ImageNet數據集。
3.李飛飛：顛覆性的大數據集 ImageNet
圖片
李飛飛在2007年初加入普林斯頓大學擔任計算機科學教授時，并未關注神經網絡或GPU。在加州理工學院攻讀博士學位期間，她創建了名為Caltech 101的數據集，其中包含101個類別的9000張圖片。
這段經歷讓她意識到，計算機視覺算法在用更大、更多樣的數據集訓練時表現更佳。不僅她自己的算法在使用Caltech 101訓練時表現出色，其他研究人員也開始用她的數據集訓練模型，并彼此比較性能。這讓Caltech 101成為了計算機視覺領域的基準數據集。
因此，當她來到普林斯頓時，她決定將數據集做得更大。她對視覺科學家Irving Biederman的估計深感興趣：普通人能識別約30,000種不同類型的物體。李飛飛開始思考是否可以構建一個真正全面的圖像數據集——一個包含人們日常接觸的所有物體的數據集。
一位普林斯頓的同事向她介紹了WordNet，一個試圖整理和組織14萬個詞的大型數據庫。李飛飛將她的新數據集命名為ImageNet，并用WordNet作為選擇類別的起點。她去掉了動詞和形容詞以及像“真理”這樣的抽象名詞。最終，剩下的是一個包含22,000個可數物體的列表，從“救護車”到“西葫蘆”不等。
她計劃沿用在Caltech 101數據集中使用的策略：使用Google的圖像搜索來尋找候選圖像，然后由人類進行驗證。
她打算采用與 Caltech 101 數據集相同的方法：利用 Google 的圖片搜索找到候選圖片，然后由人工進行驗證。在 Caltech 101 項目中，李飛飛親自花了幾個月完成了這一工作。這一次，她需要更多的幫助，計劃雇傭幾十位普林斯頓的本科生來幫助挑選和標注圖片。
即使在大幅優化了標注流程（例如，預先下載候選圖片以便學生可以立即查看）后，李飛飛和她的研究生鄧嘉計算出，完成數百萬張圖片的篩選和標注仍需超過 18 年的時間。
這個項目因亞馬遜 Mechanical Turk 平臺而得以拯救。李飛飛了解到，亞馬遜推出的眾包平臺 AMT 提供的國際勞動力不僅比普林斯頓的本科生更加經濟，而且平臺更具靈活性和擴展性。李的團隊可以根據需要雇傭任意多的人員，按工作量支付酬勞。
AMT 將完成 ImageNet 的時間從 18 年縮短到兩年。李飛飛寫道，他們的實驗室花了兩年“在資金的刀刃上掙扎”以完成 ImageNet 項目，但資金剛好足夠支付三位人員查看最終數據集的每一張 1400 萬張圖片。
2009 年，ImageNet 準備發布，李飛飛將其提交至當年在邁阿密舉辦的計算機視覺與模式識別會議。論文被接受了，但并未獲得她期望的關注。
“ImageNet 被歸入了海報展示，”李飛飛寫道，“這意味著我們不能在演講廳內向觀眾展示，而是在會場中擺放一張大型海報，希望路人停下來并提出問題……在經歷了這么多年的努力后，這顯得有些反高潮。”
為了引起公眾關注，李飛飛將 ImageNet 打造成一個比賽。她意識到，完整數據集可能過于龐大，無法分發給幾十位參賽者，因此創建了一個小得多但依然龐大的數據集，包含 1000 個類別和 140 萬張圖片。
2010 年的首次比賽吸引了 11 個團隊參加。優勝作品基于支持向量機。但李飛飛寫道，它“僅略微優于該領域的前沿成果”。
第二年參加 ImageNet 比賽的團隊比第一年更少。2011 年的獲勝作品再次是支持向量機，僅比 2010 年的優勝者略有改進。李飛飛開始懷疑批評者是否正確。也許“ImageNet 對大多數算法來說過于復雜”。
“連續兩年中，久經考驗的算法僅展示了能力的增量增長，而真正的進展幾乎不存在，”李飛飛寫道。“如果說 ImageNet 是一次賭注，那么現在該開始懷疑我們是否已經輸了。”
然而，2012 年李飛飛勉強再次舉辦比賽時，結果完全不同。杰弗里·辛頓的團隊率先提交了一個基于深度神經網絡的模型，其 top-5 準確率達到了 85%，比 2011 年的獲勝者高出 10 個百分點。
李飛飛最初的反應是難以置信：“我們大多數人都認為神經網絡是一件被玻璃罩和絨布繩保護起來的古董。”
4.“這就是證明”
ImageNet 的獲勝者被安排在佛羅倫薩的歐洲計算機視覺會議上公布。李飛飛的家在加州，她計劃缺席會議，但當她看到 AlexNet 在數據集上的優異表現時，意識到這一時刻過于重要，不容錯過：“我最終選擇了一段二十小時的睡眠不足且擁擠的旅程。”
在佛羅倫薩的一個十月的日子里，Alex Krizhevsky 向滿座的計算機視覺研究人員展示了他的成果。李飛飛和楊立昆都在觀眾席中。
凱德·梅茨報道，演講結束后，楊立昆站起來稱 AlexNet 為“計算機視覺史上無可爭議的轉折點。這就是證明。”
AlexNet 的成功驗證了辛頓對神經網絡的信念，但對于楊立昆來說，這無疑是更大的肯定。
AlexNet 是一種卷積神經網絡，這類網絡由楊立昆在 20 年前開發，用于識別支票上的手寫數字。AlexNet 的架構與 1990 年代楊立昆的圖像識別網絡幾乎沒有太大差異。
唯一的區別在于 AlexNet 的規模更大。在 1998 年的論文中，楊立昆描述了一個擁有七層和六萬個可訓練參數的文檔識別網絡。而 AlexNet 具有八層，其中包含了六千萬個可訓練參數。
1990 年代初期勒坤不可能訓練這么大的模型，因為當時沒有具有 2012 年 GPU 那樣處理能力的計算機芯片。即使楊立昆搭建了一臺足夠大的超級計算機，他也不會有足夠的圖像來進行訓練。收集這些圖像在 Google 和亞馬遜 Mechanical Turk 出現之前會非常昂貴。
這就是李飛飛在 ImageNet 上的工作為何如此重要的原因。她沒有發明卷積網絡，也沒有研究出如何在 GPU 上高效運行它們，但她提供了大型神經網絡所需的訓練數據，使其能夠實現潛力。
科技界立即認識到 AlexNet 的重要性。辛頓和他的學生創建了一家殼公司，目標是被一家大公司“收購”。幾個月內，谷歌以 4400 萬美元收購了這家公司。辛頓在谷歌工作了十年，同時保留了多倫多的學術職位。伊利亞·蘇茨克弗在谷歌工作了幾年后成為 OpenAI 的聯合創始人。
AlexNet 還使得 Nvidia 的 GPU 成為訓練神經網絡的行業標準。2012 年，市場對 Nvidia 的估值不足 100 億美元。如今，Nvidia 是全球最有價值的公司之一，市值超過 3 萬億美元。這一高估值主要由對 H100 等優化神經網絡訓練的 GPU 的巨大需求驅動。
5.有時，常識會出錯
“那一刻對 AI 世界具有象征意義，因為現代 AI 的三大基本要素首次融合，”李飛飛在九月的計算機歷史博物館訪談中說道。“第一個要素是神經網絡。第二個要素是大數據，即 ImageNet 的使用。第三個要素是 GPU 計算。”
如今，領先的 AI 實驗室認為推動 AI 進步的關鍵在于用大量數據集訓練巨型模型。大型科技公司急于建造數據中心來訓練更大的模型，以至于開始租賃整個核電站來提供所需的電力。
您可以將其視為 AlexNet 經驗教訓的直接應用。但我想我們也許應該從 AlexNet 中得出相反的教訓：過于依賴傳統觀念是一個錯誤。
在 AlexNet 之后的 12 年里，“Scaling laws”取得了顯著的成果，也許我們將在未來幾代看到更多令人印象深刻的結果，因為領先的實驗室繼續擴大其基礎模型。
但我們應當小心，不要讓 AlexNet 的教訓固化成教條。我認為，在未來幾年，“Scaling laws”可能會失效。如果那時到來，我們將需要新一代頑固的非傳統主義者來察覺到舊方法不起作用并嘗試新的方向。
原文：https://www.understandingai.org/p/why-the-deep-learning-boom-caught
