幾乎每一門編程語言，都有一個數據類型叫做Boolean，它只有兩個值：真和假。

這是為了紀念發明布爾代數的數學家喬治·布爾。

圖片

喬治·布爾英年早逝，他絕對想不到，他的小女兒艾捷爾·麗蓮·伏尼契寫了一本著名的小說《牛虻》。

他更不可能想到，他還有一位玄孫：Geoffrey E. Hinton（辛頓），將家族的榮耀推向了巔峰，辛頓不但成了深度學習之父，還獲得了圖靈獎和諾貝爾獎。

圖片

1.算法的積累

辛頓出生于1947年，先在劍橋大學獲得了實驗心理學學士，然后跑到愛丁堡大學拿到了博士學位，他的論文是《放松及其在視覺中的作用》。

這聽起來和計算機毫無關系，辛頓為啥會進入到人工智能領域呢？

因為當時的人工智能和計算機科學、心理學和神經科學“糾纏不清”，每個學科都試圖按照自己的領域來描繪技術的前景。

比如早在1958年，在海軍的資助下，康奈爾大學教授弗蘭克·羅森布拉特發明了一個模仿人腦的數學系統：感知機。

圖片

感知機有 400 個光傳感器，它們一起充當視網膜，將信息傳送給大約 1,000 個“神經元”，這些神經元進行處理并產生單一輸出。

用一系列的打孔卡訓練以后，感知機居然自己學會了識別卡片上的標記是在左側還是右側，這事兒轟動一時，媒體甚至報道“海軍設計了一個會思考的科學怪物”！

我們現在知道，這就是第一個神經網絡。

不過，這個神經網絡只有一層自適應的權重，想要完成復雜的任務，需要建立一個多層的，每一層都向下一層提供信息，這樣就可以學習感知機無法學習的復雜圖形。 

但是研究人員找不到很好的方法來訓練它們，人工智能進入了第一個寒冬。

1978年，辛頓來到加州大學圣地亞哥分校做博士后研究，在這里他和David Rumelhart和Ronald Williams合作，重新“發現”了用于訓練神經網絡的反向傳播算法，特別是證明了該算法可以使多層神經網絡調整自身的權重，從而學習多層特征，完成語言和視覺的任務。

這是一個極其重要的突破，反向傳播成為當今深度學習的基礎。

1987年，出于對里根政府的不滿，辛頓來到了加拿大，加入了多倫多大學。

雖然辛頓遠離了傳統的人工智能中心，但是牛人在哪里，哪里就是中心。

辛頓培養了很多著名的學生，其中一位就是來自法國的博士后楊立昆。

圖片

楊立昆把反向傳播算法應用到了卷積神經網絡（CNN）上，他開發的LeNet在識別手寫數字方面非常出色，在當時的技術條件下就能取得低于1%的錯誤率。

圖片

圖片

LeNet后來成功商業化，被金融用來識別支票上的數字。

圖片

2019年，楊立昆和辛頓一起獲得了計算機界最高獎：圖靈獎。

雖然卷積神經網絡在識別數字方面表現優秀，但是在處理圖像方面就力不從心了，因為圖像識別需要更多、更深的網絡隱藏層，當時計算機的計算能力是遠遠不夠的。

神經網絡還需要人工智能之外的兩項技術來鋪平道路：

• 大量的訓練數據
• 足夠的算力。神經網絡訓練涉及大量重復的矩陣乘法，最好是并行完成。

2.數據和算力

在過去的20年，一切都發生了重大變化。

互聯網蓬勃發展，數據變得無處不在，尤其是智能手機的出現，讓文本、圖像、視頻變得唾手可得。

而算力的解決竟然來自于游戲行業，游戲中的圖像渲染需要繁重的處理，Nvidia 等公司 開發了圖形處理單元 ( GPU)芯片，游戲開發人員使用 GPU進行復雜的著色和幾何變換。

那些渴望強大計算能力的計算機科學家立刻意識到，他們可以“欺騙”GPU 執行其他任務，例如訓練神經網絡。

Nvidia 注意到了這一趨勢，它創建了CUDA，讓研究人員可以輕松使用GPU進行通用數據處理。

從 2006 年開始，李飛飛計劃建立一個圖像數據集，涵蓋英語中所有名詞，用于訓練人工智能。

圖片

她和她的研究生開始在互聯網上收集圖像，并使用WordNet對它們進行分類。

由于任務極其艱巨，李飛飛和她的合作者最終使用亞馬遜的 Mechanical Turk 平臺將標記圖像的任務眾包給了零工。

圖片

2009 年ImageNet正式完工，比之前的任何圖像數據集都大幾個數量級。

李飛飛希望它的出現能幫助AI實現新的突破，并于 2010 年發起了一場競賽，激勵研究團隊改進他們的圖像識別算法。

現在我們有了神經網絡和算法，訓練數據集，以及GPU算力，就差一個人把它們都結合起來，震撼世界了。

3.AlexNet

當辛頓的博士生Ilya Sutskever 看到ImageNet時，立刻想起了Alex Krizhevsky。

（左護法Illya，右護法Alex)

Alex是一位GPU編程大師，擅長從一個裝有GPU的電腦中壓榨出最后一點性能。

Ilya說服Alex，開始一個新項目，針對ImageNet訓練一個卷積神經網絡，參加ImageNet訓練。

辛頓也加入了這個項目，擔任首席研究員。

Alex和自己的父母住在一起，他用自己臥室的一臺電腦來訓練神經網絡，電腦上只有兩張Nvidia 顯卡。

圖片

在一年的時間內，Alex不斷地調整神經網絡的參數，重新進行訓練，直到2012年，這個名叫AlexNet的神經網絡在競賽中以15%的錯誤率大幅領先第二名的26%，以壓倒性的優勢贏得競賽，一鳴驚人。

看到AlexNet的論文，紐約大學楊立昆實驗室的學生們感受到了巨大的失落和遺憾。

因為AlexNet使用卷積神經網絡，正是楊立昆80年代最拿手的工作。

經過30年的奮斗，他們跌跌撞撞地走到了最后一關，卻眼看著別人破門而入。

楊立昆在當晚討論AlexNet論文的時候，說到：“多倫多大學的學生比紐約大學的學生行動更快。” 

當其他資深研究員對AlexNet存在懷疑，認為它無法應用到真實世界的數據集上時，楊立昆旗幟鮮明地支持了自己老師的項目：這就是人工智能的轉折點！

楊立昆是對的，隨后幾年的ImageNet競賽中，幾乎每個項目都使用了神經網絡，到2017年許多參賽者的錯誤率已經降至5%，主辦方隨即結束了競賽。

神經網絡在接下來的十年迅速發展，AlphaGo擊敗了圍棋世界冠軍，AI可以合成逼真的語音，創建圖像。

最終，Ilya Sutskever共同創辦的公司OpenAI發布了ChatGPT。

AlexNet是點燃深度學習的燎原之火，它不但開啟了技術革新，還促進了產業重構，甚至引發了社會變革，開啟人類深度科技化，說它是改變人類命運的軟件是不為過的。

4.結語

百度認識到了AlexNet的潛力，微軟，Google也認識到了，電子郵件紛至沓來，他們都力邀辛頓團隊加盟，百度甚至為三人開出了1200萬美元的超高價碼。

但是Ilya和Alex主張成立一個公司，辛頓采納了學生的意見，創建了DNNresearch公司，以對外拍賣的方式來實現價值最大化。

經過激烈的競爭，Google以4400萬美元的價格，將這個只有三名員工、沒有產品也沒有歷史的初創公司收入囊中，百度錯失了AI教父辛頓。

辛頓堅持三人平分這筆錢，但是Ilya和Alex堅持老師應該拿到更大的份額：40%。辛頓說：“這體現了他們是什么樣的人，但沒有體現出我是什么樣的人。”

2020年，美國的計算機歷史博物館和Google聯系，想收錄Alex這個改變人類世界的軟件，經過5年的協商，原汁原味的AlexNet終于在GitHub上開源發布：

圖片

縱觀AlexNet的出現過程，真是一代又一代人的不斷努力，不斷接力的結果。如果辛頓的團隊沒做出來，楊立昆的團隊，或者別的團隊也能完成臨門一腳，在當時的條件下，真是萬事俱備，只欠東風了。

至于AlexNet開啟的道路是不是通向通用人工智能之路，我們只有拭目以待了。