深度學習的過去、現在和未來
一、過去：從貓到狗
翻閱1982年第1期的《世界科學》雜志，看到這樣一則消息：“1981年10月17日，在瑞典的斯德哥摩爾城舉行的諾貝爾獎授獎大會上，美國加州理工學院的羅杰•握爾考特•斯佩里(Roger Wolcott Sperry)博士和加拿大出生的美國人戴維•哈貝爾教授以及瑞典的托爾斯滕•韋塞爾分享了1981年諾貝爾生理學、醫學獎。斯佩里因證明大腦兩半球的高度專門化以及許多較高級的功能集中在右半球而獲獎;哈貝爾和韋塞爾因研究視覺系統的信息處理方面有所發現而獲獎。”
哈貝爾和韋塞爾的獲獎要歸功于“貓星人”，據說這個研究從1958年開始，在貓的后腦頭骨上，開了一個小洞，向洞里插入電極，測量神經元的活躍程度，從而發現了一種神經元細胞——“方向選擇性細胞”，即后腦皮層的不同視覺神經元與瞳孔所受刺激之間確實存在某種對應關系。這一重要發現，激活了一度沉寂的神經網絡的研究。但是，人們不得不面對這樣的現實：神經網絡相關運算中耗費的運算量與神經元數目的平方成正比。基于硬件基礎，那個時候人們普遍認為潛在的龐大的計算量是幾乎無法實現的。
計算能力成了攔路虎，人們探尋真理的腳步一刻沒有停歇。同樣是1981年，IBM PC機中首次應用了8088芯片，開創了全新的微機時代。1985年INTEL推出了32位微處理器，而且制造工藝也有了很大的進步。許多人對286、386、486機器還存有記憶，人類的計算能力伴隨著摩爾定律在大踏步前進。關于神經網絡的算法也有了新的突破，1986年Hinton和David Rumelhard聯合在國際權威雜志《自然》上提出在神經網絡模型上運用反向傳播算法，大大降低了原來預計的運算量。20世紀80年代末到90年代初，共享存儲器方式的大規模并行計算機又獲得了新的發展。1993年，Cray公司研制成功了第一臺具有標志性的大規模并行計算機。我國的銀河系列并行計算機，在國際上也獨樹一幟。新世紀以來，大規模并行計算機蓬勃發展，逐漸成為國際上高性能計算機的主流。
伴隨著計算處理能力的提升，深度學習有了較快的發展，從結構上分為生成型深度結構、判別型深度結構、混合型深度結構三類。1989年，加拿大多倫多大學教授Yann LeCun就和他的同事提出了卷積神經網絡，是一種包含卷積層的深度神經網絡模型，較早嘗試深度學習對圖像的處理。2012年，Hinton構建深度神經網絡，在圖像識別問題上取得質的提升和突破。百度公司將相關最新技術成功應用到人臉識別和自然圖像識別問題，并推出相應的產品。同樣是從2012年，人們逐漸熟悉Google Brain團隊。2015年至2017年初，一只“狗”引起世界的關注，人類圍棋大師們陷入沉思。
二、現在：深度學習有多深
回答這個問題之前，讓我們回顧一下機器學習。以使用決策樹、推導邏輯規劃、聚類、貝葉斯網絡等傳統算法對結構化的數據進行分析為基礎，對真實世界中的事件作出決策和預測，通常被稱為機器學習。比如無人駕駛汽車識別交通標志，這種機器視覺就是典型的機器學習。但是在特定的天氣條件下，算法不靈，機器學習就有了局限。
深度學習在機器學習的基礎上又前進了一步，同樣是從數據中提取知識來解決和分析問題，深度學習使用的是人工神經網絡算法，允許發現中間表示來擴展標準機器學習，這些中間表示能夠解決更復雜的問題，并且以更高的精度、更少的觀察和更不麻煩的手動調諧，潛在地解決其它問題。最常見的深度學習類型是前饋深層神經網絡(DNN)，其使用大量的互連處理單元層從原始輸入數據中“發現”適當的中間呈現。DNN提供了一個強大的框架，可應用于各種業務問題。例如可以分析視網膜掃描以“辨識”哪些模式指示健康或患病視網膜(并指示特定疾病)。“辨識”過程依賴于強力的高性能計算。
根據Gartner的相關資料，深度學習已經在圖像識別、機器翻譯、語音識別、欺詐檢測、產品推薦等方面得到應用，如下表1、2：
表1：深度學習當前部分相關領域及案例
表2 深度學習當前的能力范圍
來源：Gartner(2017年1月)
Gartner估計，從初創公司到技術巨頭，全球有2,000多家供應商正在推出深度學習相關產品。但是，當前的深度學習有其一定的局限：
1、深度學習技術是啟發式的。深度學習是否會解決一個給定的問題是不清楚的，根本沒有數學理論可以表明一個“足夠好”的深度學習解決方案是否存在。該技術是啟發式的，工作即代表有效。
2、深度學習技術的不可預期性。深度學習涉及隱藏層，在許多情況下，即使是領先的科學家也不能解釋這些層面發生了什么，這樣的“黑盒子” 可能對解釋甚至接受結果造成問題，有時甚至破壞合規性和道德性。
3、深度學習系統化運用不成熟。沒有適合所有行業且通用的深度學習，企業想要創建自己的解決方案，目前必須混合和匹配可用的工具，并跟上新軟件的快速出現。
4、部分錯誤的結果造成不良影響。深度學習目前不能以100%的精度解決問題。深度學習延續了較淺層機器學習的大多數風險和陷阱。
5、學習速度不盡如人意。一個兩歲的孩子可以在被告知幾次后識別大象，而深度學習系統可能需要成千上萬的例子，并且“看”這些例子數十萬或數百萬次，才能成功。
6、當前的范圍比較狹窄。比如，AlphaGo系統學會了在大師水平線上玩Go，也只會玩Go。應用于任何其他游戲(甚至更簡單)時，系統將徹底失敗。
三、未來：從GPU到?PU
深度學習是人工智能發展的主要驅動力。目前主要是在弱人工智能的發展中產生重要作用，主要是特定的行業應用，如上文提到的圖像識別、自動駕駛和機器翻譯等。但是要支撐和實現和人腦類似的強人工智能，OSTP(美國白宮科技政策辦公室)認為至少在幾十年內無法實現。除了上文提及的數據不足、相關算法需要改進外，對高性能計算的追求就是一個長期的持續的根本任務。
GPU這個概念在當前的“讀圖時代”，很多人并不陌生。GPU是相對于CPU的一個概念，由于在現代的計算機中(特別是家用系統，游戲的發燒友)圖形的處理變得越來越重要，需要一個專門的圖形的核心處理器，這就是GPU。GPU對于深度學習技術非常重要。隨著技術的演進，核心處理器也將更新迭代。例如，谷歌大腦團隊正在設計TPU(深度學習芯片)，這是針對深度神經網絡運算的改進版的處理器。
量子計算至少在未來十年內不會影響深度學習。谷歌大腦團隊的科學家Jeff Dean認為，人的大腦不是量子計算機，量子計算幾乎不會對深度學習造成特別明顯的影響，特別是在中短期內(比如未來十年)。但是，未來的未來，量子計算是不是能根本上改變深度學習，這誰也說不準。
文章轉載自微信公眾號“三思派”（ID: Science-Pie）
