這里涉及到機器學習子領域的分類。所有的分類，首先要問的是為什么這么分？按什么維度進行劃分？符合邏輯的分類能幫助人們建立認知架構，不符合邏輯的分類能讓人一頭霧水。

1、機器學習是人工智能的子領域

人工智能的子領域，沿著歷史的發展，有比較顯著的特點。大致可分為：

• 60 年代開始的“ 推理期 ”：研究搜索，成果包含 定理自動證明、國際象棋系統 DeepBlue
• 僅會推理并無法處理實際問題，實際問題中需要寬泛的知識。70 年代開始的“ 知識期 ”，研究基于知識的推理，成果包含 Prolog、各類專家系統、以及今天的知識圖譜
• 僅靠人工錄入知識，難以形成大規模應用。90 年底開始的“ 學習期 ”，研究從數據中歸納知識，成果包含 今天的各種數據分析、挖掘系統

可見“學習”是人工智能的一個大方向，“ 機器學習 ”按照 Tom Mitchell 的定義是從經驗中自動改進系統性能的程序。經驗常以數據的方式呈現，因此實踐上機器學習為數據分析提供了主要工具。換句話說，今天對數據進行較為深入的分析，總結出模型的工作，都屬于機器學習范疇。

2、機器學習的任務分類

機器學習從數據中總結模型，而數據表示的經驗可以包含不同的信息形態，其中的一個關鍵的信息，是關于模型表現的反饋信息。有的數據中包含了模型應該輸出的值，有的數據則完全沒有這一類信息，還有的數據中包含的是對模型表現的打分。不同的反饋信息導致我們需要用不同的技術進行處理，因此按照反饋信息的不同，機器學習經典劃分為三大類：

• 監督學習 ：處理包含有模型正確輸出值的數據，即有標記數據。例如圖像識別數據中，每一張圖像都有相應分類標記。
• 強化學習 ：處理的數據僅包含有模型打分值，而不知道模型到底應該輸出什么，因此只能靠算法去不斷的探索，尋找打分值最高的模型輸出。例如圍棋游戲，缺乏每一步走棋的最佳指導，只能通過最終的輸贏作為打分，自主探索尋找最佳模型。
• 無監督學習 ：數據中完全沒有關于模型輸出好壞的客觀評估。這時通常會人為的設置某種學習目標，以開展學習，例如把 256 維人臉照片壓縮到 4 維，此時并沒有任何關于這 4 維應該如何的信息，一種做法是使得這 4 維能夠還原出 256 維的人臉，這就是一種人為設定的目標。這種還原自身信息的做法也叫自監督學習，雖然名稱中有“監督”，其實是一類借用監督技術的無監督學習。

可見這一分類，是按照機器學習的任務維度進行劃分。當然這樣的劃分并不具有完全清晰的邊界，隨著越來越多的交叉領域研究工作的開展，出現很多衍生的方向：

• 監督學習 X 無監督學習：例如數據包含一部分有標記 / 有一部分標記的數據、以及無標記的數據，研究如何利用無標記數據提升模型性能，這一領域稱為 半監督學習 、 弱監督學習
• 監督學習 X 強化學習：例如圍棋中存在一部分人類專家的演示數據，利用這樣的數據可以用監督學習模仿人類走棋，在 AlphaGo 最初版本中如此使用。這一領域稱為 模仿學習
• 強化學習 X 無監督學習：例如在強化學習的任務中缺少打分，算法自行對環境進行探索、發現功能性技能等等。

以上所述的機器學習子領域，其實都屬于 歸納學習 ，即從樣本中歸納規律。由于廣泛的適用性，歸納學習成為“默認的機器學習”。然而機器學習中實際還有另一類， 演繹學習 ，通過推理出新的知識進行學習。這一方向由于數據分析大行其道以往不受重視，但近年隨著符號 AI 的復興，也正在成長。

3、機器學習的模型分類

早期機器學習研究，由不同的啟發思想產生了不同的模型，包含：

• 最近鄰模型
• 決策樹模型
• 貝葉斯模型
• 線性模型
• 多層神經網絡模型

等等，早期的研究多集中在數據量較小、語意層面較高的數據，例如用戶購買商品的數據，一個商品 ID 對應了一個商品。而對語意層面較低的數據，例如圖像數據，用每一個像素的灰度值表征，識別圖像中的人臉需要建立灰度值到人名的聯系，跨度巨大；語音數據，用波形表征，識別一個詞需要建立一連串的聲波強度到詞語的聯系，跨度巨大，因此取得的性能有限，且往往需要依賴人工構造的高層特征，例如人臉圖像的灰度直方圖投影等。

2012 年，某種結構的多層神經網絡的模型，結合大量的數據，在語音識別、圖像識別上取得性能突破，引起了廣泛關注，隨后越來越多層的神經網絡模型，在海量圖像、語音數據上體現的優勢愈加顯著。為區別傳統的模型，使用這一類深層神經網絡模型被稱為 深度學習 。

其特點在于，不同于特征工程 + 傳統模型，深度模型從低層語意數據直接學習上層任務，即所謂的“端到端”學習，其中自動包含了對數據的表征學習。反過來，包含表征學習的模型，通常也需要進行多層次的處理，也都可稱為深度學習。除了深度神經網絡外，也有深度森林等非神經網絡模型。

機器學習的任務與模型是可以組合的，即有非深度 / 深度監督學習、非深度 / 深度強化學習、非深度 / 深度無監督學習，等等。