機器學習

• 今天機器學習得意其一個算法優異的表現——深度學習

• 因為只要大家談到機器學習，就會首先想到深度學習，甚至有些人認為機器學習就是深度學習

深度學習只是機器學習的一個算法

• 今天深度學習憑借卷積神經網絡和循環神經網絡以及基于他們衍生得網絡在空間和時間任務上取得了優異成績

• 但是機器學習任務并非只局限這兩個任務，還有想價格預估、金融量化、股價預測等等

• 除了深度學習還有許多機器學習方法，例如 SVM、XGboost 等好用算法
• 演化算法搜索神經網絡

深度學習崛起

[[391620]]

數據

• 數據量很大神經網絡可擴展性越好，調整神經網絡大小和深度來學到更多有用的信息，其他學習模型會有天花板

[[391621]]

算力

• GPU 出現可以為進行大量的并行矩陣運算提供了可能，神經網絡大部分計算都是運行在 GPU 上，特別是訓練階段

堅持

• 因為有了 Yoshua Bengio、 Geffrey Hiton 和 Yann Lecun 他們不斷努力和堅持，才有今天深度學習

深度學習應用領域

計算機視覺

• 當年 Yann Lecun 提出了 covNet 隨后 AlexNet 就將準確度提升很大一塊

到 2016 年，神經網絡在 imageNet 這個數據集已經將錯誤率降低到 3% ，已經低于人類分類任務 5% 的錯誤率

• 現在一個神經網絡在計算視覺進入了一個成熟器，現在多少數神經網絡還在將 ResNet 和 VGG 作為基礎網絡

• 通過 GAN 實現了圖片的生成，只有能夠創建圖片才認為機器真正理解圖片的含義。在 person not exist website 這個網站生成人的圖片可以以假亂真

[[391625]]

• 現在提出了膠囊網絡和自適應神經網絡

[[391626]]

自然語言模型

早起出現的循環神經網絡可以用于處理時序上的問題

自然語言模型

• 早起出現的循環神經網絡可以用于處理時序上的問題

• LSTM 和 GRU 出現添加門控機制解決循環神經網絡梯度彌散的問題，通過控制存儲單元寫入讀取讓循環神經網絡更合理好用

• 自注意實現循環神經網絡可以從串行到并行，自注意通過對注意力的分配控制當前輸出會對序列中那些值更關注

 

• Transform 和 BERT 將所有自然語言榜單進行一次刷新

[[391628]]

• 當年 GPT-2 的出現，因為其表現 Open AI 認為其表現過于優越，因此并沒有將其開源

• 最近 Google 推出了 XLNet 再次震撼了自然語言處理領域

圖卷積(GNN)

• 深度學習解決許多歐幾里得空間的數據，但是真實世界并非所有數都存在歐幾里得空間，而是實體之間存在某種關系

[[391629]]

• 我們人信息存在結構中，希望通過分析實體之間關系挖掘結構上的信息

[[391630]]

• 現在在推薦系統、社交網絡、交通網絡或者物流上都會用到圖卷積

[[391631]]

• 圖卷積可以為下游任務提供給含有更多信息的數據

強化學習(RL)

[[391632]]

• 引起公眾對人工智能的注意，當看到 AlphaGo 完成人類世界冠軍，甚至開始自己的未來產生了擔憂

• 引起公眾對人工智能的注意，當看到 AlphaGo 完成人類世界冠軍，甚至開始自己的未來產生了擔憂

[[391633]]

• 淘寶推薦系統，滴滴派單系統以及無人駕駛都開始引入強化學習幫助做決策