2020 年深度學習發展大盤點
緊跟近些年的趨勢，2020年深度學習依然是發展最快的領域之一，直奔未來工作。其發展是多方面的，而且是多方位的。以下是對今年發展中一些突出亮點的梳理與盤點。
2020年1月
OpenAI宣布將PyTorch作為其標準的深度學習框架
AI研究組織OpenAI宣布PyTorch為其新的標準深度學習框架。PyTorch將提高其在GPU上的大規模研究生產率。在PyTorch的支持下，OpenAI將其生成式建模迭代時間從幾周縮短到幾天。
2020年3月
(1) Megvii 開源深度學習AI框架
中國的初創公司Megvii Technology表示，將把其深度學習框架開源。MegEngine是Megvii專有AI平臺Brain++的一部分。它可以在廣泛的范圍內訓練計算機視覺，并幫助世界各地的開發人員構建商業和工業用途的AI解決方案。
(2) Keras 2.4.0發布
新版本清除了關于tf.keras和獨立的Keras包之間的不兼容和差異的困惑。現在，一個單一的Keras模型--tf.keras--已經投入使用。
(3) 華為技術有限公司開源 "Mindspore
華為技術公司開源了MindSpore，這是一個面向移動、邊緣和云場景的深度學習訓練框架。該框架是輕量級的，正在給TensorFlow和PyTorch帶來激烈的競爭。
它可以跨設備擴展，并且在自然語言處理(NLP)等功能上使用的代碼減少了20%。它還支持并行訓練，節省不同硬件的訓練時間，并維護和保存敏感數據。
MindSpore本身并不處理任何數據，而是只攝取預處理后的模型和梯度信息，保持模型的魯棒性。
2020年4月
IBM公司的CogMol加速了COVID-19的治療開發
IBM的深度學習框架CogMol將幫助研究人員加速治愈COVID-19等傳染病。新框架將解決當前 "生成式人工智能模型以創建新型肽、蛋白質、候選藥物和材料 "中的挑戰。
2020年6月
(1) ABBYY開源NeoML，深度學習和算法的框架
ABBYY，宣布推出NeoML。它是一個用于構建、訓練和部署ML模型的開源庫。NeoML是一個跨平臺的框架。它針對在云端、桌面和移動設備上運行的應用進行了優化，并支持深度學習和機器學習算法。
ABBYY的工程師使用它來完成計算機視覺和NLP任務。這些任務包括圖像預處理、分類、OCR、文檔布局分析以及從文檔中提取數據，這些文檔可以是結構化的，也可以是非結構化的。
"NeoML為運行在任何設備上的預訓練圖像處理模型提供了15-20%的性能。" 該庫被設計為處理和分析多格式數據(視頻、圖像等)的綜合工具。
(2) FINDER發布
網絡科學家多年來一直在努力解決一個重要問題。他們一直在試圖確定最影響網絡功能的關鍵角色或一組最佳節點。
今年6月，中國國防科技大學、加州大學洛杉磯分校(UCLA)和哈佛醫學院(HMS)的研究人員發表了一個名為FINDER(Finding key players in Networks through Deep Reinforcement learning)的深度強化學習(DRL)框架。它在一小套合成網絡上進行訓練，然后應用于真實世界的場景。該框架可以識別復雜網絡中的關鍵角色。它發表在《自然機器智能》的一篇論文中。
2020年8月
(1) scikit-learn發布了0.23版本
新版本包括一些新的主要功能，并修復了上一個版本中的bug。其主要功能包括：廣義線性模型，以及梯度提升的泊松損失;豐富的估計器的可視化表示;對KMeans的可擴展性和穩定性的改進;對基于直方圖的梯度提升估計器的改進;對Lasso和ElasticNet的樣本權重支持。
2020年9月
亞馬遜出版《深度學習分析》《Dive into Deep Learning》一書
亞馬遜團隊在書中加入了關鍵的編程框架。這本書--Dive into Deep Learning--是通過Jupyter筆記本起草的，整合了數學、文本和可運行代碼。它是一個完全開源的實時文檔，可觸發更新為HTML、PDF和筆記本版本。
雖然這本書最初是為MXNeT編寫的，但其作者也將PyTorch和TensorFlow加入其中。
對于對深度學習感興趣的學生、開發者和科學家來說，亞馬遜的這本書是一個很好的開源資源。
2020年10月
(1) 《自然機器智能》雜志發表了一個突破性的模型
今年10月，來自維也納理工大學(TU Wien)、奧地利IST和美國麻省理工學院(MIT)的一個國際研究團隊公布了一個新的人工智能系統。這個新時代的人工智能系統建立在線蟲等微小動物的大腦上，只需幾個人工神經元就能控制車輛。
與以往的深度學習模型相比，該方案具有顯著的優勢。遠離了臭名昭著的 "黑盒子"，它可以處理嘈雜的輸入，并且簡單易懂。該模型發表在《自然機器智能》上。
(2) MIScnn 發布
MIScnn是一個開源的Python框架，用于卷積神經網絡和深度學習的醫學圖像分割。
它擁有直觀的API，只需幾行代碼就能快速設置醫學圖像分割管道。MIScnn還具有數據I/O、預處理;貼片式分析;數據增強;度量;具有最先進的深度學習模型和模型利用的庫;以及自動評估。
(3) TensorFlow 2.3發布
tf.data解決了輸入管道瓶頸，提高了資源利用率。對于高級用戶來說，它的訓練速度有所提高。tf.data允許用戶在不同的訓練運行中重復使用輸出，從而釋放出額外的CPU時間。
TF Profiler增加了一個內存剖析器來可視化模型的內存使用情況，以及一個Python追蹤器來追蹤模型中的Python函數調用。它還提供了對新的 Keras 預處理層 API 的實驗性支持。
(4) PyTorch 1.7.0 發布
它包括許多新的API，包括 "支持NumPy兼容的FFT操作、剖析工具，以及對分布式數據并行(DDP)和基于遠程過程調用(RPC)的分布式訓練的重大更新。"
11月及以后
隨著2020年進入最后一圈，我們期待更多令人印象深刻的新進展出現。
馬克-庫班曾說說。"人工智能、深度學習、機器學習--不管你在做什么，如果你不懂的話，就學趕緊學起來吧。因為否則你的知識將在3年內成為老古董。"
為深入研究深度學習干杯!
