2019年過去一小半了，這些深度學習研究值得一看！
大數據文摘出品
作者：李雷、張弛、蔣寶尚
轉眼間2019年已經過去了快一半，這對于日新月異的深度學習技術已經算是很長一段發展時間。Open Data Science在Medium上整理了2019年到現在為止深度學習技術發布的精華成果，選擇的論文都是在GitHub平臺上有相關代碼的論文。文摘菌為大家做了編譯工作，希望大家緊跟時代的步伐～
用PyTorch Geometric實現快速圖表示學習
這篇論文介紹了PyTorch Geometric，這是一個基于PyTorch(深度學習框架)的非結構化數據(如圖形，點云和流形)深度學習庫。除了通用圖形數據結構和處理方法之外，它還包含關系學習和三維數據處理領域的各種***方法。PyTorch Geometric通過利用稀疏GPU加速，提供專用CUDA內核以及為不同大小的輸入樣本引入高效小批量處理，從而實現了高數據吞吐量。
GitHub鏈接：https://github.com/rusty1s/pytorch_geometric
蒙版得分R-CNN(Mask Scoring R-CNN)
在大多數計算機視覺的實例分割任務中，通常將實例分類的置信度作為實例分割框架的蒙版(mask)質量分數，這可能會出現偏差。這篇論文研究了這一問題，并提出了蒙版得分R-CNN(Mask Scoring R-CNN )，即用一個模塊來學習預測實例蒙版的質量。蒙版評分策略校準了蒙版質量和分類評分之間的差異，并在對COCO數據集的平均準確度(AP)評估中優先考慮更為準確的蒙版預測來改善實例分割效果。
GitHub鏈接：https://github.com/zjhuang22/maskscoring_rcnn
如何用更少標簽生成高保真圖像
深度生成模型是現代機器學習的基礎。近期關于條件生成對抗網絡(GAN)的研究表明，自然圖像的復雜高維分布是可以學習的。雖然***的模型能夠生成高分辨率、高保真、多樣化的自然圖像，但它們往往依賴于大量標記數據。本論文展示了如何利用目前關于自主和半監督學習的研究，在無監督及條件設定下實現***水平的ImageNet圖像合成。
GitHub鏈接：https://github.com/google/compare_gan
GCNv2：實時SLAM的高效響應預測
這篇論文介紹了GCNv2，一個用于生成關鍵點和描述符的深度學習網絡。GCNv2建立在圖卷積神經網絡GCN之上，GCN是用于訓練三維投影幾何的網絡。GCNv2使用二進制描述符向量作為ORB(Oriented FAST and Rotated BRIEF)特征，因此它可以輕松替換ORB-SLAM(一種基于ORB特征的三維即時定位與地圖構建算法)等系統中的ORB。
GitHub鏈接：https://github.com/jiexiong2016/GCNv2_SLAM
ALiPy：Python的主動學習
監督式的機器學習方法通常需要大量標記樣本用于模型訓練。但是，在許多實際應用中存在大量未標記的數據，已標記數據其實并不多，并且數據打標的成本很高。主動學習(AL)通過迭代地選擇最有價值的數據樣本并從標注器查詢其標簽，從而降低標注成本。這篇論文介紹了用于主動學習的Python 工具庫 ALiPy。
GitHub鏈接：https://github.com/NUAA-AL/ALiPy
DeepFashion2：用于服裝圖像的檢測，姿勢判斷，實例分割和重新識別的多功能基準數據集
基準數據集DeepFashion提升了人們對服裝時尚的理解，它具有豐富的標簽，包括服裝類別，標記和賣家秀-買家秀圖像。然而，DeepFashion也有不可忽視的問題，例如每副圖像只有單個服裝類別，標記稀疏(僅4~8個)，并且沒有像素蒙版，這些都與現實場景有著顯著差距。本論文介紹的DeepFashion2解決了上述問題。它是一個多功能數據集，包含四個功能，服裝檢測，姿勢判斷，實例分割和識別。
GitHub鏈接：https://github.com/switchablenorms/DeepFashion2
星際爭霸多智能體挑戰賽
在過去幾年中，深層多智能體強化學習(RL)一直是一個非常活躍的研究領域。這一領域中有非常具有挑戰性的問題，就是局部觀察、局部合作，和多智能體學習，在這種學習中各智能體必須學會基于自己的觀察來與他人協調合作。這一研究領域非常吸引人，因為其中擁有大量現實世界相關的場景，并且這些問題比一般匯總問題更適合算法評估。諸如ALE(街機游戲模式學習環境)和MuJoCo(物理模擬引擎)之類的標準化環境使單智能體強化學習突破了小型領域，如網格世界。但是，合作式多智能體強化學習卻缺乏相應的基準環境。因此，該領域的大多數論文都針對一次性小型問題，難以衡量實際效用。這篇論文提出的星際爭霸多智能體挑戰賽(SMAC)可以作為填補這一空白的基準問題。
GitHub鏈接：https://github.com/oxwhirl/smac
Dropout - 隨機δ規則特例：更快，更準確的深度學習
多層神經網絡在文本、語音和圖像處理等多種基準任務中表現出色。在分層模型中，非線性參數估計受到過擬合和誤差的影響。這些估計及相關問題(局部最小值，共線性，特征發現等)的其中一種解決方法就是Dropout。Dropout算法在每次更新之前會根據具有先驗概率p的Bernoulli隨機變量暫時丟棄某些隱藏單元，從而對平均更新的網絡產生隨機“沖擊”。本論文表明Dropout是一個稱為隨機δ規則(SDR)的更為通用模型的特例，這個模型最早于1990年發布。
GitHub鏈接：https://github.com/noahfl/sdr-densenet-pytorch
Lingvo：用于序列到序列建模的模塊化可擴展框架
Lingvo是一個Tensorflow框架，為協作深度學習研究提供完整的解決方案，側重于序列到序列模型。Lingvo模型由模塊化構件組成，靈活，易擴展，實驗配置集中且高度可定制。它內置支持分布式訓練和量化推理，附帶大量關于實際應用，輔助函數和***研究理念的實現代碼。在過去兩年中，Lingvo已被數十名研究人員使用，相關論文有20多篇。這篇論文概述了Lingvo的底層設計，并介紹了框架各個部分，同時還提供了高級功能示例，以展示框架能力。
GitHub鏈接：https://github.com/tensorflow/lingvo
學習率動態邊界的自適應梯度算法
自適應優化算法，如AdaGrad，RMSProp和Adam可以用來實現快速訓練過程，且具有學習率的元素縮放項。盡管很流行，但與隨機梯度下降算法SGD相比，它們的泛化能力較差，甚至會由于不穩定或極端的學習率而未能收斂。這篇論文證明極端學習率會導致算法表現不佳，并給出了Adam和AMSGrad算法的新變體，分別稱為AdaBound和AMSBound，引入學習率的動態邊界，實現從自適應方法到SGD的逐步平滑過渡，并給出收斂的理論證明。作者對各種流行任務和模型做了進一步的實驗。實驗結果表明，新變體可以消除自適應方法與SGD之間的泛化差距，同時在訓練早期保持較高的學習速度。
GitHub鏈接：https://github.com/Luolc/AdaBound
相關報道：
https://medium.com/@ODSC/best-deep-learning-research-of-2019-so-far-7bea0ed22e38
【本文是51CTO專欄機構大數據文摘的原創文章，微信公眾號“大數據文摘（ id: BigDataDigest）”】
