機器學習研究趨勢分析：TensorFlow已超越Caffe成研究最常用框架
開玩笑地說，現在提交論文的主題是不是應該圍繞把全卷積編碼器解碼器BatchNorm ResNet GAN應用于風格遷移，用 Adam 進行優化?
你是否使用過 Google Trends?相當的酷，你在里面輸入關鍵詞，看一下谷歌搜索中這一詞條如何隨時間變化的。我想，過去 5 年中 arxiv-sanity 數據庫中剛好有 28303 篇機器學習論文，為什么不做一些類似的工作，看一下過去 5 年機器學習研究有何進化?結果相當的有趣，所以我把它貼了出來。
arXiv 奇點
首先，讓我們看一下在 arxiv-sanity 類別下(cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML)所遞交論文的總數。隨時間變化，得出以下結果：
是的，2017 年 3 月，該領域有幾乎 2000 篇論文被提交。這一峰值可能是由于大會截止日期(例如 NIPS/ICML)。注意，這不是關于該領域自身體量的一個直接說明，因為不是每個人都會把論文提交到 arXiv 上，而且研究人員做研究的分類也會隨時間變化。但有一點可以說明，人工智能領域正有大量論文被發現、瀏覽、閱讀。
把論文的總量做為分母，我們現在看一下有多少比例的論文包含確切的關鍵詞。
深度學習框架
作為熱身，我們先看一下深度學習框架。為了計算這個關鍵詞，我們記錄了在全部文本中的某處提到框架名的論文以及其比例(任何地方，包括 bibiliography 等)。在 2017 年三月份提交的論文中，我們得出了下面的結果：
也就是說，2017 年 3 月提交的論文中 10% 提到了 TensorFlow。當然，不是每篇論文都宣布使用了該框架，如果我們假設那些提到框架的論文都有一定概率使用該框架，那看起來社區中有 40% 的人在使用 TensorFlow(或者更多，如果你把帶有 TF 后端的 Keras 也算在內)。下面是更多框架隨時間變化的圖繪：
我們能看到 Theano 已經出現很長時間了，但其增長趨于停滯。Caffe 在 2014 年有急劇的增長，但在過去幾個月被 TensorFlow 超越。Torch(以及最近的 PyTorch)也在攀爬階段，緩慢卻穩定。接下來幾個月的發展值得注意，我個人的猜測是 Caffe/Theano 將繼續緩慢的衰退，TensorFlow 也會因為 PyTorch 出現，增長速度變的更慢。
ConvNet 模型
接下來看一下常見的 ConvNet 模型。下圖中，我們能清楚的看到 ResNet 的漲幅，直到三月份所有論文的 9% 提到了它。
還有，在 InceptionNet 之前誰在討論「inception」?對此也很好奇。
優化算法
在優化算法方面，看起來 Adam 正在流行，所有論文中 23% 提到了 Adam。實際使用的比例難以估計，但可能要比 23% 高，因為一些論文沒有公布用到的優化算法，而且一批論文可能沒優化任何神經網絡。然后它可能還低了 5%，也就是 Adam「隱藏」在背后，可能與作者的名字沖突，因為 Adam 優化算法到了 2014 年 12 月才發布。
研究人員
我們對深度學習中一些重要人物出現的比例也很好奇，所以進行了繪圖。這有點類似于引用量，但它要比論文非零即一的統計更為穩健，而且對所有的論文進行了標準化。
可以注意的：所有提交的論文中 35% 提到了「bengio」，但研究人員中有兩個 Bengio：Samy 和 Yoshua，在此圖中是合并統計的。特別提到的一點，在所有新論文中有超過 30% 提到了 Geoff Hinton，看起來非常的多。
熱詞或非關鍵詞
最后，除了手動查閱的關鍵詞類別，讓我們看一下一些熱詞或不熱的關鍵詞。
頂級熱詞
有很多方式可對此進行定義，但該實驗中我觀察了所有論文中的單字母組合或雙子母詞組，并記錄了相比于去年最大使用量的比例。超越此標準的論文就是一年前還是有潛力的，但在今年就有相當高關聯頻率的論文。列表如下：
例如，ResNet 的比例是 8.17。因為一年前它在所有提交論文中出現的比率是 1.044%(2016 年 3 月)，但今年 3 月它出現的比例是 8.53，所以 8.53 除以 1.044 約等于 8.17。所以得出的結果是，過去一年所有的核心創新領域是 1) ResNets, 2) GANs, 3) Adam, 4) BatchNorm，在研究中多使用下這些模型。在研究興趣方面，我們看到 1) 風格遷移，2) 深度強化學習，3) 神經機器翻譯，以及 4) 圖像生成。在架構上，熱于使用 1) 全卷機網絡 (FCN)，2) LSTMs/GRUs，3) Siamese 網絡，以及 4) 編碼器-解碼器網絡。
頂級但不熱
相反的一面呢?過去一年有哪些詞有較少的提交，但歷史上有更高的比例?下面列出了一些：
我不太確定「fractal」指代什么，但更普遍的可能是貝葉斯非參數在被攻擊。
結論
現在提交論文的主題應該圍繞把全卷積編碼器解碼器 BatchNorm ResNet GAN(Fully Convolutional Encoder Decoder BatchNorm ResNet GAN)應用于風格遷移，用 Adam 進行優化。聽起來也不那么不靠譜。
