2020年人工智能領域的最大創新
2020年是不同的一年，整個社區面臨著眾多挑戰。但是，盡管在2020年遇到了這些挑戰，但AI仍在飛速發展。盡管OpenAI發行的GPT-3模型可能是今年最著名的突破，但今年還有許多其他值得注意的研究完成。
語言模型很少有人學習(GPT-3)：
GPT-3取消了幾個最先進的模型以在許多NLP基準測試中奪魁之后，超出了所有人的期望。龐大的1750億參數模型在龐大的語料庫上進行了訓練，以生成與任務無關的解決方案，以解決許多問題。在單發學習，單發學習和零發學習下進行的評估表明，GPT-3取得了令人鼓舞的結果，通常甚至比微調模型更好。GPT-3的架構與GPT-2幾乎相同，在稀疏變壓器中，在變壓器層中增加了交替的密集和局部帶狀的稀疏注意模式。
|
"將GPT-3的出色性能推向未來，表明生命，宇宙和萬物的答案僅為4.398萬億個參數。" -圖靈獎獲得者Geoffrey Hinton。 |
EfficientDet：可擴展且高效的對象檢測
Google Research團隊今年推出了EfficientDet模型，其速度比以前的物體檢測器快3至8倍。同時在模型中減少參數的情況下也可以實現!該模型引入了加權雙向特征金字塔網絡和一種新的復合縮放方法。該模型的研究論文被認為是最近引入的最高等級的論文之一，人們對該模型的興趣很高。本文的代碼實現。
EfficientDet可能會用于現實世界的應用程序，包括機器人技術和自動駕駛汽車，并且探測器的準確性和效率很高。
AdaBelief優化程序：根據觀察梯度中的信念調整步長
亞當(Adam)和隨機梯度下降(Stochastic Gradient Descent)是深度學習社區中最常用的優化器，但通常很難在兩者之間進行選擇。AdaBelief優化器將二者的優勢結合在一起成為一個優化器!Adam優化器的收斂速度和SGD的泛化功能都可以。AdaBelief的直覺是根據可以依賴當前方向上的梯度的多少來調整步長。如果預期坡度與預測坡度有很大差異，則我們對坡度的信任度就會降低，并采取較小的步驟。如果觀測到的坡度與預測相符，則置信度更高，并且將采取較大的步驟。
圖像值16×16字：用于大規模圖像識別的變壓器
NLP變壓器是該領域的一項創新性突破，大多數最新的NLP模型都采用了從變壓器導出的方法。作者將與原始變壓器類似的模型應用于本文中的圖像，以完成圖像分類任務。他們使用了所謂的視覺變壓器，它是在大型數據集上經過預訓練的變壓器，并針對諸如NLP變壓器的下游任務進行了微調。訓練此模型所需的計算量大大減少，該模型可以匹配或優于基于ResNet的基線架構。這篇論文在AI世界中非常流行。
走向類似人的開放域聊天機器人
Google Research推出了一個名為Meena的聊天機器人，該聊天機器人幾乎可以進行任何聊天。這是一個生成對話的26億參數模型，訓練了400億個單詞的語料庫。該模型建立在進化的變壓器上，在多匝對話中進行訓練，其中輸入序列包括上下文的所有匝，而輸出序列是響應。
還引入了一種新的人類評估指標，稱為敏感度和敏感度平均值(SSA)，它可以測量聊天機器人在回答時具有特定性和意義的能力。
我們僅涵蓋了AI 2020中完成的一些新模型和研究。我們還看到了2020年現有AI技術的應用呈指數增長，特別是在主流世界中深度學習的采用。
原文鏈接：
https://medium.com/dataseries/biggest-innovations-in-artificial-intelligence-in-2020-e2cc6b805464
