谷歌Robotics研究科學(xué)家：記住5個問題，快速理解ML論文要點
編譯：戚路北
編輯：陳彩嫻
機器學(xué)習(xí)領(lǐng)域非常火熱，新的模型、技術(shù)不斷更新非?？?，要求我們在平時的工作和學(xué)習(xí)過程中，會需要去閱讀一些論文，跟蹤某個領(lǐng)域的最新動態(tài)。
但讀論文經(jīng)常會有兩種不適的感覺，一是容易遺忘，二是不能提綱挈領(lǐng)。 遺忘通常是讀了后面忘記前面，或者過幾日回顧自己讀的論文完全不知道是怎么回事。 不能提綱挈領(lǐng)體現(xiàn)在喜歡逐字逐句的閱讀，沒有側(cè)重點的從全局來學(xué)習(xí)論文。
那么，我們應(yīng)該如何閱讀機器學(xué)習(xí)領(lǐng)域的論文?
谷歌 Robotics 研究科學(xué)家 Eric Jang 在博客上寫了一篇名為“How to Understand ML Papers Quickly”的文章，提到他的學(xué)員也經(jīng)常問他一些大同小異的問題，比如 “arXiv 上的各種論文每天都泛濫成災(zāi)，我們又該如何去選擇性地閱讀?”
他提出，閱讀大多數(shù)機器學(xué)習(xí)領(lǐng)域的論文的好處在于，你只需要問五個簡單的問題，就能弄清楚論文的邏輯，并能避免很多麻煩，例如難懂的術(shù)語，糟糕的數(shù)學(xué)推導(dǎo)…
這五個問題是：
1. 函數(shù)逼近器的輸入是什么?
例如，只有一個對象居中的224x224x3 RGB 視圖。
2. 函數(shù)逼近器的輸出是什么?
例如，對應(yīng)于輸入長度為1000向量的圖像。
通過這種“省略”的方式思考機器學(xué)習(xí)系統(tǒng)的輸入和輸出，如此一來，你便可以跳過算法術(shù)語，并考慮其他領(lǐng)域是否用其他方法實現(xiàn)了同樣的目的。我發(fā)現(xiàn)這種方法在閱讀“元學(xué)習(xí)”領(lǐng)域的論文時非常有用。
通過將機器學(xué)習(xí)問題視為一組輸入和預(yù)期的輸出，你可以推斷輸入是否足以預(yù)測輸出。如果不進行此練習(xí)，你可能會隨便設(shè)置一個機器學(xué)習(xí)問題，輸出可能無法由輸入確定。因此便有可能創(chuàng)造一個引發(fā)“錯誤”的機器學(xué)習(xí)系統(tǒng)。
3. 關(guān)于輸出的預(yù)測是以什么為代價來進行監(jiān)督的?這個特定目標對世界又有什么樣的假設(shè)?
機器學(xué)習(xí)模型是通過組合偏置和數(shù)據(jù)而形成的。有時偏置很強，有時又很弱。為了使模型更好地泛化，你需要添加更多偏差或者添加更多的無偏數(shù)據(jù)。正如“天下沒有免費的午餐”理論所指出的，沒有哪一個優(yōu)秀的模型是能輕輕松松做出來的。
舉一個例子：許多最優(yōu)控制算法都假設(shè)一個穩(wěn)定而連續(xù)的數(shù)據(jù)生成過程，即馬爾可夫決策過程(MDP)。在MDP中，"狀態(tài)"和"行動"通過環(huán)境的過渡動態(tài)確定映射到"下一個狀態(tài)、反饋以及是否結(jié)束"。這種結(jié)構(gòu)雖然非常尋常，但可以將損失進行公式化表達，使學(xué)習(xí)Q值遵循貝爾曼方程。
4. 經(jīng)過訓(xùn)練后，模型可以從以前聞所未聞的輸入/輸出中概括出什么?
由于從數(shù)據(jù)或模型的體系結(jié)構(gòu)中捕獲了信息，因此機器學(xué)習(xí)系統(tǒng)可以很好地泛華。近年來，我們看到泛化的水平越來越高，因此在閱讀論文時，我會去觀察那些令人驚訝的泛化功能以及它們來自何處(數(shù)據(jù)，偏置或兩者兼而有之)。
更好的歸納偏置在該領(lǐng)域存在很多噪音，例如因果推理、符號方法或以對象為中心的表示。這些是構(gòu)建穩(wěn)健而且可靠的機器學(xué)習(xí)系統(tǒng)的重要工具，而且我知道分隔結(jié)構(gòu)化數(shù)據(jù)與模型的偏置界限可能很模糊。話雖如此，但讓作者感到困惑的是，為什么有那么多研究人員認為推動機器學(xué)習(xí)前進的方式是減少學(xué)習(xí)量并增加硬編碼行為的量。
我們之所以開展“機器學(xué)習(xí)”的科研工作，恰恰是因為有些事情我們不知道如何去進行硬編碼。作為機器學(xué)習(xí)研究人員，我們應(yīng)該將工作重點放在改善學(xué)習(xí)方法上，而將硬編碼和符號方法留給機器硬編碼研究人員使用。
5. 結(jié)論是否可證偽?
那些聲稱不能證偽的論文不在科學(xué)領(lǐng)域之內(nèi)。
原文鏈接：https://blog.evjang.com/2021/01/understanding-ml.html
【本文是51CTO專欄機構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】
