在這篇文章中，我想要解決一個(gè)很簡(jiǎn)單的問(wèn)題：機(jī)器學(xué)習(xí)是什么?

你可能對(duì)機(jī)器學(xué)習(xí)感興趣或者稍稍了解。如果有一天你和朋友或同事聊起機(jī)器學(xué)習(xí)，那么一些人可能會(huì)問(wèn)你“機(jī)器學(xué)習(xí)是什么”。那么，此文的目標(biāo)就是告訴你一些可參考的定義，以及一個(gè)現(xiàn)成的、容易記起的趣味定義。

我們將從了解該領(lǐng)域的權(quán)威書籍上關(guān)于機(jī)器學(xué)習(xí)的標(biāo)準(zhǔn)定義出發(fā)，并且以得出機(jī)器學(xué)習(xí)的一種程序員定義和我們被問(wèn)及什么是機(jī)器學(xué)習(xí)時(shí)一個(gè)隨時(shí)可以使用的現(xiàn)成的笑話為結(jié)束。

權(quán)威定義

我們先從閱讀四本大學(xué)課程中常用的機(jī)器學(xué)習(xí)參考書開始。這些是我們的權(quán)威定義，它們?yōu)槲覀兏由钊氲厮伎歼@個(gè)學(xué)科奠定了基礎(chǔ)。我選擇這四本書來(lái)強(qiáng)調(diào)該領(lǐng)域的一些有用的、多樣的觀點(diǎn)。經(jīng)驗(yàn)告訴我們，這個(gè)領(lǐng)域確實(shí)是包括很多的方法,因此選擇一個(gè)合適的角度是取得進(jìn)展的關(guān)鍵。

Mitchell定義的機(jī)器學(xué)習(xí)

Tom Mitchell在他的《Machine Learning(中文版：計(jì)算機(jī)科學(xué)叢書:機(jī)器學(xué)習(xí) )》一書的序言開場(chǎng)白中給出了一個(gè)定義：

“機(jī)器學(xué)習(xí)這門學(xué)科所關(guān)注的問(wèn)題是：計(jì)算機(jī)程序如何隨著經(jīng)驗(yàn)積累自動(dòng)提高性能。”

我喜歡這個(gè)簡(jiǎn)單明了的定義，它是我們?cè)谔?**得出的程序員定義的基礎(chǔ)。注意計(jì)算機(jī)程序這一提法和提到的“自動(dòng)提高”一詞。寫程序以改善它們自身，這是挑釁!

他在引言中多次重復(fù)提到一個(gè)簡(jiǎn)短的形式體系：

“對(duì)于某類任務(wù)T和性能度量P，如果一個(gè)計(jì)算機(jī)程序在T上以P衡量的性能隨著經(jīng)驗(yàn)E而自我完善，那么我們稱這個(gè)計(jì)算機(jī)程序在從經(jīng)驗(yàn)E學(xué)習(xí)。”

不要讓術(shù)語(yǔ)的定義把你嚇跑，這是一個(gè)非常有用的形式體系。我們把這一形式體系作為一個(gè)模版，把經(jīng)驗(yàn)E、任務(wù)T和性能度量P列在一張表的頂部，并且列 出帶有更少歧義的復(fù)雜問(wèn)題。它可以作為一個(gè)設(shè)計(jì)工具來(lái)幫助我們清楚的思考收集什么樣的數(shù)據(jù)(E)，需要做出什么樣的決策(T),以及如何評(píng)價(jià)結(jié)果(P)。 這就是我們把它作為一個(gè)標(biāo)準(zhǔn)定義的原因。請(qǐng)把它記在心里。

統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ)

《The Elements of Statistical Learning: Data Mining, Inference, and Prediction》是由三個(gè)斯坦福的統(tǒng)計(jì)學(xué)家編寫的，它自我描述為組織探究他們領(lǐng)域的統(tǒng)計(jì)框架。它在前言中寫到：

“許多領(lǐng)域都產(chǎn)生了大量的數(shù)據(jù),統(tǒng)計(jì)學(xué)家的工作就是讓所有這些數(shù)據(jù)變得意義:提取重要的模式和趨勢(shì),理解“數(shù)據(jù)在說(shuō)什么”。我們稱之為從數(shù)據(jù)中學(xué)習(xí)。”

我所理解的統(tǒng)計(jì)學(xué)家的工作是，使用統(tǒng)計(jì)工具在上下文環(huán)境中解譯數(shù)據(jù)。作者似乎想要把機(jī)器學(xué)習(xí)領(lǐng)域中的全部作為輔助工具。有趣的是，他們選擇把“數(shù)據(jù)挖掘”包含在書的標(biāo)題中。

統(tǒng)計(jì)學(xué)家從數(shù)據(jù)中學(xué)習(xí)，但軟件也可以，并且我們是從軟件學(xué)習(xí)到的事情中學(xué)習(xí)，從由多種多樣的機(jī)器學(xué)習(xí)方法做出的決策和得出的結(jié)果中學(xué)習(xí)。

模式識(shí)別

Bishop在《 Pattern Recognition and Machine Learning 》的前言中寫到：

“模式識(shí)別起源于工程學(xué)，而機(jī)器學(xué)習(xí)產(chǎn)生于計(jì)算機(jī)科學(xué)。然而這些領(lǐng)域可以看做成是同一領(lǐng)域的兩個(gè)方面。”

看了這些，你會(huì)獲得這樣一個(gè)印象，Bishop從一個(gè)工程的角度來(lái)到這個(gè)領(lǐng)域，后來(lái)又采取同樣的方法學(xué)習(xí)和利用了計(jì)算機(jī)科學(xué)。這是一個(gè)我們應(yīng)該效仿 的成熟方法。更廣泛地說(shuō)，不管一個(gè)方法所宣稱的領(lǐng)域，如果它能夠通過(guò)從數(shù)據(jù)中學(xué)習(xí)使得我們獲得一個(gè)更接近的洞察力或結(jié)果，從而更符合我們的需要，那么，我 們就稱之為機(jī)器學(xué)習(xí)。

算法角度

Marshland在《Machine Learning: An Algorithmic Perspective》中采用了Mitchell對(duì)于機(jī)器學(xué)習(xí)的定義。他在序言中提供了一個(gè)促使他寫下這本書的強(qiáng)有力的解釋：

“機(jī)器學(xué)習(xí)最有趣的特征之一就是，它介于幾個(gè)不同理論學(xué)科之間，主要是計(jì)算機(jī)科學(xué)、統(tǒng)計(jì)學(xué)、數(shù)學(xué)和工程學(xué)。機(jī)器學(xué)習(xí)經(jīng)常被作為人工智能的一部分來(lái)進(jìn) 行研究，這把它牢牢的置于計(jì)算機(jī)科學(xué)中。理解為什么這些算法能夠有效工作需要一定的統(tǒng)計(jì)學(xué)和數(shù)學(xué)頭腦,這往往是計(jì)算機(jī)科學(xué)專業(yè)的本科生所缺少的能力。”

這是深刻并有益的。首先，他強(qiáng)調(diào)該領(lǐng)域的多學(xué)科性質(zhì)。雖然我們已經(jīng)從上面的定義中獲得了這樣一種感覺(jué)，但他為我們進(jìn)一步強(qiáng)調(diào)了這一點(diǎn)，機(jī)器學(xué)習(xí)來(lái)源 于各種各樣的信息科學(xué)。第二，他強(qiáng)調(diào)了過(guò)于堅(jiān)持一個(gè)給定的角度的危險(xiǎn)性。特別是，算法工程師避開一個(gè)方法的數(shù)學(xué)內(nèi)部運(yùn)作原理的情況。毫無(wú)疑問(wèn)，相反的情 況，統(tǒng)計(jì)學(xué)家避開實(shí)現(xiàn)和部署的實(shí)際問(wèn)題也是同樣受限的。

維恩圖解

2010年9月，Drew Conway創(chuàng)建了一個(gè)漂亮的維恩圖，我發(fā)現(xiàn)這個(gè)圖是很有幫助的。他在解釋中評(píng)論到，機(jī)器學(xué)習(xí)就是黑客技能、數(shù)學(xué)和統(tǒng)計(jì)學(xué)知識(shí)的加和。

數(shù)據(jù)科學(xué)維恩圖。歸屬于Drew Conway，是一種知識(shí)共享許可的非商業(yè)歸屬。

他還把危險(xiǎn)區(qū)域描述為黑客技能與專業(yè)知識(shí)的加和。這里，他所指的是，那些了解得足夠多的人是危險(xiǎn)的。他們能夠訪問(wèn)和構(gòu)建數(shù)據(jù)，了解這個(gè)領(lǐng)域，還能運(yùn)行一種方法并給出結(jié)果，但是他們并不理解結(jié)果的含義。我認(rèn)為這就是Marsland曾經(jīng)可能暗示的意思。

程序員定義

現(xiàn)在我們來(lái)談?wù)劊氚阉羞@些問(wèn)題分解為具體細(xì)節(jié)，程序員需要做些什么。首先，我們來(lái)看看抵制我們分解和程序的解決方案的復(fù)雜問(wèn)題。這構(gòu)成機(jī)器學(xué)習(xí)的動(dòng)力。然后，我們需要找出一個(gè)適合于程序員的定義,一個(gè)每當(dāng)其他程序員問(wèn)我們什么是機(jī)器學(xué)習(xí)時(shí)我們就可以使用的定義。

復(fù)雜問(wèn)題

作為一名程序員，你最終將會(huì)遇到很多類型的頑固抵制邏輯的、程序的解決方案的問(wèn)題。我的意思是，對(duì)于很多類問(wèn)題，坐下來(lái)寫出解決問(wèn)題所需要的所有條件語(yǔ)句是既不可行也不劃算的。

我聽(tīng)到你的程序員大腦在大喊，“褻瀆”。

這是真的，以每天的鑒別垃圾郵件問(wèn)題為例，每當(dāng)介紹機(jī)器學(xué)習(xí)時(shí)，它是一直被使用的例子。當(dāng)一封郵件到來(lái)時(shí)，你將怎樣寫一個(gè)程序來(lái)過(guò)濾垃圾郵件，決定是將它放在垃圾箱還是收件箱中?

你將可能開始收集一些實(shí)例并深入研究它們，你將尋找垃圾郵件和非垃圾郵件所特有的模式，你還將會(huì)考慮抽象出那些模式以便你的啟發(fā)式學(xué)習(xí)將來(lái)能夠應(yīng)用 到新案例之中。你將會(huì)忽視那些永遠(yuǎn)不會(huì)被看到的古怪郵件，你將能夠輕松的提高準(zhǔn)確率并為邊界情況制定特殊的程序。你將反復(fù)多次的瀏覽郵件并抽象出新模式來(lái) 改善做出的決策。

在那里有一個(gè)機(jī)器學(xué)習(xí)算法，所有這些事情都由程序員而不是電腦來(lái)完成。這種手動(dòng)導(dǎo)出的硬編碼系統(tǒng)將具有同程序員一樣的、從數(shù)據(jù)中提取規(guī)則并將其實(shí)現(xiàn)的能力。

這能夠做到，但是它將花費(fèi)太多的資源，而且會(huì)是一個(gè)持續(xù)的噩夢(mèng)。

機(jī)器學(xué)習(xí)

在上面的例子中，我確信你下定決心尋求自動(dòng)化的那一部分程序員大腦，能夠看到自動(dòng)化和優(yōu)化從例子中提取模式這一過(guò)程的機(jī)會(huì)。機(jī)器學(xué)習(xí)方法就是這樣一個(gè)自動(dòng)化過(guò)程。

在垃圾/非垃圾郵件的例子中，經(jīng)驗(yàn)E就是我們所收集的郵件，任務(wù)T是一個(gè)決策問(wèn)題(也稱為分類)，它需要標(biāo)記每一封郵件是否為垃圾郵件，并將其放入 到正確的文件夾中。我們的性能度量將是一些類似于準(zhǔn)確率之類的、介于0%-100%之間的一個(gè)百分比(正確決策數(shù)除以總的決策數(shù)再乘以100)。

準(zhǔn)備這樣一個(gè)決策程序的過(guò)程通常被稱為訓(xùn)練，收集到的實(shí)例稱為訓(xùn)練集，程序即為一個(gè)模型，一個(gè)把非垃圾郵件從垃圾郵件的分離出來(lái)的問(wèn)題的模型。作為 程序員，我們喜歡這個(gè)術(shù)語(yǔ)，一個(gè)模型具有特定的狀態(tài)并且需要被保持，訓(xùn)練是一個(gè)執(zhí)行一次的過(guò)程，也可能會(huì)根據(jù)需要重新運(yùn)行，分類是待完成的任務(wù)。這些對(duì)我 們來(lái)說(shuō)都是有意義的。

我們能夠看到上面定義中所用到的術(shù)語(yǔ)并不是很適合于程序員。從技術(shù)上來(lái)說(shuō)，我們寫的所有的程序都是一個(gè)自動(dòng)化操作，因此，機(jī)器學(xué)習(xí)是自動(dòng)化學(xué)習(xí)的這一說(shuō)明是沒(méi)有意義的。

一個(gè)現(xiàn)成的小笑話

那么，讓我們來(lái)看看我們是否可以使用這些片段,構(gòu)建一個(gè)機(jī)器學(xué)習(xí)的程序員定義。

機(jī)器學(xué)習(xí)是一個(gè)源于數(shù)據(jù)的模型的訓(xùn)練過(guò)程，最終歸納出一個(gè)面向一種性能度量的決策。

“訓(xùn)練一個(gè)模型”代表訓(xùn)練實(shí)例，“模型”表示通過(guò)經(jīng)驗(yàn)學(xué)習(xí)獲得的狀態(tài)，“歸納出一個(gè)決策”代表基于輸入做出決策的能力，并且需要一個(gè)用于未來(lái)決策的、不可見(jiàn)的預(yù)期輸入。***，“面向一種性能度量”是指準(zhǔn)備好的模型的針對(duì)性需要和定向特性。

我不是詩(shī)人，你能想出一個(gè)更準(zhǔn)確、更簡(jiǎn)潔的機(jī)器學(xué)習(xí)的程序員定義嗎?請(qǐng)留下你的評(píng)論。

資源

在帖子中我已經(jīng)給出了相應(yīng)的鏈接，另外，如果你想要進(jìn)一步深入閱讀，我還在下面列出了一些有用的資源。

書籍

下面是我們從中得出定義的四本書籍：

Mitchell，《Machine Learning(中文版：計(jì)算機(jī)科學(xué)叢書:機(jī)器學(xué)習(xí) )》

Hastie, Tibshirani and Friedman，《The Elements of Statistical Learning: Data Mining, Inference, and Prediction》

Bishop，《 Pattern Recognition and Machine Learning 》

Marsland，《Machine Learning: An Algorithmic Perspective》

還有，Drew Conway與John Myles White合作的一本非常實(shí)用和有趣的書，Machine Learning for Hackers (中文版：機(jī)器學(xué)習(xí):實(shí)用案例解析 )

原文：What is Machine Learning: A Tour of Authoritative Definitions and a Handy One-Liner You Can Use