作為機(jī)器學(xué)習(xí)的入門課程，線性回歸是我們必須要學(xué)習(xí)的第一個(gè)算法。今天我們就來詳細(xì)的講解一下線性回歸。

在講解之前，我們先來解釋以下幾個(gè)問題。

可為線性？線性是指自變量x和因變量y之間是線性的關(guān)系，即圖像是一條直線，叫做線性。

何為回歸？百度百科的解釋是：指研究一組隨機(jī)變量(Y1 ，Y2 ，…，Yi)和另一組(X1，X2，…，Xk)變量之間關(guān)系的統(tǒng)計(jì)分析方法，又稱多重回歸分析。通俗的講就是我們研究一個(gè)函數(shù)，當(dāng)我們輸入自變量x時(shí)，因變量y可以無(wú)限的接近真實(shí)值。

線性回歸可以解決什么問題？線性回歸主要是對(duì)大量的觀測(cè)數(shù)據(jù)進(jìn)行處理，從而得到比較符合事物內(nèi)部規(guī)律的數(shù)學(xué)表達(dá)式。也就是說尋找到數(shù)據(jù)與數(shù)據(jù)之間的規(guī)律所在，從而就可以模擬出結(jié)果，也就是對(duì)結(jié)果進(jìn)行預(yù)測(cè)。通過已知的數(shù)據(jù)得到未知的結(jié)果。比如：對(duì)房?jī)r(jià)的預(yù)測(cè)、判斷信用評(píng)價(jià)、電影票房預(yù)估等。

線性模型的一般形式

一般我們的輸入是由多個(gè)屬性描述的示例x。在預(yù)測(cè)房?jī)r(jià)的例子中，我們輸入的一個(gè)示例x就包含多種維度：房間數(shù)，簡(jiǎn)直面積，房屋評(píng)分，日期等等。可用公式表示成x=(x1;x2;x3...;xd)，其中xi是x在第i個(gè)屬性上的取值。由于線性模型是一個(gè)試圖學(xué)得一個(gè)通過屬性的線性組合來進(jìn)行預(yù)測(cè)的函數(shù)，即f(x)=w1x1+w2x2+...+wdxd+b。所以線性模型的一般形式可以表示為：

我們首先考慮一種最簡(jiǎn)單的情形：輸入x的屬性只有一個(gè)，即x只有一維。那么接下來的問題就是如何確定w和b。我們回歸的目的就是使預(yù)測(cè)值無(wú)限逼近真實(shí)值，所以當(dāng)然要使預(yù)測(cè)值f(x)和真實(shí)值y之間的差值盡可能的小。由于差值可正可負(fù)，與其取絕對(duì)值，不如使用平方。所以在這種情況下，均方誤差是最常用的性能度量，公式如下：

我們的目的就是求得此函數(shù)的最小值，而基于均方誤差最小化來進(jìn)行模型求解的方法稱為“最小二乘法”。最小二乘法就是試圖找到一條直線，使所有樣本到直線上的歐式距離之和最小。通俗講，最小二乘法的中心思想就是能夠使得如上函數(shù)最小的w和b就是我們所求函數(shù)的解。

這是一個(gè)二次函數(shù)，對(duì)其求導(dǎo)：

導(dǎo)數(shù)為0的時(shí)候取得最小值，令上式子右方為零，可解得：

這樣我們就可以得到完整的線性回歸函數(shù)。

本文轉(zhuǎn)載自??人工智能訓(xùn)練營(yíng)??，作者：人工智能訓(xùn)練營(yíng)