數據科學和機器學習正變得越來越流行，這個領域的人數每天都在增長。這意味著有很多數據科學家在構建他們的第一個機器學習模型時沒有豐富的經驗，而這也是錯誤可能會發(fā)生的地方。

近日，軟件架構師、數據科學家、Kaggle 大師 Agnis Liukis 撰寫了一篇文章，他在文中談了談在機器學習中最常見的一些初學者錯誤的解決方案，以確保初學者了解并避免它們。

?

Agnis Liukis 擁有超過 15 年的軟件架構和開發(fā)經驗，他熟練掌握 Java、JavaScript、Spring Boot、React.JS 和 Python 等語言。此外，Liukis 還對數據科學和機器學習感興趣，他多次參加 Kaggle 比賽并取得好成績，已達到 Kaggle 比賽大師級別。

以下為文章內容：

在機器學習領域，這 5 個坑，你踩過嗎？

1、在需要的地方沒有使用數據歸一化（data normalization）

對數據進行歸一化操作，然后獲取特征，并將其輸入到模型中，讓模型做出預測，這種方法是很容易的。但在某些情況下，這種簡單方法的結果可能會讓人失望，因為它缺少一個非常重要的部分。

一些類型的模型需要數據歸一化，如線性回歸、經典神經網絡等。這類模型使用特征值去乘訓練值的權重。在非歸一化特征的情況下，一個特征值的可能范圍可能不同于另一個特征值的可能范圍。

假設一個特征的值在 [0，0.001] 范圍內，另一個特征的值在 [100000，200000] 范圍內。對于使兩個特征同等重要的模型，第一個特征的權重將比第二個特征的權重大 1 億倍。巨大的權重可能會給模型帶來嚴重問題，比如存在一些異常值的時候。此外，估計各種特征的重要性變得困難，因為權重大可能意味著特征很重要，但也可能只是意味著其特征值很小。

歸一化后，所有特征的值都在相同的范圍內，通常為 [0，1] 或 [-1，1]。在這種情況下，權重將在相似的范圍內，并與每個特征的實際重要性密切對應。

總的來說，在需要的地方使用數據歸一化將產生更好、更準確的預測。

2、認為特征越多越好

有人可能會認為加入所有特征是一個好主意，認為模型會自動選擇并使用最好的特征。實際上，這種想法很難成真。

模型的特征越多，過擬合的風險越大。即使在完全隨機的數據中，模型也能夠找到一些特征（信號），盡管有時較弱，有時較強。當然，隨機噪聲中沒有真實信號。但如果我們有足夠多的噪聲列，則該模型有可能根據檢測到的故障信號使用其中的一部分。當這種情況發(fā)生時，模型預測質量將會降低，因為它們一定程度上基于隨機噪聲。

現在有許多技術幫助我們進行特征選擇。但你要記住，你需要解釋你擁有的每一個特征，以及為什么這個特征會幫助你的模型。

3. 在需要外推的情況下，使用基于樹的模型

基于樹的模型易于使用，功能強大，這也是其受歡迎的原因。然而，在某些情況下，使用基于樹的模型可能是錯誤的。

基于樹的模型無法外推，這些模型的預測值永遠不會大于訓練數據中的最大值，而且在訓練中也永遠不會輸出比最小值更小的預測值。

在某些任務中，外推能力可能非常重要。例如，如果該模型預測股票價格，那么未來股票價格可能會比以往任何時候都高。在這種情況下，基于樹的模型將無法直接使用，因為它們的預測幾乎會超過最高歷史價格。

這個問題有多種解決方案，一種解決方案是預測變化或差異，而不是直接預測價值。另一種解決方案是為此類任務使用不同類型的模型。線性回歸或神經網絡就可以進行外推。

4、在不需要的地方使用數據歸一化

之前文章談到了數據歸一化的必要性，但情況并非總是如此，基于樹的模型不需要數據歸一化。神經網絡可能也不需要明確的歸一化，因為有些網絡內部已經包含歸一化層，例如 Keras 庫的 BatchNormalization 操作。

在某些情況下，即使是線性回歸也可能不需要數據歸一化，這是指所有特征都已處于類似的值范圍，并且具有相同的含義。例如，如果模型適用于時間序列數據，并且所有特征都是同一參數的歷史值。

5. 在訓練集和驗證集 / 測試集之間泄漏信息

造成數據泄漏比人們想象的要容易，考慮以下代碼段：

?數據泄漏的示例特性

實際上，這兩種特征（sum_feature 和 diff_feature）都不正確。它們正在泄漏信息，因為在拆分到訓練集 / 測試集后，具有訓練數據的部分將包含來自測試的一些信息。這將導致更高的驗證分數，但當應用于實際的數據模型時，性能會更差。

正確的方法是首先將訓練集 / 測試集分開，然后才應用特征生成功能。通常，分別處理訓練集和測試集是一種很好的特征工程模式。

在某些情況下，可能需要在兩者之間傳遞一些信息 —— 例如，我們可能希望在測試集和訓練集上使用相同的 StandardScaler。

總而言之，從錯誤中吸取教訓是件好事，希望上述所提供的錯誤示例能幫助到你。