終于把機器學習中的超參數調優搞懂了！！！

作者：程序員小寒 2024-11-25 08:20:35

人工智能

超參數是用戶在模型訓練前需要手動設置的參數，與訓練過程中通過算法自動調整的參數（如神經網絡中的權重）不同。這些超參數直接控制著訓練過程和模型的行為，例如學習率、隱藏層的數量、隱藏層的節點數等。超參數的選擇對模型的表現至關重要。

大家好，我是小寒

今天給大家分享機器學習中的一個關鍵知識點，超參數調優

超參數調優是機器學習中調整模型超參數以優化模型性能的過程。

超參數調優的目的是找到一組最佳的超參數，使模型在驗證集上表現良好，能夠實現良好的泛化能力（即在新數據上具有較好的性能），同時避免過擬合或欠擬合。

圖片

超參數調優的重要性

性能優化
合適的超參數可以顯著提高模型的準確性、召回率等性能指標。
控制過擬合和欠擬合
超參數調節可以控制模型復雜度，降低過擬合和欠擬合的風險。
訓練效率
調整超參數（如學習率、批量大小）可以提高訓練速度并穩定收斂。

常見超參數調優方法

網格搜索

網格搜索是一種系統地搜索超參數空間的方法，它通過窮舉搜索遍歷所有可能的超參數組合。

對于每組超參數，模型在訓練集上訓練并在驗證集上評估性能，從而找到最佳組合。

圖片

步驟：

定義超參數及其可能取值范圍（通常是離散的值）。
生成所有可能的超參數組合。
逐一訓練模型并在驗證集上進行評估。
選擇使模型性能最優的超參數組合。

優點：

簡單易實現。
對于搜索空間較小的問題能找到全局最優解。

缺點：

計算復雜度高，隨著超參數的維度和可能取值數量增加，搜索空間呈指數級增長。
低效：如果某些超參數的作用較小或對模型性能影響不大，依然會浪費大量計算資源。

案例：

假設有一個分類模型，其超參數有：

learning_rate: [0.001, 0.01, 0.1]
max_depth: [3, 5, 7]

網格搜索將會嘗試以下組合：

(0.001, 3), (0.001, 5), (0.001, 7), 
(0.01, 3), (0.01, 5), (0.01, 7),
(0.1, 3), (0.1, 5), (0.1, 7)

一共 3 × 3 = 9 次訓練。

隨機搜索

隨機搜索是一種隨機采樣超參數空間的方法，它從所有可能的超參數組合中隨機選擇一定數量的組合進行嘗試，而不是窮盡所有可能性。

圖片

步驟：

定義超參數的分布范圍。
隨機采樣一定數量的超參數組合。
逐一訓練模型并在驗證集上進行評估。
選擇使模型性能最優的超參數組合。

優點：

計算效率高，通過減少搜索空間中的點，顯著降低計算成本。
效果較好，相比網格搜索，隨機搜索在高維空間中更有可能找到接近最優的解。

缺點：

沒有系統性，不保證找到全局最優解。
需要事先定義采樣數量。

案例：

假設超參數空間與上述網格搜索相同，但隨機搜索僅采樣 5 組超參數組合，例如：

(0.001, 7), (0.01, 5), (0.1, 3), (0.001, 5), (0.01, 3)

相比網格搜索的 9 次訓練，這里僅訓練 5 次。

示例代碼

以下是使用 Python 實現網格搜索和隨機搜索的示例代碼。

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=1000, n_features=20, random_state=42)

model = RandomForestClassifier(random_state=42)

param_grid = {
    'n_estimators': [10, 50, 100],
    'max_depth': [5, 10, 15],
    'min_samples_split': [2, 5, 10]
}

# 網格搜索
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=3, scoring='accuracy')
grid_search.fit(X, y)
print("Best parameters (Grid Search):", grid_search.best_params_)

from scipy.stats import randint
param_dist = {
    'n_estimators': randint(10, 200),
    'max_depth': randint(5, 50),
    'min_samples_split': randint(2, 20)
}

# 隨機搜索
random_search = RandomizedSearchCV(estimator=model, param_distributinotallow=param_dist, n_iter=10, cv=3, scoring='accuracy', random_state=42)
random_search.fit(X, y)
print("Best parameters (Random Search):", random_search.best_params_)

責任編輯：武曉燕來源：程序員學長

機器學習參數調優