Python中用XGBoost和scikit-learn進行隨機梯度增強
集成決策樹的一種簡單技術涉及在訓練數據集的子樣本上訓練樹。可以采用訓練數據中行的子集來訓練稱為袋裝的單個樹。在計算每個分割點時，如果還使用了訓練數據的行的子集，則這稱為隨機森林。這些技術也可以在稱為隨機梯度增強的技術中用于梯度樹增強模型。
在本文中，您將發現隨機梯度增強以及如何使用XGBoost和Python中的scikit-learn來調整采樣參數。閱讀這篇文章后，您將知道：
- 在數據子樣本上訓練樹的原理以及如何將其用于梯度增強。
- 如何使用scikit-learn調整XGBoost中基于行的子采樣。
- 如何在XGBoost中按樹和拆分點調整基于列的子采樣。
隨機梯度提升
梯度增強是一個貪婪的過程。將新的決策樹添加到模型中，以更正現有模型的殘差。使用貪婪搜索過程創建每個決策樹，以選擇最能最小化目標函數的分割點。這可能會導致樹一次又一次使用相同的屬性，甚至使用相同的分割點。
套袋是一種創建決策樹集合的技術，每個決策樹都來自訓練數據中不同的隨機行子集。效果是，由于樣本的隨機性允許創建略有不同的樹木，因此從樹的集合中獲得了更好的性能，從而為集合的預測增加了方差。隨機森林通過在選擇分割點時對要素（列）進行二次采樣，從而進一步擴大了這一步驟，從而進一步增加了樹木的整體差異。這些相同的技術可以用于梯度提升中決策樹的構建中，這種變化稱為隨機梯度提升。通常使用訓練數據的激進子樣本，例如40％到80％。
教程概述
在本教程中，我們將研究不同的二次采樣技術在梯度增強中的作用。我們將調整Python的XGBoost庫所支持的三種不同的隨機梯度增強方式，特別是：
- 創建每棵樹時，對數據集中的行進行二次采樣。
- 創建每棵樹時對數據集中的列進行二次采樣。
- 創建每個樹時，數據集中每個拆分的列的子采樣。
問題描述：Otto數據集
在本教程中，我們將使用“奧托集團產品分類挑戰”數據集。該數據集可從Kaggle免費獲得（您需要注冊到Kaggle才能下載此數據集）。您可以從“數據”頁面下載訓練數據集train.csv.zip并將解壓縮后的train.csv文件放入您的工作目錄中。該數據集描述了61,000多種產品的93個混淆細節，這些產品分為10個產品類別（例如，時尚，電子產品等）。輸入屬性是某種不同事件的計數。目標是對新產品做出預測，將其作為10個類別中每一個類別的概率數組，并使用多類對數損失（也稱為交叉熵）對模型進行評估。該競賽已于2015年5月完成，并且由于示例數量不多，問題難度大，幾乎不需要數據準備（除了將字符串類變量編碼為整數）的事實，該數據集對于XGBoost還是一個很大的挑戰。
在XGBoost中調整行二次采樣
行二次抽樣涉及選擇訓練數據集的隨機樣本而不進行替換。可以在subsample參數的XGBoost類的scikit-learn包裝器中指定行子采樣。默認值為1.0，該值不進行二次采樣。我們可以使用scikit-learn中內置的網格搜索功能來評估從0.1到1.0的不同子樣本值對Otto數據集的影響。
- [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 1.0]
子樣本有9個變體，每個模型將使用10倍交叉驗證進行評估，這意味著需要訓練和測試9×10或90個模型。
下面提供了完整的代碼清單。
- # XGBoost on Otto dataset, tune subsample
- from pandas import read_csv
- from xgboost import XGBClassifier
- from sklearn.model_selection import GridSearchCV
- from sklearn.model_selection import StratifiedKFold
- from sklearn.preprocessing import LabelEncoder
- import matplotlib
- matplotlib.use('Agg')
- from matplotlib import pyplot
- # load data
- data = read_csv('train.csv')
- datadataset = data.values
- # split data into X and y
- X = dataset[:,0:94]
- y = dataset[:,94]
- # encode string class values as integers
- label_encoded_y = LabelEncoder().fit_transform(y)
- # grid search
- model = XGBClassifier()
- subsample = [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 1.0]
- param_grid = dict(subsamplesubsample=subsample)
- kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=7)
- grid_search = GridSearchCV(model, param_grid, scoring="neg_log_loss", n_jobs=-1, cv=kfold)
- grid_result = grid_search.fit(X, label_encoded_y)
- # summarize results
- print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
- means = grid_result.cv_results_['mean_test_score']
- stds = grid_result.cv_results_['std_test_score']
- params = grid_result.cv_results_['params']
- for mean, stdev, param in zip(means, stds, params):
- print("%f (%f) with: %r" % (mean, stdev, param))
- # plot
- pyplot.errorbar(subsample, means, yerr=stds)
- pyplot.title("XGBoost subsample vs Log Loss")
- pyplot.xlabel('subsample')
- pyplot.ylabel('Log Loss')
- pyplot.savefig('subsample.png')
運行此示例將打印最佳配置以及每個測試配置的日志丟失。
注意：由于算法或評估程序的隨機性，或者數值精度的差異，您的結果可能會有所不同。考慮運行該示例幾次并比較平均結果。
我們可以看到，獲得的最佳結果是0.3，或者使用30％的訓練數據集樣本訓練樹。
- Best: -0.000647 using {'subsample': 0.3}
- -0.001156 (0.000286) with: {'subsample': 0.1}
- -0.000765 (0.000430) with: {'subsample': 0.2}
- -0.000647 (0.000471) with: {'subsample': 0.3}
- -0.000659 (0.000635) with: {'subsample': 0.4}
- -0.000717 (0.000849) with: {'subsample': 0.5}
- -0.000773 (0.000998) with: {'subsample': 0.6}
- -0.000877 (0.001179) with: {'subsample': 0.7}
- -0.001007 (0.001371) with: {'subsample': 0.8}
- -0.001239 (0.001730) with: {'subsample': 1.0}
我們可以繪制這些均值和標準偏差對數損失值，以更好地了解性能如何隨子樣本值變化。
我們可以看到確實有30％的人具有最佳的平均表現，但是我們也可以看到，隨著比率的增加，表現的差異會明顯增加。有趣的是，所有子樣本值的平均性能都優于不進行子抽樣的平均性能（子樣本= 1.0）。
在XGBoost中按樹調整列二次采樣
我們還可以在增強模型中創建每個決策樹之前，創建要使用的特征（或列）的隨機樣本。在scikit-learn的XGBoost包裝器中，這由colsample_bytree參數控制。默認值為1.0，表示在每個決策樹中使用所有列。我們可以在0.1到1.0之間評估colsample_bytree的值，以0.1為增量。
- [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 1.0]
完整實例如下：
- # XGBoost on Otto dataset, tune colsample_bytree
- from pandas import read_csv
- from xgboost import XGBClassifier
- from sklearn.model_selection import GridSearchCV
- from sklearn.model_selection import StratifiedKFold
- from sklearn.preprocessing import LabelEncoder
- import matplotlib
- matplotlib.use('Agg')
- from matplotlib import pyplot
- # load data
- data = read_csv('train.csv')
- datadataset = data.values
- # split data into X and y
- X = dataset[:,0:94]
- y = dataset[:,94]
- # encode string class values as integers
- label_encoded_y = LabelEncoder().fit_transform(y)
- # grid search
- model = XGBClassifier()
- colsample_bytree = [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 1.0]
- param_grid = dict(colsample_bytreecolsample_bytree=colsample_bytree)
- kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=7)
- grid_search = GridSearchCV(model, param_grid, scoring="neg_log_loss", n_jobs=-1, cv=kfold)
- grid_result = grid_search.fit(X, label_encoded_y)
- # summarize results
- print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
- means = grid_result.cv_results_['mean_test_score']
- stds = grid_result.cv_results_['std_test_score']
- params = grid_result.cv_results_['params']
- for mean, stdev, param in zip(means, stds, params):
- print("%f (%f) with: %r" % (mean, stdev, param))
- # plot
- pyplot.errorbar(colsample_bytree, means, yerr=stds)
- pyplot.title("XGBoost colsample_bytree vs Log Loss")
- pyplot.xlabel('colsample_bytree')
- pyplot.ylabel('Log Loss')
- pyplot.savefig('colsample_bytree.png')
運行此示例將打印最佳配置以及每個測試配置的日志丟失。
注意：由于算法或評估程序的隨機性，或數值精度的差異，您的結果可能會有所不同。
我們可以看到，模型的最佳性能是colsample_bytree = 1.0。這表明該問題進行二次采樣不會增加價值。
- Best: -0.001239 using {'colsample_bytree': 1.0}
- -0.298955 (0.002177) with: {'colsample_bytree': 0.1}
- -0.092441 (0.000798) with: {'colsample_bytree': 0.2}
- -0.029993 (0.000459) with: {'colsample_bytree': 0.3}
- -0.010435 (0.000669) with: {'colsample_bytree': 0.4}
- -0.004176 (0.000916) with: {'colsample_bytree': 0.5}
- -0.002614 (0.001062) with: {'colsample_bytree': 0.6}
- -0.001694 (0.001221) with: {'colsample_bytree': 0.7}
- -0.001306 (0.001435) with: {'colsample_bytree': 0.8}
- -0.001239 (0.001730) with: {'colsample_bytree': 1.0}
繪制結果，我們可以看到模型平穩段的性能（至少在此比例下），值為0.5到1.0。
通過拆分在XGBoost中調整列二次采樣
不必為每個樹對列進行一次子采樣，我們可以在決策樹的每個拆分中對它們進行子采樣。原則上，這是隨機森林中使用的方法。我們可以在scikit-learn的XGBoost包裝器類的colsample_bylevel參數中設置每個拆分所使用的列樣本的大小。和以前一樣，我們將比率從10％更改為默認值100％。
下面提供了完整的代碼清單。
- # XGBoost on Otto dataset, tune colsample_bylevel
- from pandas import read_csv
- from xgboost import XGBClassifier
- from sklearn.model_selection import GridSearchCV
- from sklearn.model_selection import StratifiedKFold
- from sklearn.preprocessing import LabelEncoder
- import matplotlib
- matplotlib.use('Agg')
- from matplotlib import pyplot
- # load data
- data = read_csv('train.csv')
- datadataset = data.values
- # split data into X and y
- X = dataset[:,0:94]
- y = dataset[:,94]
- # encode string class values as integers
- label_encoded_y = LabelEncoder().fit_transform(y)
- # grid search
- model = XGBClassifier()
- colsample_bylevel = [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 1.0]
- param_grid = dict(colsample_bylevelcolsample_bylevel=colsample_bylevel)
- kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=7)
- grid_search = GridSearchCV(model, param_grid, scoring="neg_log_loss", n_jobs=-1, cv=kfold)
- grid_result = grid_search.fit(X, label_encoded_y)
- # summarize results
- print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
- means = grid_result.cv_results_['mean_test_score']
- stds = grid_result.cv_results_['std_test_score']
- params = grid_result.cv_results_['params']
- for mean, stdev, param in zip(means, stds, params):
- print("%f (%f) with: %r" % (mean, stdev, param))
- # plot
- pyplot.errorbar(colsample_bylevel, means, yerr=stds)
- pyplot.title("XGBoost colsample_bylevel vs Log Loss")
- pyplot.xlabel('colsample_bylevel')
- pyplot.ylabel('Log Loss')
- pyplot.savefig('colsample_bylevel.png')
運行此示例將打印最佳配置以及每個測試配置的日志丟失。
注意：由于算法或評估程序的隨機性，或者數值精度的差異，您的結果可能會有所不同。考慮運行該示例幾次并比較平均結果。
我們可以看到，通過將colsample_bylevel設置為70％可獲得最佳結果，導致（倒置）對數損失為-0.001062，這比將每棵樹的列采樣設置為100％時看到的-0.001239好。
如果每棵樹的結果建議使用100％的列，則建議不要放棄列二次采樣，而應嘗試按拆分的列二次采樣。
- Best: -0.001062 using {'colsample_bylevel': 0.7}
- -0.159455 (0.007028) with: {'colsample_bylevel': 0.1}
- -0.034391 (0.003533) with: {'colsample_bylevel': 0.2}
- -0.007619 (0.000451) with: {'colsample_bylevel': 0.3}
- -0.002982 (0.000726) with: {'colsample_bylevel': 0.4}
- -0.001410 (0.000946) with: {'colsample_bylevel': 0.5}
- -0.001182 (0.001144) with: {'colsample_bylevel': 0.6}
- -0.001062 (0.001221) with: {'colsample_bylevel': 0.7}
- -0.001071 (0.001427) with: {'colsample_bylevel': 0.8}
- -0.001239 (0.001730) with: {'colsample_bylevel': 1.0}
我們可以繪制每個colsample_bylevel變化的性能。結果表明，在此比例下的值為0.3后，方差相對較低，并且性能似乎處于平穩狀態。
