標準化和規范化是機器學習和深度學習項目中大量使用的數據預處理技術之一。

[[411810]]

這些技術的主要作用

• 以類似的格式縮放所有數據，使模型的學習過程變得容易。
• 數據中的奇數值被縮放或歸一化并且表現得像數據的一部分。

我們將通過 Python 示例深入討論這兩個概念。

標準化

數據的基本縮放是使其成為標準，以便所有值都在共同范圍內。 在標準化中，數據的均值和方差分別為零和一。 它總是試圖使數據呈正態分布。

標準化公式如下所示：

z =(列的值 - 平均值)/標準偏差

機器學習中的一些算法試圖讓數據具有正態分布。但是，如果一個特征有更多的方差，而其他特征有低或單位方差，那么模型的學習將是不正確的，因為從一個特征到另一個特征的方差是有差異的。

正如我們上面討論的，標準縮放的范圍是“0”均值和“1”單位方差。

我們如何使用標準縮放?

要使用標準伸縮，我們需要從預處理類中導入它，如下所示:

from sklearn import preprocessing 
scaler = preprocessing.StandardScaler() 

使用標準縮放的正確步驟是什么?

我們可以在 train-test split 之后使用標準縮放，因為如果我們在發生數據泄漏問題之前這樣做，可能會導致模型不太可靠。 如果我們在拆分之前進行縮放，那么從訓練中學習的過程也可以在測試集上完成，這是我們不想要的。

讓我們在sklearn庫的幫助下看看拆分過程

from sklearn.model_selection import train_test_split 
X_train, X_test, y_train, y_test = train_test_split(x, 
y, train_size = 0.20, random_state = 42) 

在此之后，我們可以使用標準縮放

from sklearn.preprocessing import StandardScaler 
sc = StandardScaler()  
X_train = sc.fit_transform(X_train)  
X_test = sc.transform(X_test) 

讓我們舉一個 python 例子。

from sklearn import preprocessing 
import numpy as np 
#creating a training data 
X_train = np.array([[ 4., -3., 2.],  
[ 2., 2., 0.],  
[ 0., -6., 7.]]) 
 
#fit the training data 
scaler = preprocessing.StandardScaler().fit(X_train) 
scaler 
#output: 
StandardScaler() 

現在，我們將檢查訓練數據中每個特征的均值和縮放比例。

scaler.mean_ 
#output: 
array([ 2., -2.33333333, 3.]) 
scaler.scale_ 
#output: 
array([1.63299316, 3.29983165, 2.94392029]) 

scale_屬性找出特征之間的相對尺度，得到一個標準尺度，即零均值和單位方差。均值屬性用來找出每個特征的均值。

現在，我們將轉換縮放后的數據

X_scaled = scaler.transform(X_train) 
X_scaled 
#output: 
array([[ 1.22474487, -0.20203051, -0.33968311], 
[ 0. , 1.31319831, -1.01904933], 
[-1.22474487, -1.1111678 , 1.35873244]]) 

為了檢查特征的零均值和單位方差，我們將找到均值和標準差。

X_scaled.mean(axis=0) 
#output: 
array([0., 0., 0.]) 
X_scaled.std(axis=0) 
#output: 
array([1., 1., 1.]) 

我們還可以在 MinMaxScaler 和 MaxAbsScaler 的幫助下進行范圍縮放。

有時，我們在數據中存在影響算法建模的異常值，并且標準縮放器受到異常值的影響，其他方法如 min-max 和 max-abs 縮放器使數據在一定范圍內。

MinMaxScaler

MinMaxScaler 是另一種在 [0,1] 范圍內縮放數據的方法。 它使數據保持原始形狀并保留有價值的信息，而受異常值的影響較小。

python示例如下所示：

from sklearn import preprocessing 
import numpy as np 
#creating a training data 
X_train = np.array([[ 4., -3., 2.],  
[ 2., 2., 0.],  
[ 0., -6., 7.]]) 
min_max_scaler = preprocessing.MinMaxScaler() 
X_train_minmax = min_max_scaler.fit_transform(X_train) 
X_train_minmax 
#output: 
array([[1. , 0.375 , 0.28571429], 
[0.5 , 1. , 0. ], 
[0. , 0. , 1. ]]) 

我們可以在使用 MinMaxScaler 縮放后看到“0”到“1”范圍內的數據。

MaxAbsScaler

這是另一種縮放方法，其中數據在 [-1,1] 的范圍內。 這種縮放的好處是它不會移動或居中數據并保持數據的稀疏性。

python示例如下所示：

from sklearn import preprocessing 
import numpy as np 
#creating a training data 
X_train = np.array([[ 4., -3., 2.],  
[ 2., 2., 0.],  
[ 0., -6., 7.]]) 
max_abs_scaler = preprocessing.MaxAbsScaler() 
X_train_maxabs = max_abs_scaler.fit_transform(X_train) 
X_train_maxabs 
#output: 
array([[ 1. , -0.5 , 0.28571429], 
[ 0.5 , 0.33333333, 0. ], 
[ 0. , -1. , 1. ]]) 

我們可以在使用 MaxAbsScaler 縮放后看到“-1”到“1”范圍內的數據。

總結

數據的縮放是機器學習或深度學習的一個非常重要的部分。 在本文中，MaxAbsScaler 在稀疏數據中很有用，而另一方面，標準縮放也可以用于稀疏數據，但也會由于過多的內存分配而給出值錯誤。