為什么數據處理很重要?

熟悉數據挖掘和機器學習的小伙伴們都知道，數據處理相關的工作時間占據了整個項目的70%以上。數據的質量，直接決定了模型的預測和泛化能力的好壞。它涉及很多因素，包括：準確性、完整性、一致性、時效性、可信性和解釋性。

[[282381]]

而在真實數據中，我們拿到的數據可能包含了大量的缺失值，可能包含大量的噪音，也可能因為人工錄入錯誤導致有異常點存在，非常不利于算法模型的訓練。數據清洗的結果是對各種臟數據進行對應方式的處理，得到標準的、干凈的、連續的數據，提供給數據統計、數據挖掘等使用。

有哪些數據預處理的方法?

數據預處理的主要步驟分為：數據清理、數據集成、數據規約和數據變換。本文將從這四個方面詳細的介紹具體的方法。如果在一個項目中，你在這幾個方面的數據處理做的都很不錯，對于之后的建模具有極大的幫助，并且能快速達到一個還不錯的結果。

數據清理

數據清理(data cleaning) 的主要思想是通過填補缺失值、光滑噪聲數據，平滑或刪除離群點，并解決數據的不一致性來“清理“數據。如果用戶認為數據時臟亂的，他們不太會相信基于這些數據的挖掘結果，即輸出的結果是不可靠的。

1、缺失值的處理

由于現實世界中，獲取信息和數據的過程中，會存在各類的原因導致數據丟失和空缺。針對這些缺失值的處理方法，主要是基于變量的分布特性和變量的重要性(信息量和預測能力)采用不同的方法。主要分為以下幾種：

• 刪除變量：若變量的缺失率較高(大于80%)，覆蓋率較低，且重要性較低，可以直接將變量刪除。
• 定值填充：工程中常見用-9999進行替代
• 統計量填充：若缺失率較低(小于95%)且重要性較低，則根據數據分布的情況進行填充。對于數據符合均勻分布，用該變量的均值填補缺失，對于數據存在傾斜分布的情況，采用中位數進行填補。
• 插值法填充：包括隨機插值，多重差補法，熱平臺插補，拉格朗日插值，牛頓插值等
• 模型填充：使用回歸、貝葉斯、隨機森林、決策樹等模型對缺失數據進行預測。

啞變量填充：若變量是離散型，且不同值較少，可轉換成啞變量，例如性別SEX變量，存在male,fameal,NA三個不同的值，可將該列轉換成：IS_SEX_MALE, IS_SEX_FEMALE, IS_SEX_NA。若某個變量存在十幾個不同的值，可根據每個值的頻數，將頻數較小的值歸為一類'other'，降低維度。此做法可最大化保留變量的信息。

總結來看，樓主常用的做法是：先用pandas.isnull.sum()檢測出變量的缺失比例，考慮刪除或者填充，若需要填充的變量是連續型，一般采用均值法和隨機差值進行填充，若變量是離散型，通常采用中位數或啞變量進行填充。

注意：若對變量進行分箱離散化，一般會將缺失值單獨作為一個箱子(離散變量的一個值)

2、離群點處理

異常值是數據分布的常態，處于特定分布區域或范圍之外的數據通常被定義為異常或噪聲。異常分為兩種：“偽異常”，由于特定的業務運營動作產生，是正常反應業務的狀態，而不是數據本身的異常;“真異常”，不是由于特定的業務運營動作產生，而是數據本身分布異常，即離群點。主要有以下檢測離群點的方法：

簡單統計分析：根據箱線圖、各分位點判斷是否存在異常，例如pandas的describe函數可以快速發現異常值。

3原則：若數據存在正態分布，偏離均值的3之外。通常定義： 范圍內的點為離群點。

• 基于絕對離差中位數(MAD)：這是一種穩健對抗離群數據的距離值方法，采用計算各觀測值與平均值的距離總和的方法。放大了離群值的影響。
• 基于距離：通過定義對象之間的臨近性度量，根據距離判斷異常對象是否遠離其他對象，缺點是計算復雜度較高，不適用于大數據集和存在不同密度區域的數據集
• 基于密度：離群點的局部密度顯著低于大部分近鄰點，適用于非均勻的數據集
• 基于聚類：利用聚類算法，丟棄遠離其他簇的小簇。

總結來看，在數據處理階段將離群點作為影響數據質量的異常點考慮，而不是作為通常所說的異常檢測目標點，因而樓主一般采用較為簡單直觀的方法，結合箱線圖和MAD的統計方法判斷變量的離群點。

具體的處理手段：

• 根據異常點的數量和影響，考慮是否將該條記錄刪除，信息損失多
• 若對數據做了log-scale 對數變換后消除了異常值，則此方法生效，且不損失信息
• 平均值或中位數替代異常點，簡單高效，信息的損失較少
• 在訓練樹模型時，樹模型對離群點的魯棒性較高，無信息損失，不影響模型訓練效果

3、噪聲處理

噪聲是變量的隨機誤差和方差，是觀測點和真實點之間的誤差，即 ： 

通常的處理辦法：對數據進行分箱操作，等頻或等寬分箱，然后用每個箱的平均數，中位數或者邊界值(不同數據分布，處理方法不同)代替箱中所有的數，起到平滑數據的作用。另外一種做法是，建立該變量和預測變量的回歸模型，根據回歸系數和預測變量，反解出自變量的近似值。

數據集成

數據分析任務多半涉及數據集成。數據集成將多個數據源中的數據結合成、存放在一個一致的數據存儲，如數據倉庫中。這些源可能包括多個數據庫、數據方或一般文件。

1. 實體識別問題：例如，數據分析者或計算機如何才能確信一個數 據庫中的 customer_id 和另一個數據庫中的 cust_number 指的是同一實體?通常，數據庫和數據倉庫 有元數據——關于數據的數據。這種元數據可以幫助避免模式集成中的錯誤。
2. 冗余問題。一個屬性是冗余的，如果它能由另一個表“導出”;如年薪。屬性或 維命名的不一致也可能導致數據集中的冗余。用相關性檢測冗余：數值型變量可計算相關系數矩陣，標稱型變量可計算卡方檢驗。
3. 數據值的沖突和處理：不同數據源，在統一合并時，保持規范化，去重。

數據規約

數據歸約技術可以用來得到數據集的歸約表示，它小得多，但仍接近地保持原數據的完整性。這樣，在歸約后的數據集上挖掘將更有效，并產生相同(或幾乎相同)的分析結果。一般有如下策略：

1、維度規約

用于數據分析的數據可能包含數以百計的屬性，其中大部分屬性與挖掘任務不相關，是冗余的。維度歸約通過刪除不相關的屬性，來減少數據量，并保證信息的損失最小。

• 屬性子集選擇：目標是找出最小屬性集，使得數據類的概率分布盡可能地接近使用所有屬性的原分布。在壓縮 的屬性集上挖掘還有其它的優點。它減少了出現在發現模式上的屬性的數目，使得模式更易于理解。

逐步向前選擇：該過程由空屬性集開始，選擇原屬性集中最好的屬性，并將它添加到該集合中。在其后的每一次迭代，將原屬性集剩下的屬性中的最好的屬性添加到該集合中。

逐步向后刪除：該過程由整個屬性集開始。在每一步，刪除掉尚在屬性集中的最壞屬性。

向前選擇和向后刪除的結合：向前選擇和向后刪除方法可以結合在一起，每一步選擇一個最 好的屬性，并在剩余屬性中刪除一個最壞的屬性。

python scikit-learn 中的遞歸特征消除算法Recursive feature elimination (RFE)，就是利用這樣的思想進行特征子集篩選的，一般考慮建立SVM或回歸模型。

單變量重要性：分析單變量和目標變量的相關性，刪除預測能力較低的變量。這種方法不同于屬性子集選擇，通常從統計學和信息的角度去分析。

pearson相關系數和卡方檢驗，分析目標變量和單變量的相關性。

• 回歸系數：訓練線性回歸或邏輯回歸，提取每個變量的表決系數，進行重要性排序。
• 樹模型的Gini指數：訓練決策樹模型，提取每個變量的重要度，即Gini指數進行排序。
• Lasso正則化：訓練回歸模型時，加入L1正則化參數，將特征向量稀疏化。
• IV指標：風控模型中，通常求解每個變量的IV值，來定義變量的重要度，一般將閥值設定在0.02以上。

以上提到的方法，沒有講解具體的理論知識和實現方法，需要同學們自己去熟悉掌握。樓主通常的做法是根據業務需求來定，如果基于業務的用戶或商品特征，需要較多的解釋性，考慮采用統計上的一些方法，如變量的分布曲線，直方圖等，再計算相關性指標，最后去考慮一些模型方法。

如果建模需要，則通常采用模型方法去篩選特征，如果用一些更為復雜的GBDT，DNN等模型，建議不做特征選擇，而做特征交叉。

2、維度變換：

維度變換是將現有數據降低到更小的維度，盡量保證數據信息的完整性。樓主將介紹常用的幾種有損失的維度變換方法，將大大地提高實踐中建模的效率

主成分分析(PCA)和因子分析(FA)：PCA通過空間映射的方式，將當前維度映射到更低的維度，使得每個變量在新空間的方差最大。FA則是找到當前特征向量的公因子(維度更小)，用公因子的線性組合來描述當前的特征向量。

奇異值分解(SVD)：SVD的降維可解釋性較低，且計算量比PCA大，一般用在稀疏矩陣上降維，例如圖片壓縮，推薦系統。

• 聚類：將某一類具有相似性的特征聚到單個變量，從而大大降低維度。
• 線性組合：將多個變量做線性回歸，根據每個變量的表決系數，賦予變量權重，可將該類變量根據權重組合成一個變量。
• 流行學習：流行學習中一些復雜的非線性方法，可參考skearn：LLE Example

數據變換

數據變換包括對數據進行規范化，離散化，稀疏化處理，達到適用于挖掘的目的。

1、規范化處理：數據中不同特征的量綱可能不一致，數值間的差別可能很大，不進行處理可能會影響到數據分析的結果，因此，需要對數據按照一定比例進行縮放，使之落在一個特定的區域，便于進行綜合分析。特別是基于距離的挖掘方法，聚類，KNN，SVM一定要做規范化處理。 

2、離散化處理：數據離散化是指將連續的數據進行分段，使其變為一段段離散化的區間。分段的原則有基于等距離、等頻率或優化的方法。數據離散化的原因主要有以下幾點：

模型需要：比如決策樹、樸素貝葉斯等算法，都是基于離散型的數據展開的。如果要使用該類算法，必須將離散型的數據進行。有效的離散化能減小算法的時間和空間開銷，提高系統對樣本的分類聚類能力和抗噪聲能力。

離散化的特征相對于連續型特征更易理解。

可以有效的克服數據中隱藏的缺陷，使模型結果更加穩定。

• 等頻法：使得每個箱中的樣本數量相等，例如總樣本n=100，分成k=5個箱，則分箱原則是保證落入每個箱的樣本量=20。
• 等寬法：使得屬性的箱寬度相等，例如年齡變量(0-100之間)，可分成 [0,20]，[20,40]，[40,60]，[60,80]，[80,100]五個等寬的箱。
• 聚類法：根據聚類出來的簇，每個簇中的數據為一個箱，簇的數量模型給定。

3、稀疏化處理：針對離散型且標稱變量，無法進行有序的LabelEncoder時，通常考慮將變量做0，1啞變量的稀疏化處理，例如動物類型變量中含有貓，狗，豬，羊四個不同值，將該變量轉換成is_豬，is_貓，is_狗，is_羊四個啞變量。若是變量的不同值較多，則根據頻數，將出現次數較少的值統一歸為一類'rare'。稀疏化處理既有利于模型快速收斂，又能提升模型的抗噪能力。

總結

以上介紹了數據預處理中會用到的大部分方法和技術，完全適用于初學者學習掌握，并且對于實踐建模會有大幅度提升。以上方法的代碼實現，均可在python的pandas和sklearn中完成。大家可根據需要去查閱學習，網上資料也很多，樓主只提供方法和經驗上的借鑒，希望每個認真學習鞏固的同學都能得到提升。