無監(jiān)督學習是一類用于在數(shù)據(jù)中尋找模式的機器學習技術(shù)。無監(jiān)督學習算法使用的輸入數(shù)據(jù)都是沒有標注過的，這意味著數(shù)據(jù)只給出了輸入變量(自變量 X)而沒有給出相應(yīng)的輸出變量(因變量)。在無監(jiān)督學習中，算法本身將發(fā)掘數(shù)據(jù)中有趣的結(jié)構(gòu)。

人工智能研究的領(lǐng)軍人物 Yan Lecun，解釋道：無監(jiān)督學習能夠自己進行學習，而不需要被顯式地告知他們所做的一切是否正確。這是實現(xiàn)真正的人工智能的關(guān)鍵!

監(jiān)督學習 VS 無監(jiān)督學習

在監(jiān)督學習中，系統(tǒng)試圖從之前給出的示例中學習。(而在無監(jiān)督學習中，系統(tǒng)試圖從給定的示例中直接找到模式。)因此，如果數(shù)據(jù)集被標注過了，這就是一個監(jiān)督學習問題;而如果數(shù)據(jù)沒有被標注過，這就是一個無監(jiān)督學習問題。

上圖是一個監(jiān)督學習的例子，它使用回歸技術(shù)找到在各個特征之間的最佳擬合曲線。而在無監(jiān)督學習中，根據(jù)特征對輸入數(shù)據(jù)進行劃分，并且根據(jù)數(shù)據(jù)所屬的簇進行預(yù)測。

重要的術(shù)語

• 特征：進行預(yù)測時使用的輸入變量。
• 預(yù)測值：給定一個輸入示例時的模型輸出。
• 示例：數(shù)據(jù)集中的一行。一個示例包含一個或多個特征，可能還有一個標簽。
• 標簽：特征對應(yīng)的真實結(jié)果(與預(yù)測相對應(yīng))。

準備無監(jiān)督學習所需的數(shù)據(jù)

在本文中，我們使用 Iris 數(shù)據(jù)集來完成初級的預(yù)測工作。這個數(shù)據(jù)集包含 150 條記錄，每條記錄由 5 個特征構(gòu)成——花瓣長度、花瓣寬度、萼片長度、萼片寬度、花的類別。花的類別包含 Iris Setosa、Iris VIrginica 和 Iris Versicolor 三種。本文中向無監(jiān)督算法提供了鳶尾花的四個特征，預(yù)測它屬于哪個類別。

本文使用 Python 環(huán)境下的 sklearn 庫來加載 Iris 數(shù)據(jù)集，并且使用 matplotlib 進行數(shù)據(jù)可視化。以下是用于探索數(shù)據(jù)集的代碼片段：

# Importing Modules 
from sklearn import datasets 
import matplotlib.pyplot as plt 
 
# Loading dataset 
iris_df = datasets.load_iris() 
 
# Available methods on dataset 
print(dir(iris_df)) 
 
# Features 
print(iris_df.feature_names) 
 
# Targets 
print(iris_df.target) 
 
# Target Names 
print(iris_df.target_names) 
label = {0: 'red', 1: 'blue', 2: 'green'} 
 
# Dataset Slicing 
x_axis = iris_df.data[:, 0] # Sepal Length 
y_axis = iris_df.data[:, 2] # Sepal Width 
 
# Plotting 
plt.scatter(x_axis, y_axis, c=iris_df.target) 
plt.show() 

['DESCR', 'data', 'feature_names', 'target', 'target_names'] 
['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)'] 
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2] 
['setosa' 'versicolor' 'virginica'] 

紫色：Setosa，綠色：Versicolor，黃色：Virginica

聚類分析

在聚類分析中，數(shù)據(jù)被劃分為不同的幾組。簡而言之，這一步旨在將具有相似特征的群組從整體數(shù)據(jù)中分離出來，并將它們分配到簇(cluster)中。

可視化示例：

如上所示，左圖是沒有進行分類的原始數(shù)據(jù)，右圖是進行聚類之后的數(shù)據(jù)(根據(jù)數(shù)據(jù)本身的特征將其分類)。當給出一個待預(yù)測的輸入時，它會基于其特征查看自己從屬于哪一個簇，并以此為根據(jù)進行預(yù)測。

K-均值聚類的 Python 實現(xiàn)

K 均值是一種迭代的聚類算法，它的目標是在每次迭代中找到局部最大值。該算法要求在最初選定聚類簇的個數(shù)。由于我們知道本問題涉及到 3 種花的類別，所以我們通過將參數(shù)「n_clusters」傳遞給 K 均值模型來編寫算法，將數(shù)據(jù)分組到 3 個類別中。現(xiàn)在，我們隨機地將三個數(shù)據(jù)點(輸入)分到三個簇中?；诿總€點之間的質(zhì)心距離，下一個給定的輸入數(shù)據(jù)點將被劃分到獨立的簇中。接著，我們將重新計算所有簇的質(zhì)心。

每一個簇的質(zhì)心是定義結(jié)果集的特征值的集合。研究質(zhì)心的特征權(quán)重可用于定性地解釋每個簇代表哪種類型的群組。

我們從 sklearn 庫中導入 K 均值模型，擬合特征并進行預(yù)測。

K 均值算法的 Python 實現(xiàn)：

# Importing Modules 
from sklearn import datasets 
from sklearn.cluster import KMeans 
 
# Loading dataset 
iris_df = datasets.load_iris() 
 
# Declaring Model 
model = KMeans(n_clusters=3) 
 
# Fitting Model 
model.fit(iris_df.data) 
 
# Predicitng a single input 
predicted_label = model.predict([[7.2, 3.5, 0.8, 1.6]]) 
 
# Prediction on the entire data 
all_predictions = model.predict(iris_df.data) 
 
# Printing Predictions 
print(predicted_label) 
print(all_predictions) 

[0] 
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 1 1 1 1 2 1 1 1 1 1 1 2 2 1 1 1 1 2 1 2 1 2 1 1 2 2 1 1 1 1 1 2 1 1 1 1 2 1 1 1 2 1 1 1 2 1 1 2] 

層次聚類

層次聚類，顧名思義，是一種能夠構(gòu)建有層次的簇的算法。在這個算法的起始階段，每個數(shù)據(jù)點都是一個簇。接著，兩個最接近的簇合二為一。最終，當所有的點都被合并到一個簇中時，算法停止。

層次聚類的實現(xiàn)可以用 dendrogram 進行展示。接下來，我們一起來看一個糧食數(shù)據(jù)的層次聚類示例。數(shù)據(jù)集鏈接：

https://raw.githubusercontent.com/vihar/unsupervised-learning-with-python/master/seeds-less-rows.csv

1. 層次聚類的 Python 實現(xiàn)：

# Importing Modules 
from scipy.cluster.hierarchy import linkage, dendrogram 
import matplotlib.pyplot as plt 
import pandas as pd 
 
# Reading the DataFrame 
seeds_df = pd.read_csv( 
 "https://raw.githubusercontent.com/vihar/unsupervised-learning-with-python/master/seeds-less-rows.csv") 
 
# Remove the grain species from the DataFrame, save for later 
varieties = list(seeds_df.pop('grain_variety')) 
 
# Extract the measurements as a NumPy array 
samples = seeds_df.values 
 
""" 
Perform hierarchical clustering on samples using the 
linkage() function with the method='complete' keyword argument. 
Assign the result to mergings. 
""" 
mergings = linkage(samples, method='complete') 
 
""" 
Plot a dendrogram using the dendrogram() function on mergings, 
specifying the keyword arguments labels=varieties, leaf_rotation=90, 
and leaf_font_size=6. 
""" 
dendrogram(mergings, 
 labels=varieties, 
 leaf_rotation=90, 
 leaf_font_size=6, 
 ) 
 
plt.show() 

2. K 均值和層次聚類之間的差別

• 層次聚類不能很好地處理大數(shù)據(jù)，而 K 均值聚類可以。原因在于 K 均值算法的時間復(fù)雜度是線性的，即 O(n);而層次聚類的時間復(fù)雜度是平方級的，即 O(n2)。
• 在 K 均值聚類中，由于我們最初隨機地選擇簇，多次運行算法得到的結(jié)果可能會有較大差異。而層次聚類的結(jié)果是可以復(fù)現(xiàn)的。
• 研究表明，當簇的形狀為超球面(例如：二維空間中的圓、三維空間中的球)時，K 均值算法性能良好。
• K 均值算法抗噪聲數(shù)據(jù)的能力很差(對噪聲數(shù)據(jù)魯棒性較差)，而層次聚類可直接使用噪聲數(shù)據(jù)進行聚類分析。

t-SNE 聚類

這是一種可視化的無監(jiān)督學習方法。t-SNE 指的是 t 分布隨機鄰居嵌入(t-distributed stochastic neighbor embedding)。它將高維空間映射到一個可視化的二維或三維空間中。具體而言，它將通過如下方式用二維或三維的數(shù)據(jù)點對高維空間的對象進行建模：以高概率用鄰近的點對相似的對象進行建模，而用相距較遠的點對不相似的對象進行建模。

用于 Iris 數(shù)據(jù)集的 t-SNE 聚類的 Python 實現(xiàn)：

# Importing Modules 
from sklearn import datasets 
from sklearn.manifold import TSNE 
import matplotlib.pyplot as plt 
 
# Loading dataset 
iris_df = datasets.load_iris() 
 
# Defining Model 
model = TSNE(learning_rate=100) 
 
# Fitting Model 
transformed = model.fit_transform(iris_df.data) 
 
# Plotting 2d t-Sne 
x_axis = transformed[:, 0] 
y_axis = transformed[:, 1] 
 
plt.scatter(x_axis, y_axis, c=iris_df.target) 
plt.show() 

紫色：Setosa，綠色：Versicolor，黃色：Virginica

在這里，具備 4 個特征(4 維)的 Iris 數(shù)據(jù)集被轉(zhuǎn)化到二維空間，并且在二維圖像中進行展示。類似地，t-SNE 模型可用于具備 n 個特征的數(shù)據(jù)集。

DBSCAN 聚類

DBSCAN(帶噪聲的基于密度的空間聚類方法)是一種流行的聚類算法，它被用來在預(yù)測分析中替代 K 均值算法。它并不要求輸入簇的個數(shù)才能運行。但是，你需要對其他兩個參數(shù)進行調(diào)優(yōu)。

scikit-learn 的 DBSCAN 算法實現(xiàn)提供了缺省的「eps」和「min_samples」參數(shù)，但是在一般情況下，用戶需要對他們進行調(diào)優(yōu)。參數(shù)「eps」是兩個數(shù)據(jù)點被認為在同一個近鄰中的最大距離。參數(shù)「min_samples」是一個近鄰中在同一個簇中的數(shù)據(jù)點的最小個數(shù)。

1. DBSCAN 聚類的 Python 實現(xiàn)：

# Importing Modules 
from sklearn.datasets import load_iris 
import matplotlib.pyplot as plt 
from sklearn.cluster import DBSCAN 
from sklearn.decomposition import PCA 
 
# Load Dataset 
iris = load_iris() 
 
# Declaring Model 
dbscan = DBSCAN() 
 
# Fitting 
dbscan.fit(iris.data) 
 
# Transoring Using PCA 
pca = PCA(n_components=2).fit(iris.data) 
pcapca_2d = pca.transform(iris.data) 
 
# Plot based on Class 
for i in range(0, pca_2d.shape[0]): 
 if dbscan.labels_[i] == 0: 
 c1 = plt.scatter(pca_2d[i, 0], pca_2d[i, 1], c='r', marker='+') 
 elif dbscan.labels_[i] == 1: 
 c2 = plt.scatter(pca_2d[i, 0], pca_2d[i, 1], c='g', marker='o') 
 elif dbscan.labels_[i] == -1: 
 c3 = plt.scatter(pca_2d[i, 0], pca_2d[i, 1], c='b', marker='*') 
 
plt.legend([c1, c2, c3], ['Cluster 1', 'Cluster 2', 'Noise']) 
plt.title('DB 

2. 更多無監(jiān)督學習技術(shù)：

• 主成分分析(PCA)
• 異常檢測
• 自編碼器
• 深度信念網(wǎng)絡(luò)
• 赫布型學習
• 生成對抗網(wǎng)絡(luò)(GAN)
• 自組織映射

原文鏈接：

https://towardsdatascience.com/unsupervised-learning-with-python-173c51dc7f03

【本文是51CTO專欄機構(gòu)“機器之心”的原創(chuàng)譯文，微信公眾號“機器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文