摘要：我們介紹了CLUSTERLLM，這是一種利用經過指令微調的大型語言模型（如ChatGPT）反饋的新型文本聚類框架。與建立在“小”嵌入器上的傳統無監督方法相比，CLUSTERLLM具有兩個有趣的優勢：（1）即使其嵌入不可訪問，它也享有LLM的突現能力；（2）它通過文本指令和/或少量標注數據理解用戶對聚類的偏好。首先，我們通過構建困難的三重問題<是否A比C更對應B>來提示ChatGPT，以獲取聚類視角的見解，其中A、B和C是根據小嵌入器屬于不同簇的相似數據點。我們通過實驗證明，這種策略對微調小嵌入器有效且成本效益高，可查詢ChatGPT。其次，我們通過精心設計的成對問題<是否A和B屬于同一類別>，提示ChatGPT幫助確定聚類的粒度，并從最符合ChatGPT答案的聚類層次結構中調整粒度。在14個數據集上的廣泛實驗表明，CLUSTERLLM始終提高了聚類質量，每個數據集的平均成本約為$0.61。代碼將發布在：??https://github.com/zhang-yu-wei/ClusterLLM??。

1 引言

文本聚類作為自然語言處理（NLP）中的一項基礎任務，具有廣泛的應用，如從社交媒體中識別公眾觀點（Park等，2022），分析事故原因（Xu等，2022），以及檢測新興研究課題（Martínez等，2022）。一種常見的文本聚類實踐是將聚類算法（MacQueen，1967；Zhang等，2021a）應用于預訓練嵌入器之上（Muennighoff等，2022；Wang等，2022；Su等，2022），通過更好的預訓練質量實現更高性能。最新的最先進的大型語言模型（LLMs），如近期的GPT系列（Brown等，2020；Ouyang等，2022；OpenAI，2023），在各種NLP應用中展示了非凡的語言能力。然而，這些GPT模型只能通過API使用，無法訪問用于聚類的嵌入向量。因此，LLMs不能直接應用于文本聚類任務。

在本文中，我們探討了一個問題：我們能否有效利用基于API的LLMs來指導文本聚類？我們從一個觀察中汲取靈感來解決這個具有挑戰性的問題，即人類通過與其他實例比較來表示一個實例（Nosofsky，2011）。例如，人們通常通過將新音樂片段與熟悉的音樂進行比較來將其分類為特定的流派。實際上，成對關系早已在譜聚類中被利用（Donath和Hoffman，1972；Cheeger，1970）。然而，天真地遍歷數據集中所有成對關系顯然是不可行的，而且查詢LLMs的成本過高。

我們提出了CLUSTERLLM，一個利用LLM以低成本指導小嵌入器尋找文本簇的框架，如圖1所示。它包括兩個階段，分別專注于聚類的兩個方面：（1）視角，即分組標準，如主題、意圖和情感；（2）粒度，即簇的范圍。

圖 1：由于嵌入不可訪問，像 ChatGPT 這樣的 LLM 不能直接用于文本聚類。CLUSTERLLM 通過利用 LLM 作為文本聚類的指南解決了這一難題。

在階段1中，我們通過一個三重任務提示LLMs，預測兩個候選選擇中的哪個更接近錨實例，以了解用戶偏好的視角。我們選擇這個三重任務是因為（a）它與聚類粒度無關；（b）生成的三重關系可以微調小嵌入器以符合正確的視角。為了提高樣本效率，我們進一步提出了基于熵的三重采樣策略，以找到最有信息量的三重。具體來說，我們首先根據聚類分配概率計算每個實例的熵，然后識別出熵最高的實例。然后從其最近的簇中采樣兩個候選選擇，以確保它們足夠接近錨點。

在階段2中，我們首先獲得從實例級別簇開始的聚類層次結構，并迭代合并兩個最近的簇直到整個數據集。然后我們通過少量標注的數據對提示LLMs以確定聚類粒度。我們通過從每一步層次聚類中合并的兩個簇中采樣數據對來構建提示，以涵蓋廣泛的粒度范圍。最終決定是通過測量每個聚類級別與預測的一致性來做出的。

我們在包含多樣任務（如意圖發現、主題挖掘、類型發現、領域發現和情感檢測）的14個數據集上對CLUSTERLLM進行了廣泛評估。這些任務的簇數從10到150個不等。我們展示了CLUSTERLLM在提高聚類質量方面的整體有效性，其聚類性能優于深度聚類基線和自監督基線。此外，消融研究表明，與隨機采樣基線相比，我們的采樣策略更有效。最后，CLUSTERLLM在確定聚類粒度方面也優于基于聚類錯誤的方法。

總之，我們的貢獻有三點：（i）我們提出了一個框架CLUSTERLLM，該框架利用API-based LLMs預測的句子關系來指導聚類。此外，它允許用戶提供文本指令和/或少量注釋來指定聚類偏好。（ii）為了減少API查詢，我們提出了一種新穎的基于熵的采樣策略，以找到最有信息量的三重。此外，我們利用從層次聚類中采樣的成對數據來確定聚類粒度。（iii）廣泛的實驗表明，我們提出的方法可以以每個數據集約$0.2的成本改善聚類視角，以約$0.4的成本改善粒度，使用GPT-3.5。

2 預備知識

文本聚類將一個未標注的語料庫 D = {x_i} (i=1,...,N) 作為輸入，輸出一個聚類分配 Y = {y_i} (i=1,...,N)，將輸入文本映射到聚類索引。為了明確用戶的需求，CLUSTERLLM 整合了額外的文本指令（例如，“選擇與查詢在實體類型上更對應的例子。”）以理解視角，以及少量注釋（例如，“句子1和句子2具有相同的實體類型...”）來確定聚類粒度。

（注釋：文本聚類的任務是將一組未標注的文本數據作為輸入，然后輸出每個文本對應的聚類標簽。具體來說，就是把輸入的每個文本分配到一個特定的聚類中。

為了更好地滿足用戶的需求，CLUSTERLLM在進行聚類時會使用額外的文本指令和少量示例注釋：

1. 文本指令：這些指令幫助模型理解用戶希望如何進行聚類。例如，用戶可能會提供一個指令，說“選擇在實體類型上更符合查詢的例子”，以便模型了解聚類的視角。

2. 少量示例注釋：這些是用戶提供的少量標注數據，用來幫助模型確定聚類的具體粒度。例如，用戶可能會提供兩個句子，并說明它們屬于相同的實體類型，這幫助模型理解如何對相似的文本進行分組。）

3 我們的CLUSTERLLM

CLUSTERLLM基于一個預訓練的小型嵌入器（Wang等，2022；Su等，2022），通常用于單獨表示句子。相反，受到人類認知能力的啟發（Nosofsky，2011），CLUSTERLLM通過提示遵循人類指令訓練的大型語言模型（LLMs）（Ouyang等，2022；OpenAI，2023）來考慮句子對或三重句子。具體來說，CLUSTERLLM是一個兩階段框架（見圖2）。在第3.1節中，我們介紹了利用三重任務根據用戶指定的視角提高聚類質量的階段1，并提出了一種減少API查詢數量的采樣策略。在第3.2節中，我們介紹了利用成對任務根據LLMs預測確定聚類粒度的階段2。

（注釋：預訓練的小型嵌入器是一種已經通過大規模數據集進行訓練的模型，它的目的是將文本轉換為固定長度的向量（嵌入表示），這些向量可以捕捉文本的語義信息。預訓練的小型嵌入器通常是在大型語料庫上訓練的，可以在各種自然語言處理任務中提供通用的文本表示。這些嵌入器的“預訓練”意味著它們已經在訓練過程中學到了有用的語言模式和特征，可以用于下游任務，如文本分類、文本聚類等。

常見的預訓練嵌入器包括BERT、GPT-2、FastText、Word2Vec等。盡管它們被稱為“小型”嵌入器，是因為它們相對于一些最新的超大型語言模型（如GPT-3、ChatGPT）來說，規模更小，計算和存儲需求也更低。盡管如此，它們依然在許多應用中表現出色，尤其是當需要高效處理大規模文本數據時。）

圖 2：CLUSTERLLM概述。它利用LLM來指導嵌入器進行低成本的文本聚類。

3.1 視角的三重任務

在本節中，我們探討如何利用三重任務根據用戶指定的視角優化聚類結構。三重任務的輸入是一個包含三個句子的元組t = (a, c1, c2)，其中a是錨點，(c1, c2)是兩個選擇。然后，我們提示LLMs選擇(c1, c2)中哪個更符合a，使用提示P_T。此外，為了指定用戶的視角，P_T還需要任務指令I_T作為輸入。LLM應該做出選擇

c_j = P_T (I_T , t)，

其中c_j ∈ {c₁, c₂}表示LLM選擇的一個正選，另一個為負選c_\j。

（注釋：### 什么是三重任務？

三重任務涉及三個句子：

1. 錨點句子（a）：這是你用來比較的基準句子。

2. 兩個候選句子（c1和c2）：你需要從這兩個句子中選一個更像錨點句子的。

### 三重任務是怎么做的？

1. 你給大型語言模型（LLM）提供這三個句子。

2. 你還需要提供一個任務指令，這個指令說明你想要模型根據什么標準來進行選擇。例如，“選擇與錨點句子在主題上更相似的句子”。

3. 模型根據這個指令（IT）和三重句子（t = (a, c1, c2)）來做出選擇。

### 模型的選擇是什么樣的？

模型會選擇c1或c2中更符合錨點句子的一個。選中的句子叫做正選（positive），未選中的句子叫做負選（negative）。）

3.1.1 基于熵的三重采樣

雖然可以隨機采樣三重來查詢LLM（注釋：隨機采樣的意思是從大量句子中隨機選擇三組句子，組成一個三重（a, c1, c2）。將這些隨機采樣的三重提供給LLM，詢問LLM哪個候選句子（c1或c2）與錨點句子（a）更相似或更符合某個特定的標準（根據用戶提供的指令）。），但我們在實驗中證明這效率不高。在本節中，我們提出如何挖掘有信息量的三重以節省查詢LLMs的成本并優化聚類。為實現這一目標，我們依賴于從提取的嵌入Z = {z_i = f(x_i)}（i=1...N）得到的當前聚類結果（注釋：預訓練嵌入器會把每個輸入文本（xi）轉換成一個固定長度的向量（zi）。公式中的f(xi)表示用嵌入器f處理文本xi，得到其向量表示zi。Z是所有文本的嵌入表示的集合。也就是說，如果你有N個文本，每個文本都有一個對應的嵌入表示，那么Z就是這些嵌入表示的集合：Z = {zi = f(xi)}（i=1...N）。使用這些嵌入表示（Z）進行聚類分析，可以得到當前的聚類結果。也就是說，我們利用這些向量表示來分組，看看哪些文本是相似的并將它們歸為一類。）。總結來說，我們的算法包含兩個步驟：

步驟1：根據熵找到最模糊的實例作為錨點。（注釋：選擇那些在聚類中具有最大不確定性的實例作為錨點。這些實例被認為是“最模糊”的，因為它們在不同簇之間的歸屬不確定性最高。）

步驟2：對于每個錨點實例，從其最近的兩個簇中采樣兩個選擇（注釋：在選擇了錨點實例之后，從錨點實例所屬的聚類中挑選出最接近的兩個簇，然后從這兩個簇中各選擇一個實例，作為與錨點實例進行比較的兩個候選實例。）。參見算法1了解整個過程。

在步驟1中，由于當前階段粒度未知，我們在Z上執行聚類，其中聚類超參數在數據集之間一致，僅針對嵌入器模型f。然后，通過平均分配到簇的嵌入計算每個簇的簇中心μ_k。按照（Xie等，2016；Van der Maaten和Hinton，2008），我們使用Student的t分布計算每個實例的軟分配：

（注釋：這個公式用來計算每個實例分配到每個簇的概率，這種方法被稱為“軟分配”，因為它允許一個實例同時屬于多個簇，只是屬于每個簇的概率不同。我們使用了Student's t分布來計算這些概率。

Pik 是實例i被分配到簇 k 的概率,

zi是實例i的嵌入向量。

μk 是簇k的中心(質心)

α 是自由度參數，這里設置為1。

k 和 k’ 分別表示當前簇和所有可能的簇）

其中α=1為自由度。然后，我們將實例i的最近簇定義為具有最大軟分配p_ik的K_closest簇。這里，K_closest與簇的總數K成比例。

（注釋：如何為某個實例找到“最近的簇”，具體是指在軟分配概率最大的簇中進行選擇。對于每個實例 i，最近的簇是指那些實例被分配概率最高的簇。

K:總的簇的數量。

K_closest:表示實例i的最近簇的數量。

公式表示最近的簇的數量 K_closest 是總簇數的一定比例?K 和2之間的最大值。這樣做是為了確保最近簇的數量不會太少(至少是2個)，即使?K可能小于2。）

我們固定?為一個小值，如2%。然后，我們基于這些最近簇用重新歸一化的概率p'_ik計算熵，

（注釋：熵 h_i 衡量了實例i在最近簇中的不確定性。如果一個實例均勻分布在這些簇中(即概率相等)，那么熵會較高。如果一個實例主要集中在一個簇中(即概率分布很不均勻)，那么熵會較低。）

其中。

（注釋：p_ik’重新歸一化概率 ，這是實例i在最近的 Kclosest個簇中的歸一化概率。）

我們根據熵H={h_i}（i=1...N）按降序排列整個數據集。我們引入了兩個超參數γ_high和γ_low，以控制從排序數據集中過濾出的比例區間。我們的假設是，較高熵（較小的γ_high和γ_low）的錨點形成更有信息量的三重，在第4.6節中驗證。在步驟2中，我們從K_closest最近的簇中隨機采樣兩個簇C1和C2，然后從每個簇中分別采樣兩個句子c1和c2作為選擇（見第11行和第12行）。換句話說，這些選擇要么是正選要么是錨點的負選。最后，我們還移除重復或選擇和錨點相同的三重。我們繼續采樣三重，直到達到預算Q。

備注：(1) 由于Q由用戶定義，與數據集大小無關，我們的采樣是成本高效的。例如，在我們的實驗中，使用1024次查詢可以在約3000和約50000的數據集規模上提高性能。(2) 從真實情況來看，采樣的三重可能包含“兩個都是對的”或“以上皆非”。然而，我們認為即使這些三重也可能提供軟對齊信息，即選擇之間的親近排名。(3) 我們的采樣方法也可以用于主動學習，在沒有類別先驗知識時獲取人類注釋。

3.1.2 微調嵌入器

現在我們有了三重預測，但如何在聚類中利用它們仍不清楚。之前的研究依賴于深度約束聚類（Zhang等，2020；Manduchi等，2021），這些方法通常對噪聲標簽敏感（Basu等，2008）。在本文中，我們專注于微調基礎嵌入器f，以產生更好地解釋用戶視角的嵌入空間。我們利用了難負和批內負樣本。按照（Su等，2022；Ni等，2022b），對于具有正選c_j和負選c_\j的三重t = (a, c_j , c_\j)，我們優化以下目標：

其中B結合了c_j, c_\j和其他批內負樣本。τ是溫度參數。按照原始實現，我們也計算了交換a和c_j的損失。最終，微調后的嵌入器可以應用于我們的方法中找到更有信息量的三重，從而以迭代方式進一步提高性能。我們通過在提取的嵌入上運行聚類算法獲得聚類分配。

3.2 粒度的成對任務

在本節中，我們基于第3.1節中優化的嵌入空間來確定聚類粒度。本文中，我們將確定粒度的問題轉換為在聚類層次中找到最佳步驟的問題（見圖2右），其中每個步驟表示一個唯一的粒度（或相同數量的簇）。這并不簡單，因為相同的數據集可以應用不同的粒度（如領域或主題）。為了解決這個挑戰，我們使用成對任務查詢LLM，預測一對數據p是否屬于同一簇，提示P_P，

其中w ∈ {相同，不同}是二元決策，I_P是任務指令，{p?_d}_D=1是用于上下文學習的少量示例對（通常D=4）。我們假設這些示例對是由有特定簇粒度預期的用戶標注的。我們還結合了每個示例對的簡短理由（見表12底部示例）。

3.2.1 使用成對層次采樣確定粒度

我們然后介紹如何從聚類層次中采樣成對以查詢LLMs并確定粒度。我們假設最大和最小簇數（分別為k_max和k_min），這取決于用戶對粒度的期望。然后我們從每一步要合并的兩個簇中隨機采樣λ（在我們的實驗中為1或3）對數據以形成候選對{p_i}（i=1...N_p），其中N_p =λ(k_max?k_min)。這些對覆蓋了從k_max到k_min的整個粒度范圍，將用于查詢LLMs。之后，每個粒度級別可以根據LLM預測進行檢驗，以選擇一致性最高的粒度，

其中W_p = {w_i^p}（i=1...N_p）表示從方程6得到的預測，W^k表示一組二元值，指示每對數據在粒度k時是否在同一簇中。經驗上，我們發現以下方法在我們的框架中表現更好：使用F-beta分數（精確率和召回率的加權調和平均）作為測量M，并將W^p/W^k作為標簽/預測。最后，對于大規模數據集，我們通過在小批量K均值基礎上應用層次聚類解決高時間復雜度問題。詳見附錄A。

備注：與第3.1.1節類似，成對層次采樣也可以用于獲取人類注釋。然而，算法的可靠性仍取決于簇的質量。在一個極端情況下，如果簇完全隨機，即使所有成對預測都是正確的，也無法找到粒度。

4 結論

在本文中，我們研究了如何利用基于API的大型語言模型（LLMs）來指導小型嵌入器進行文本聚類，以從LLMs的高級語言能力和用戶的聚類指令中受益。我們提出通過兩種句子關系任務來提示LLMs：三重任務和成對任務。三重任務選擇與錨點最相似的句子，并結合用戶的視角指令。預測的三重用于微調小型嵌入器。成對任務判斷一對句子是否屬于少量示例提示的同一類別，然后使用預測結果通過一致性測量來確定聚類粒度。廣泛的實驗表明，我們提出的CLUSTERLLM框架可以提高聚類質量，并以極低的成本提出合理的聚類粒度。然而，CLUSTERLLM仍然依賴于嵌入模型本身，這在黑箱嵌入模型上效率低且不可行。我們鼓勵未來的研究探索無模型訓練的潛力，如約束聚類。

局限性

我們列出幾項工作中的局限性，希望在未來得到改進：

1. 依賴預訓練嵌入器：為了找到最有信息量的數據，我們必須依賴能夠指示最大聚類分配熵的預訓練嵌入器。我們希望將自監督三重和LLM預測的三重結合起來解決這個問題。

2. 微調的計算成本：我們最初的想法是利用約束聚類，這是一種不需要更新小型嵌入器的輕量級算法。然而，不可避免的不穩定訓練將受到LLM預測錯誤的嚴重影響。我們通過引入嵌入器進行微調來暫時解決這個問題，但希望在未來的工作中減少計算成本。

3. 領域發現上的次優性能：我們注意到，在如Massive(D)和CLINC(D)等領域發現數據集上，性能通常不如原始的Instructor嵌入器。我們在附錄H中對此問題進行了討論。

Zhang Y, Wang Z, Shang J. Clusterllm: Large language models as a guide for text clustering[J]. arXiv preprint arXiv:2305.14871, 2023.

University of California

本文轉載自公眾號AIRoobt ，作者：AIRoobt

原文鏈接:??https://mp.weixin.qq.com/s/Y1fGTuh8m_oGwMjPXg9U8w??