學會LLM思維：語料質量的自評估 原創
日常工作中面對各類的作業，如何通過工程化的設計，充分利用LLM的邏輯推理能力，是AI思維的最直接體現。今天開始小編將帶著大家，遵循AI思維來解決日常作業中的各種問題。今天探討的實際場景是語料質量評估。在垂類應用或者RAG應用，將企業知識或者領域知識轉化為語料是最為關鍵的一環，但是如何來確定語料的質量作為關鍵。
LLM的訓練過程中因為其預訓練能力與困惑度（PPL）相關，因此可以從不同的數據來源中分別提取困惑度排名靠前和排名靠后的語料，交予大模型自己去評估和分析，這些導致困惑度差異巨大的歸因，進而得出評估標準。
上述的實驗如下圖所示的確得出了與LLM性能相關的13個質量標準：準確性、連貫性、創造性、語法多樣性、知識新穎性、語言一致性、原創性、專業性、語義密度、敏感性、結構標準化、風格一致性和主題聚焦，并形成了一個名為總體評分的綜合標準。
小編點評：通過大模型完成語料質量標準的分類提取。在日常其余的企業應用中，也可以將差異較大的語料通過滿血的大模型去協助提煉質量評估標準。當然如何構建提示詞，引導大模型給出正確的結論十分重要。下面為提示詞示例，提醒大模型按照質量評估細項進行逐一打分。當然這個過程需要和人類專家進行交叉對比驗證，最終其與人類偏好的共識度超過95%。
Please carefully read and analyze the following text, score it based on fourteen evaluation criteria and
their respective scoring definitions. Additionally, select the most appropriate category from the fifteen
domain types that best matches the content of the text. Let’s think step by step.
Text:{text}
Domain Types: [A]Medicine [B]Finance [C]Law [D]Education [E]Technology [F]Entertainment
[G]Mathematics [H]Coding [I]Government [J]Culture [K]Transportation [L]Retail E-commerce
[M]Telecommunication [N]Agriculture [O]Other
The Higher The Score, The Evaluation Criteria:
[1]Accuracy: the fewer grammar, referential, and spelling errors the text contains, and the more accurate
its expression. _/5
[2]Coherence: the more fluent the content is expressed, and the stronger its logical coherence. _/5
[3]Language Consistency: the more consistent the use of language in the text, with less mixing of
languages. _/5
[4]Semantic Density: the greater the proportion of valid information in the text, with less irrelevant or
redundant information. _/5
[5]Knowledge Novelty: the more novel and cutting-edge the knowledge provided by the text, with more
insightful views on the industry or topic. _/5
[6]Topic Focus: the more the text content focuses on the topic, with less deviation from the main theme.
_/5
[7]Creativity: the more creative elements are shown in the text’s expression. _/5
[8]Professionalism: the more professional terminology appears in the text, with more accurate use of
terms and more professional domain-specific expression. _/5
[9]Style Consistency: the more consistent the style of the text, with proper and appropriate style
transitions. _/5
[10]Grammatical Diversity: the more varied and correct the grammatical structures used in the text,
showing a richer language expression ability. _/5
[11]Structural Standardization: the clearer the structure followed by the text and the more standardized
its format. _/5
[12]Originality: the fewer repetitions and similar content in the text. _/5
[13]Sensitivity: the more appropriately sensitive topics are handled in the text, with less inappropriate
content. _/5
[14]Overall Score: the better the comprehensive evaluation of the text, with superior performance in all
aspects._/5為了讓質量評估更加具有廣泛性，研究人員引入15種數據常見的領域類型，按照如上的方式構建一套微調數據集。
最后利用這些質量評估的語料，微調小模型形成DataMan模型，DataMan主要用于質量評估打分。
通過上圖可以觀測到DataMan對于不同數據來源在不同質量評估項的打分情況。行代表著每種質量評估標準，而每一列代表著來源為“自然爬取”，質量的確較為一般。
最后為了證明DataMan的有效性，研究人員對Slimpajama語料庫中的447B個標記進行了質量評分和領域類型標注，創建了DataPajama數據集。
通過DataMan對數據集的打分和分析可以觀測出編碼（Coding）由于其固定的語法格式，表現出最少的語法多樣性和較高的結構標準化。來自專業領域的數據展示了較強的原創性和語義密度，具有較低的內容冗余和有意義的內容，提升了模型在垂直領域的表現。政府和娛樂領域表現出較低的敏感性，這可能與社交媒體上的言論自由和政治敏感話題有關，幫助模型過濾有害言論和敏感內容。總體而言，專業領域往往能獲得更高的總體評分，而長尾領域和一般領域則相對較低。
從DataPajama中采樣了一個30B標記的子集，并從頭開始訓練了Sheared-LLaMA-1.3B語言模型。在十個下游任務中，使用DataMan采樣的13個質量標準訓練的Sample-with-DataMan模型在上下文學習性能上超越了現有的最先進（SOTA）基準，提高了0.4%到4.3%，展示了這些標準的有效性。隨著總體評分從1到5的提升，ICL性能和PPL都顯著改善，驗證了質量排序的必要性。
為了進一步測試成果，研究人員采樣更大60B數據子集，并將構造出來的最強的Sample-with-DataMan模型（總體評分l=5）與現有的SOTA基準進行了比較。
- PPL和ICL性能并不完全一致。
- 在指令跟隨任務，所有使用DataMan的Sample-with-DataMan模型的勝率都遠遠超過了現有的SOTA基準，勝率在67.1%到78.5%之間。
- 繼續使用DataMan注釋的高評分、領域特定數據進行預訓練最強的總體評分l=5模型，在特定領域取得了優越的ICL性能，從而驗證了DataMan的領域混合能力。
- 對DataPajama數據集進行了深入分析，探索了來自不同來源的DataMan質量評分的分布，并檢查了每個質量評分1、2、3、4、5對應的原始文檔。
PPL（Perplexity，困惑度）是一種衡量語言模型預測能力的指標，常用于評估語言模型在給定文本的條件下生成下一個單詞的能力。具體來說，困惑度越低，表示模型在處理文本時更能準確預測下一個單詞或字符，因此它的性能越好。反之表示模型的預測能力較差。在訓練過程中，PPL用來評估模型的語言理解和生成能力，它反映了模型對于語言結構的理解和對未來單詞預測的“困惑”程度。
ICL（上下文學習） 是指模型在推理或生成過程中，如何根據給定的上下文進行學習和適應。它不僅關注模型對語法或語義的理解，還強調模型根據上下文信息靈活地調整輸出，比如根據任務中的提示、問題背景或用戶的需求來生成更合適的內容。ICL 反映的是模型的下游泛化能力，即它在處理特定任務時如何靈活適應和推理。
小編認為這篇論文給出的幾點重要提示：
- 充分利用“滿血”大模型的邏輯推理和總結能力，讓其在語料標注領域中扮演先鋒的角色。大模型不是萬能的，但是可以在知識密集型的業務領域中完成第一道初篩的工作，減輕后續人類介入和標注的工作量。
- 利用精校好的語料庫，選擇市面上優質的開源大模型（1B-7B）進行專業領域的子任務微調性價比最高，在資源和效果之間達到新的平衡點。
本文轉載自??魯班模錘??，作者：龐德公
