Hello folks，我是 Luga，今天我們繼續(xù)來聊一下人工智能(AI)生態(tài)領(lǐng)域相關(guān)的技術(shù) - LLM (大型語言模型)可觀測(cè)性 ，本文將繼續(xù)聚焦在針對(duì) LLM 的可觀測(cè)性進(jìn)行解析，使得大家能夠了解 LLM 的可觀測(cè)性的必要性以及其核心的生態(tài)體系知識(shí)。

一、為什么 LLM 需要可觀測(cè)性 ?

在當(dāng)今數(shù)字連接的世界里，LLM (大型語言模型)如同具有超能力的魔法師，能夠快速生成文本、翻譯語言、創(chuàng)作音樂、寫詩、編程等，為人們的生活帶來了極大的便利。然而，LLM 的復(fù)雜性也給其管理和使用帶來了挑戰(zhàn)。

LLM 通常由數(shù)億甚至數(shù)十億個(gè)參數(shù)組成，這些參數(shù)的相互作用關(guān)系非常復(fù)雜。因此，很難準(zhǔn)確預(yù)測(cè) LLM 的輸出結(jié)果。此外，LLM 的訓(xùn)練數(shù)據(jù)往往來自現(xiàn)實(shí)世界，其中可能包含偏差或錯(cuò)誤信息。這些偏差和錯(cuò)誤可能會(huì)導(dǎo)致 LLM 生成錯(cuò)誤或有偏見的文本。

因此，LLM Observability (大型語言模型可觀測(cè)性)便是解決如上挑戰(zhàn)的關(guān)鍵?？捎^測(cè)性可以幫助用戶了解 LLM 的運(yùn)行狀態(tài)、性能和安全性。具體來說，可觀測(cè)性可以提供以下信息：

• LLM 的輸出結(jié)果
• LLM 的參數(shù)變化
• LLM 的資源使用情況
• LLM 的安全風(fēng)險(xiǎn)

基于上述相關(guān)信息，用戶可以對(duì) LLM 進(jìn)行有效的管理和使用，以確保 LLM 能夠安全、穩(wěn)定、高效地運(yùn)行。

二、LLM 可觀測(cè)性五大支柱解析

圖：LLM 可觀測(cè)性 5 大支柱

通常而言，LLM (大模型)可觀測(cè)性 5 大支柱主要包含如下：

1、Evaluation - 評(píng)估

“Evaluation”是 LLM 可觀測(cè)性的一個(gè)重要支柱，用于了解和驗(yàn)證 LLM 模型的性能，并捕捉潛在的幻覺或問答問題等問題。通常而言，評(píng)估 LLM 的性能對(duì)于確保模型的質(zhì)量和可靠性至關(guān)重要，我們可借助測(cè)試數(shù)據(jù)集、A/B 測(cè)試、指標(biāo)和評(píng)估標(biāo)準(zhǔn)、用戶反饋和主觀評(píng)估以及模型解釋性評(píng)估等常見的評(píng)估方法和技術(shù)進(jìn)行合理性評(píng)估

通過評(píng)估 LLM 的性能，我們可以發(fā)現(xiàn)其潛在的問題和改進(jìn)空間。這些評(píng)估結(jié)果可以指導(dǎo)后續(xù)的優(yōu)化和改進(jìn)工作，以提高 LLM 的質(zhì)量和可靠性。

在實(shí)際的場(chǎng)景中，需要注意的是，LLM 評(píng)估是一個(gè)持續(xù)迭代的過程，隨著模型的使用和環(huán)境的變化，可能需要定期進(jìn)行評(píng)估和更新。這樣可以確保 LLM 在不斷變化的條件下保持高性能和準(zhǔn)確性。

2、LLM Traces and Spans: LLM 追蹤和跨度

LLM 應(yīng)用程序獨(dú)有的特性在于它們能夠從常見的 LLM應(yīng) 用程序框架(如 LangChain 和LlamaIndex )中捕獲跨度和跟蹤信息。這些框架提供了強(qiáng)大的工具和功能，幫助開發(fā)人員有效地監(jiān)視和記錄 LLM 應(yīng)用程序的跨度和執(zhí)行路徑。

通過使用這些常見的 LLM 應(yīng)用程序框架，開發(fā)人員可以充分利用其提供的跨度和跟蹤功能，深入了解 LLM 應(yīng)用程序的行為和性能。這有助于監(jiān)控和優(yōu)化 LLM 應(yīng)用程序的運(yùn)行，并提供有價(jià)值的見解，用于改進(jìn)和提升 LLM 的性能和可靠性。

3、Prompt Analysis and Troubleshooting - 提示分析和故障定位

為了跟蹤 LLM 的性能問題，我們可以使用 Evals 或傳統(tǒng)指標(biāo)作為衡量性能的指標(biāo)。這些指標(biāo)可以幫助我們?cè)u(píng)估 LLM 的準(zhǔn)確性、響應(yīng)時(shí)間、資源利用率等關(guān)鍵方面。通過監(jiān)視這些指標(biāo)，我們可以快速發(fā)現(xiàn)潛在的性能問題，并采取相應(yīng)的措施進(jìn)行改進(jìn)。

此外，為了準(zhǔn)確重現(xiàn)問題，我看可以借助實(shí)時(shí)生產(chǎn)數(shù)據(jù)。通過使用實(shí)際生產(chǎn)環(huán)境中的數(shù)據(jù)，我們可以模擬真實(shí)場(chǎng)景下的 LLM 運(yùn)行，并重復(fù)執(zhí)行特定操作以準(zhǔn)確重現(xiàn)性能問題。這樣的重現(xiàn)可以幫助我們更好地理解問題的根本原因，并采取適當(dāng)?shù)慕鉀Q方案來解決問題。

4、Search and Retrieval - 搜索和檢索

通常情況下，我們可以通過使用 RAG(Retrieval-Augmented Generation)完成我們的專有數(shù)據(jù)添加到 LLM 中。RAG 是一種強(qiáng)大的模型架構(gòu)，結(jié)合了檢索和生成的能力，可以將我們的專有數(shù)據(jù)與 LLM 結(jié)合起來。這種結(jié)合使得 LLM 能夠利用我們的專有數(shù)據(jù)進(jìn)行更準(zhǔn)確、更有針對(duì)性的推理和生成。

然而，為了確保 LLM 的性能表現(xiàn)得到最大程度的優(yōu)化，對(duì) RAG 進(jìn)行故障排除和評(píng)估便顯得至關(guān)重要。通過對(duì) RAG 進(jìn)行故障排除，我們可以識(shí)別和解決可能導(dǎo)致 LLM 性能下降或錯(cuò)誤生成的問題。同時(shí)，對(duì) RAG 進(jìn)行評(píng)估可以幫助我們了解其在特定任務(wù)或數(shù)據(jù)集上的表現(xiàn)，從而選擇最適合的配置和參數(shù)設(shè)置。

因此，對(duì) RAG 進(jìn)行故障排除和評(píng)估是確保 LLM 性能優(yōu)化的關(guān)鍵步驟。畢竟，它可以幫助我們確保 LLM 與我們的專有數(shù)據(jù)的集成順利進(jìn)行，從而提高 LLM 的質(zhì)量和可靠性。

5、Fine-Tunig - 微調(diào)

模型的泛化能力取決于其所接受的訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量。因此，需要收集大量的真實(shí)數(shù)據(jù)或人工生成的數(shù)據(jù)，并將其劃分為數(shù)據(jù)示例或問題集群。

數(shù)據(jù)示例可以是單個(gè)數(shù)據(jù)點(diǎn)，也可以是多個(gè)數(shù)據(jù)點(diǎn)的組合。問題集群可以是根據(jù)特定問題類型或領(lǐng)域劃分的集群。數(shù)據(jù)點(diǎn)的格式需要與微調(diào)工作流程的要求相一致。

三、LLM 可觀測(cè)性核心要素解析

通常而言，LLM (大模型)可觀測(cè)性核心要素涉及性能追蹤、深度理解、可靠性保證以及準(zhǔn)確率等多個(gè)層面，具體如下：

1、性能追蹤

可觀測(cè)性是 LLM(大型模型語言)的基石，而其中最為關(guān)鍵的組成部分便是一致的“性能追蹤”。這個(gè)過程涉及收集與 LLM 功能相關(guān)的關(guān)鍵指標(biāo)，例如，準(zhǔn)確性預(yù)測(cè)、響應(yīng)時(shí)間、錯(cuò)誤類型和偏差等。這些指標(biāo)不僅有助于我們識(shí)別和解決性能問題，還能提供有關(guān) LLM 運(yùn)行狀態(tài)和潛在問題的洞察。

在實(shí)際的性能追蹤場(chǎng)景中，我們可以使用多種技術(shù)。通常而言，準(zhǔn)確性、精度和召回率等指標(biāo)仍然是大眾受歡迎的選擇。準(zhǔn)確性衡量正確預(yù)測(cè)的比例，精度衡量這些預(yù)測(cè)的相關(guān)性，而召回率則是衡量模型捕捉到的相關(guān)結(jié)果的數(shù)量。當(dāng)然，除了上述之外，我們還可以使用其他指標(biāo)，例如延遲、吞吐量、資源使用率和安全性等。

在實(shí)際的業(yè)務(wù)場(chǎng)景中，“日志記錄”是性能追蹤的另一種核心方法。它提供了關(guān)于模型行為的詳細(xì)日志，包括輸入、輸出、錯(cuò)誤和其他異常情況。這些詳細(xì)信息有助于診斷LLM的問題，例如偏差、歧視和其他安全問題。

2、深度理解

除了上述的性能追蹤，深入了解 LLM (大型模型語言)也是可觀測(cè)性的關(guān)鍵要素。這需要仔細(xì)檢查訓(xùn)練數(shù)據(jù)、闡明決策算法、識(shí)別任何限制，以及對(duì)模型的局限性有充分的認(rèn)識(shí)。

(1)訓(xùn)練數(shù)據(jù)

對(duì)訓(xùn)練數(shù)據(jù)分布的了解至關(guān)重要，因?yàn)閿?shù)據(jù)中的偏差可能會(huì)轉(zhuǎn)化為模型的偏見。例如，如果訓(xùn)練數(shù)據(jù)集中主要包含男性的聲音，那么模型可能會(huì)對(duì)男性的聲音更敏感，從而導(dǎo)致對(duì)女性的聲音產(chǎn)生偏見。

除了偏差之外，訓(xùn)練數(shù)據(jù)中的噪聲和不一致性也可能影響模型的性能。因此，在使用訓(xùn)練數(shù)據(jù)之前，我們需要仔細(xì)檢查數(shù)據(jù)的質(zhì)量和可靠性。

(2)決策算法

對(duì)決策機(jī)制進(jìn)行分析有助于識(shí)別模型中可能存在的偏差或不準(zhǔn)確性。例如，如果模型在處理特定類型的輸入時(shí)表現(xiàn)出異常，那么這可能表明決策算法存在缺陷。因此，通過了解決策機(jī)制，我們可以更容易地識(shí)別和糾正模型的潛在問題。

(3)局限性

認(rèn)識(shí)到 LLM 的局限性是無價(jià)的。盡管這些模型是先進(jìn)的，但它們并非完美無缺。它們可能會(huì)表現(xiàn)出偏見，產(chǎn)生錯(cuò)誤，并容易受到特定異常輸入的影響。

例如，LLM 可能會(huì)產(chǎn)生偏見的結(jié)果，因?yàn)樗鼈兪窃诎畹臄?shù)據(jù)集上訓(xùn)練的。此外，LLM 可能會(huì)產(chǎn)生錯(cuò)誤，因?yàn)樗鼈兪腔诟怕誓Ｐ偷模虼舜嬖谝欢ǖ牟淮_定性。最后，LLM 可能會(huì)受到特定異常輸入的影響，例如包含錯(cuò)誤或惡意內(nèi)容的輸入。

3、可靠性保證

確保 LLM 的可靠性是可觀測(cè)性的另一核心要素之一。可靠的 LLM 能夠在各種輸入場(chǎng)景下穩(wěn)定運(yùn)行，即使在惡劣或異常情況下也不會(huì)崩潰或產(chǎn)生錯(cuò)誤輸出。

最為常見的策略便是壓力測(cè)試，作為一種驗(yàn)證 LLM 可靠性的常用方法，通過向 LLM 提供各種輸入，包括旨在挑戰(zhàn)模型的輸入，以將其推向極限?？煽康?LLM 將能夠處理這些輸入，而不會(huì)崩潰或產(chǎn)生錯(cuò)誤輸出。

而容錯(cuò)則是確保 LLM 可靠性的另一種常見策略。容錯(cuò)設(shè)計(jì)允許 LLM 在某些組件發(fā)生故障時(shí)繼續(xù)運(yùn)行。例如，如果 LLM 的某個(gè)層發(fā)生故障，容錯(cuò)模型仍然應(yīng)該能夠生成準(zhǔn)確的預(yù)測(cè)。

4、準(zhǔn)確率

LLM 可觀測(cè)性的最后一個(gè)關(guān)鍵目標(biāo)便是提高模型的“準(zhǔn)確性”，這需要識(shí)別和減輕偏差和錯(cuò)誤。偏差和錯(cuò)誤是影響模型準(zhǔn)確性的兩個(gè)關(guān)鍵因素。

偏差通常是指模型預(yù)測(cè)結(jié)果與真實(shí)情況的差異。偏差可能來自于數(shù)據(jù)集、模型設(shè)計(jì)或訓(xùn)練過程等因素。偏差會(huì)導(dǎo)致模型產(chǎn)生不公平或不準(zhǔn)確的結(jié)果。

錯(cuò)誤通常是指模型預(yù)測(cè)結(jié)果與真實(shí)情況不一致。錯(cuò)誤可能來自于模型的隨機(jī)性、噪聲或其他因素。錯(cuò)誤會(huì)導(dǎo)致模型產(chǎn)生不準(zhǔn)確的結(jié)果。

偏差檢測(cè)和錯(cuò)誤檢測(cè)則是識(shí)別和減輕偏差和錯(cuò)誤的兩種常用技術(shù)。偏差檢測(cè)可以識(shí)別模型預(yù)測(cè)中的系統(tǒng)偏差，而錯(cuò)誤檢測(cè)可以識(shí)別模型輸出中的任何不準(zhǔn)確之處。

一旦確定了偏差和錯(cuò)誤，我們就可以通過各種措施來糾正它們。在實(shí)際的業(yè)務(wù)場(chǎng)景中，糾偏措施主要包括如下：

• 數(shù)據(jù)清洗：清除數(shù)據(jù)集中的偏差。
• 模型設(shè)計(jì)：改進(jìn)模型設(shè)計(jì)，減少偏差。
• 模型訓(xùn)練：使用更具代表性的數(shù)據(jù)集或更先進(jìn)的訓(xùn)練方法來訓(xùn)練模型。

而常用的糾錯(cuò)措施則主要涉及如下層面：

• 重新訓(xùn)練模型：使用更準(zhǔn)確的數(shù)據(jù)集或更先進(jìn)的訓(xùn)練方法來重新訓(xùn)練模型。
• 微調(diào)模型參數(shù)：調(diào)整模型參數(shù)，以減少錯(cuò)誤。
• 使用后處理技術(shù)：對(duì)模型輸出進(jìn)行后處理，以提高準(zhǔn)確性。

因此，通過上述所述，只有通過精心追蹤性能設(shè)計(jì)、增強(qiáng)對(duì) LLM 的理解、優(yōu)化準(zhǔn)確性以及確保可靠性，LLM 可觀測(cè)性可以幫助提高 LLM 的可靠性和可信度。

綜上所述，在使用 LLM 時(shí)，確保其可觀測(cè)性是一項(xiàng)關(guān)鍵實(shí)踐，這有助于確保使用 LLM 的可靠性和值得信賴性。通過監(jiān)控 LLM 的性能指標(biāo)和行為，深入了解其內(nèi)部運(yùn)行機(jī)制，以及確保 LLM 的準(zhǔn)確性和可靠性，組織可以有效地降低與這些強(qiáng)大 AI 模型相關(guān)的風(fēng)險(xiǎn)。

Reference ：[1] https://docs.arize.com/arize/what-is-llm-observability