構建LLM:每個AI項目都需要的知識圖譜基礎

“施瓦茨先生,我已經(jīng)審閱了你的反對意見書,”聯(lián)邦法官凱文·卡斯特爾開口道,語氣沉穩(wěn)卻不失重點。“你引用了六個案例來支持你委托人的立場。我想討論一下瓦格斯訴中國南方航空公司一案。”
擁有數(shù)十年經(jīng)驗的律師史蒂文·施瓦茨在椅子上挺直了身子。“是的,法官閣下。這是2019年第十一巡回法院的一項判決,它直接支持——”
“我找不到,”法官打斷道,“你提供的引證號——925 F.3d 1339——在我書記員查閱過的任何數(shù)據(jù)庫中都沒有出現(xiàn)。你能向法庭提供一份完整的判決書副本嗎?”
施瓦茨感到一絲擔憂。“當然,法官大人。我會立即提交。”回到辦公室后,施瓦茨再次聯(lián)系他的信息來源。他在ChatGPT上輸入:“Varghese訴中國南方航空公司案,925 F.3d 1339(第十一巡回上訴法院,2019年)是真實存在的案例嗎?”對方自信地回復道:“是的,Varghese訴中國南方航空公司案,925 F.3d 1339是真實存在的案例。您可以在LexisNexis和Westlaw等權威法律數(shù)據(jù)庫中找到它。”
施瓦茨放心后,向 ChatGPT 詢問了更多案件細節(jié)。人工智能很配合地生成了一些看似是判決書摘錄的內容,包括令人信服的法律論證和格式正確的引文。
他將這些材料提交給了法庭。
三周后
卡斯特爾法官的命令措辭嚴厲:“法院面臨著前所未有的情況。提交的六個案件似乎是偽造的司法判決,其中包含偽造的引述和偽造的內部引用”。
這六起案件完全是捏造的。沒有任何法院審理過這些案件。它們根本不存在。
在隨后的宣誓書中,施瓦茨承認他“此前從未用過 ChatGPT 進行法律研究,因此并不知道其內容可能不實”。他告訴法庭,他認為 ChatGPT “就像一個超級搜索引擎”——這種看似合理卻大錯特錯的假設,如今卻被各行各業(yè)數(shù)百萬使用法律法律工具的專業(yè)人士所誤解。
哪里出了問題?
施瓦茨案揭示了人們對LLM(大語言模型)的權限存在根本性的誤解。詢問ChatGPT“泰姬陵是什么?”和詢問它“在航空事故案件中,我的客戶有哪些法律先例支持其立場?”之間有著天壤之別。
第一種查詢需要一般性知識——即廣泛可得且相對穩(wěn)定的信息。第二種查詢則需要查閱一個特定的、權威的、不斷發(fā)展的法律判例庫,該判例庫是經(jīng)過幾個世紀的法理學積累而成的,其中精確性至關重要,每一條引文都必須可驗證。
我們知道大語言模型(LLM)會產(chǎn)生幻覺。這并非什么新鮮事,而且人們已經(jīng)投入了大量精力來緩解這個問題。諸如基于人類反饋的強化學習(RLHF)、改進的訓練數(shù)據(jù)管理以及置信度評分等技術都起到了一定的作用。但上下文至關重要。邏輯邏輯模型在被問及一般性話題時可能表現(xiàn)出色,但在處理需要權威來源的特定領域查詢時卻可能慘敗。
檢索增強生成(RAG)方法——即將文檔分割成塊,并按需檢索相關段落——可以部分解決這個問題。當您需要處理文本內容并基于該內容獲得特定答案時,RAG 的效果相當不錯。但是,當您的知識庫是多年實踐積累的結果——例如法律判例、醫(yī)療規(guī)范、金融法規(guī)、工程標準——簡單的基于塊的檢索就無法提供所需的精確度和上下文理解。您不僅需要了解案例的內容,還需要了解它與其他案例的關系、適用范圍、管轄區(qū)域以及后續(xù)判決是否改變了其效力。
然而,幻覺和檢索限制僅僅代表了問題的一個方面。架構方面的挑戰(zhàn)遠不止于此:
- 它們的知識是不透明的:信息以數(shù)十億個參數(shù)的形式存儲,無法檢查或解釋。你無法審核模型“知道”什么,也無法驗證其信息來源。
- 他們無法輕易更新:納入新的信息——新的法律先例、更新的法規(guī)或修訂的醫(yī)療指南——需要昂貴的再培訓或復雜的微調。
- 它們缺乏領域基礎:通用法學碩士缺乏專家知識、業(yè)務規(guī)則和監(jiān)管要求,而這些知識、規(guī)則和要求決定了其成果在專業(yè)環(huán)境中是否真正有用。
- 它們不提供審計追蹤:無法追蹤它們是如何得出結論的,這使得它們不適用于需要問責的環(huán)境。
這些并非無關緊要的技術問題,而是決定人工智能項目成敗的架構問題。據(jù) Gartner 預測,到 2027 年,超過 40% 的智能體人工智能項目將因領域知識與投資回報率不匹配而被取消。原因很簡單:企業(yè)部署了功能強大的大語言模型 (LLM) 技術,卻缺乏使其值得信賴所需的知識基礎設施。
施瓦茨案例清楚地表明:除非大語言模型(LLM)能夠獲取真實、一致且可驗證的數(shù)據(jù),否則它們本身無法作為關鍵應用的可靠問答工具。而且沒有捷徑可走。僅僅通過RAG系統(tǒng)向LLM提交更多文檔,或者寄希望于更好的提示能夠彌補不足,都忽略了問題的根本所在。
知識必須以易于管理、始終保持最新、妥善維護且——至關重要的是——結構化的方式組織,以支持您的應用所需的推理類型。真正的問題不在于LLM是否足夠強大,而在于知識應該具有怎樣的結構,以及我們如何圍繞它創(chuàng)建流程,以便正確地構建、維護和訪問知識?
這時知識圖譜就派上用場了。
什么是知識圖譜?
知識圖譜不僅僅是一個數(shù)據(jù)庫。知識圖譜是一種不斷演進的圖數(shù)據(jù)結構,它由一組類型化的實體、它們的屬性以及有意義的命名關系組成。知識圖譜針對特定領域構建,整合結構化和非結構化數(shù)據(jù),為人類和機器創(chuàng)造知識。
因此,知識體系建立在四大支柱之上:
1.演進:不斷更新的信息,無需結構性調整即可無縫整合新數(shù)據(jù)。
2.語義:通過類型化的實體和顯式關系來表示有意義的數(shù)據(jù),從而捕捉領域知識。
3.集成:能夠靈活地協(xié)調來自多個來源的結構化和非結構化數(shù)據(jù)源
4.學習:支持人類和機器進行查詢、可視化和推理。

至關重要的是,知識圖譜知識是可審計和可解釋的——用戶可以準確地追蹤信息的來源,并對照權威來源進行驗證。
智能顧問系統(tǒng)與自主系統(tǒng)
在探討如何將這些技術結合起來之前,我們需要了解智能系統(tǒng)部署方式的一個關鍵區(qū)別。
并非所有智能系統(tǒng)都生而相同。智能自主系統(tǒng)能夠獨立運行,在極少人為干預的情況下代表用戶做出決策并執(zhí)行操作——例如,必須在無人干預的情況下實時運行的自動駕駛汽車。
相比之下,智能顧問系統(tǒng)(IAS)旨在輔助而非取代人類判斷。智能顧問系統(tǒng)的作用是提供信息和建議。其主要功能包括決策支持、情境感知和用戶交互。這些系統(tǒng)旨在方便用戶交互,使用戶能夠探索各種選項、提出問題并獲得詳細的解釋,從而輔助其決策。

a) 智能自主系統(tǒng)。b) 智能顧問系統(tǒng)。
對于法律研究、醫(yī)療診斷、財務分析、合規(guī)監(jiān)控等關鍵應用而言,能夠增強而非取代人類專業(yè)知識的顧問系統(tǒng)不僅是更佳選擇,而且至關重要。系統(tǒng)架構必須履行把關職責,而非繞過這些職責。
混合方法:LLM + KG
當我們把知識體系和學習邏輯結合起來時,我們創(chuàng)造出的系統(tǒng)整體大于部分之和:
1.KG 提供基礎:
- 結構化的、經(jīng)過驗證的知識,可作為事實依據(jù)
- 顯式表示領域規(guī)則和約束
- 審計追蹤記錄了結論的得出過程。
- 無需模型重新訓練即可進行動態(tài)更新
2.LLM提供接口:
- 自然語言查詢處理
- 從非結構化數(shù)據(jù)中自動提取實體以構建知識圖譜
- 將復雜的圖查詢翻譯成易于理解的語言
- 將結果匯總成易于理解的報告

想想看,如果采用這種混合系統(tǒng),施瓦茨的災難該如何避免。混合系統(tǒng)可以:
1.使用LLM處理自然語言查詢
2.向知識庫查詢具有真實引文和來源的已驗證信息
3.呈現(xiàn)結果并附上背景信息:“從權威數(shù)據(jù)庫中找到了 12 個經(jīng)過驗證的案例,并附有引用”。
4.提供指向實際來源的驗證鏈接
5.標記不確定性:“未發(fā)現(xiàn)與此模式完全匹配的病例。請考慮以下替代方案。”
最關鍵的是:當被問及“這個案例是否真實存在?”時,系統(tǒng)會回答:“無法在權威數(shù)據(jù)庫中驗證此案例引用。狀態(tài):未驗證。”

行業(yè)領先企業(yè)的研究一致表明,混合系統(tǒng)能夠解決導致人工智能項目失敗的核心挑戰(zhàn):
- 通過將 LLM 反應建立在可驗證的知識圖譜整理的事實之上,可以減輕幻覺。
- 通過動態(tài)的知識庫更新,知識始終保持最新。LLM(法學碩士)無需重新培訓即可通過不斷發(fā)展的知識庫獲取最新信息。
- 可解釋性是通過透明的信息路徑實現(xiàn)的。
- 由于知識圖譜編碼了通用語言學習模型所缺乏的專家知識、法規(guī)和關系,因此特定領域的準確性得到了提高。
構建值得信賴的人工智能系統(tǒng)
施瓦茨案的法官指出,“技術進步是司空見慣的,使用可靠的人工智能工具進行輔助本身并沒有什么不妥之處”,但強調“現(xiàn)行規(guī)則對律師施加了把關作用,以確保其提交的文件的準確性”。
這條原則具有普遍適用性:每一位部署人工智能的專業(yè)人士都肩負著把關責任。問題在于,你的人工智能系統(tǒng)架構是否能夠支持這一責任,還是會削弱它。
人工智能在關鍵應用領域(涵蓋所有行業(yè))的未來取決于構建智能顧問系統(tǒng),該系統(tǒng)需將知識圖譜的結構化知識和可解釋性與語言學習模型的自然語言理解和模式識別能力相結合。這并非是在技術之間做出選擇,而是要認識到,僅靠語言學習模型無法構建可信賴的人工智能。知識圖譜恰恰提供了這一基礎。
如果組織在缺乏這種基礎的情況下部署低層智能技術,項目就會失敗——并非因為技術本身不夠強大,而是因為沒有根基的強大力量是不可靠的。如果運用得當——將各種技術優(yōu)勢互補、彌補彼此不足——我們就能創(chuàng)造出真正增強人類智能的系統(tǒng)。
































