文章摘要

本文通過(guò)一起真實(shí)的法律案例揭示了大語(yǔ)言模型的根本缺陷：律師因使用ChatGPT生成虛假判例而受到嚴(yán)厲處罰。文章深入探討了為何LLM在關(guān)鍵應(yīng)用中會(huì)失敗，以及如何通過(guò)知識(shí)圖譜（KG）與LLM的混合架構(gòu)構(gòu)建可信賴的智能顧問(wèn)系統(tǒng)，為專(zhuān)業(yè)領(lǐng)域的AI應(yīng)用提供可驗(yàn)證、可解釋、可持續(xù)更新的知識(shí)基礎(chǔ)。

一、一個(gè)代價(jià)慘痛的教訓(xùn)：當(dāng)律師遇見(jiàn)ChatGPT

"施瓦茨先生，我審閱了您的反對(duì)意見(jiàn)書(shū)，"聯(lián)邦法官P. Kevin Castel開(kāi)口道，語(yǔ)調(diào)平穩(wěn)但尖銳，"您引用了六個(gè)案例來(lái)支持您客戶的立場(chǎng)。我想討論一下Varghese訴中國(guó)南方航空公司案。"

PDF原文 - https://t.zsxq.com/jf1eY

擁有數(shù)十年執(zhí)業(yè)經(jīng)驗(yàn)的律師Steven Schwartz在椅子上坐直了身體。"是的，法官閣下。那是2019年第十一巡回法院的判決，直接支持——"

"我很難找到這個(gè)案例，"法官打斷道，"您提供的引用——925 F.3d 1339——在我的書(shū)記員檢查的任何數(shù)據(jù)庫(kù)中都找不到。您能否向法庭提供完整的判決意見(jiàn)？"

施瓦茨感到第一絲不安。"當(dāng)然，法官閣下。我會(huì)立即提交。"回到辦公室后，施瓦茨回到他的信息源。他在ChatGPT中輸入："Varghese訴中國(guó)南方航空公司案，925 F.3d 1339（第11巡回法院2019）是真實(shí)案例嗎？"回復(fù)信心十足地說(shuō)："是的，Varghese訴中國(guó)南方航空公司案，925 F.3d 1339是真實(shí)案例。可以在LexisNexis和Westlaw等權(quán)威法律數(shù)據(jù)庫(kù)中找到。"

得到保證后，施瓦茨要求ChatGPT提供更多關(guān)于該案的詳細(xì)信息。AI順從地生成了看似來(lái)自判決意見(jiàn)的摘錄，包含令人信服的法律推理和格式正確的引用。他將這些提交給了法庭。

三周后

Castel法官的命令措辭嚴(yán)厲："法庭面臨前所未有的情況。提交的六個(gè)案例似乎都是偽造的司法判決，帶有偽造的引文和偽造的內(nèi)部引用。"

所有六個(gè)案例都是完全虛構(gòu)的。它們從未被任何法院判決過(guò)。它們根本不存在。

在隨后的宣誓書(shū)中，施瓦茨承認(rèn)他"以前從未使用ChatGPT進(jìn)行法律研究，因此不知道其內(nèi)容可能是虛假的"。他告訴法庭，他認(rèn)為ChatGPT"就像一個(gè)超級(jí)搜索引擎"——這是一個(gè)看似合理但災(zāi)難性錯(cuò)誤的假設(shè)，如今數(shù)百萬(wàn)跨行業(yè)部署LLM的專(zhuān)業(yè)人士都在犯同樣的錯(cuò)誤。

二、問(wèn)題根源：LLM的架構(gòu)性缺陷

2.1 根本性誤解

施瓦茨案揭示了對(duì)LLM能力和局限性的根本性誤解。詢問(wèn)ChatGPT"什么是泰姬陵？"和詢問(wèn)"哪些法律先例支持我的客戶在航空傷害案中的立場(chǎng)？"之間存在天壤之別。

第一個(gè)查詢需要通用知識(shí)——廣泛可用且相對(duì)穩(wěn)定的信息。第二個(gè)查詢需要訪問(wèn)特定的、權(quán)威的、不斷演變的法律判決語(yǔ)料庫(kù)，這些判決是幾個(gè)世紀(jì)法理學(xué)實(shí)踐積累的結(jié)果，其中精確性至關(guān)重要，每個(gè)引用都必須可驗(yàn)證。

2.2 技術(shù)局限性

我們知道LLM會(huì)產(chǎn)生幻覺(jué)。這不是新聞，已經(jīng)投入了大量努力來(lái)緩解這個(gè)問(wèn)題。從人類(lèi)反饋中強(qiáng)化學(xué)習(xí)（RLHF）、改進(jìn)的訓(xùn)練數(shù)據(jù)管理和置信度評(píng)分等技術(shù)都有所幫助。但背景環(huán)境至關(guān)重要。LLM在被問(wèn)及一般性主題時(shí)可能表現(xiàn)出色，但在需要權(quán)威來(lái)源的特定領(lǐng)域查詢時(shí)卻會(huì)災(zāi)難性地失敗。

檢索增強(qiáng)生成（RAG）方法——將文檔拆分成塊并按需檢索相關(guān)段落——可以部分解決這個(gè)問(wèn)題。當(dāng)您有文本內(nèi)容并需要基于該內(nèi)容的具體答案時(shí)，RAG效果相當(dāng)不錯(cuò)。但當(dāng)您的知識(shí)庫(kù)是多年積累實(shí)踐的結(jié)果時(shí)——法律先例、醫(yī)療協(xié)議、金融法規(guī)、工程標(biāo)準(zhǔn)——簡(jiǎn)單的基于塊的檢索無(wú)法提供所需的精確性和上下文理解。您不僅需要知道一個(gè)案例說(shuō)了什么，還需要知道它與其他案例的關(guān)系、何時(shí)適用、覆蓋哪個(gè)司法管轄區(qū)，以及后續(xù)判決是否修改了其地位。

2.3 更深層的架構(gòu)挑戰(zhàn)

然而，幻覺(jué)和檢索限制只代表問(wèn)題的一個(gè)維度。架構(gòu)挑戰(zhàn)更深層次：

1. 知識(shí)不透明：信息存儲(chǔ)為數(shù)十億個(gè)無(wú)法檢查或解釋的參數(shù)。您無(wú)法審計(jì)模型"知道"什么或驗(yàn)證其來(lái)源。
2. 難以更新：整合新信息——新的法律先例、更新的法規(guī)或修訂的醫(yī)療指南——需要昂貴的重新訓(xùn)練或復(fù)雜的微調(diào)。
3. 缺乏領(lǐng)域基礎(chǔ)：通用LLM缺少專(zhuān)家知識(shí)、業(yè)務(wù)規(guī)則和監(jiān)管要求，這些決定了輸出在專(zhuān)業(yè)環(huán)境中是否真正有用。
4. 無(wú)審計(jì)追蹤：無(wú)法追蹤它們?nèi)绾蔚贸鼋Y(jié)論，使其不適合需要問(wèn)責(zé)制的環(huán)境。?

這些不是小的技術(shù)問(wèn)題。它們是決定AI項(xiàng)目成敗的架構(gòu)問(wèn)題。根據(jù)Gartner的數(shù)據(jù)，到2027年，超過(guò)40%的代理AI項(xiàng)目將因領(lǐng)域知識(shí)和ROI對(duì)齊不佳而被取消。原因是一致的：組織正在部署強(qiáng)大的LLM技術(shù)，卻沒(méi)有使其值得信賴所需的知識(shí)基礎(chǔ)設(shè)施。

施瓦茨案清楚地表明：除非LLM能夠正確訪問(wèn)真實(shí)、一致、可驗(yàn)證的數(shù)據(jù)，否則它們無(wú)法作為關(guān)鍵應(yīng)用的可靠問(wèn)答工具。而且沒(méi)有捷徑。簡(jiǎn)單地通過(guò)RAG向LLM投入更多文檔，或希望更好的提示能夠彌補(bǔ)，都錯(cuò)過(guò)了根本問(wèn)題。

知識(shí)必須以可管理、始終最新、妥善維護(hù)的方式組織，更關(guān)鍵的是——結(jié)構(gòu)化以支持應(yīng)用所需的推理類(lèi)型。 真正的問(wèn)題不是LLM是否足夠強(qiáng)大，而是知識(shí)應(yīng)該具有什么結(jié)構(gòu)，以及我們?nèi)绾蝿?chuàng)建圍繞它的流程來(lái)正確構(gòu)建、維護(hù)和訪問(wèn)它？

這就是知識(shí)圖譜登場(chǎng)的地方。

三、知識(shí)圖譜：AI的知識(shí)基礎(chǔ)設(shè)施

3.1 什么是知識(shí)圖譜？

知識(shí)圖譜不僅僅是一個(gè)數(shù)據(jù)庫(kù)。正如《知識(shí)圖譜與LLM實(shí)戰(zhàn)》一書(shū)中定義的：

知識(shí)圖譜是一個(gè)不斷演化的圖數(shù)據(jù)結(jié)構(gòu)，由一組類(lèi)型化實(shí)體、它們的屬性和有意義的命名關(guān)系組成。為特定領(lǐng)域構(gòu)建，它整合結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，為人類(lèi)和機(jī)器創(chuàng)造知識(shí)。

[知識(shí)圖譜的四大支柱示意圖]

因此，知識(shí)圖譜建立在四個(gè)基礎(chǔ)支柱之上：

1. 演化性（Evolution）：不斷更新的信息，無(wú)需結(jié)構(gòu)性改造即可無(wú)縫整合新數(shù)據(jù)
2. 語(yǔ)義性（Semantics）：通過(guò)類(lèi)型化實(shí)體和顯式關(guān)系進(jìn)行有意義的數(shù)據(jù)表示，捕獲領(lǐng)域知識(shí)
3. 集成性（Integration）：靈活地協(xié)調(diào)來(lái)自多個(gè)來(lái)源的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)
4. 學(xué)習(xí)性（Learning）：支持人類(lèi)和機(jī)器的查詢、可視化和推理? ?

至關(guān)重要的是，知識(shí)圖譜的知識(shí)是可審計(jì)和可解釋的——用戶可以準(zhǔn)確追蹤信息來(lái)源并根據(jù)權(quán)威來(lái)源進(jìn)行驗(yàn)證。

3.2 智能顧問(wèn)系統(tǒng) vs 自主系統(tǒng)

在探討如何結(jié)合這些技術(shù)之前，我們需要理解智能系統(tǒng)部署方式的一個(gè)關(guān)鍵區(qū)別。

并非所有智能系統(tǒng)都是平等的。智能自主系統(tǒng)獨(dú)立行動(dòng)，代表用戶做出決策并執(zhí)行操作，人類(lèi)輸入最少——想想必須在沒(méi)有人類(lèi)干預(yù)的情況下實(shí)時(shí)運(yùn)行的自動(dòng)駕駛汽車(chē)。

相比之下，智能顧問(wèn)系統(tǒng)（IAS）旨在支持而非取代人類(lèi)判斷。正如《知識(shí)圖譜與LLM實(shí)戰(zhàn)》中定義的：

智能顧問(wèn)系統(tǒng)的角色是提供信息和建議。關(guān)鍵特性包括決策支持、上下文感知和用戶交互。這些系統(tǒng)設(shè)計(jì)為易于交互，允許用戶探索選項(xiàng)、提出問(wèn)題并接收詳細(xì)解釋以輔助他們的決策。

[a) 智能自主系統(tǒng) b) 智能顧問(wèn)系統(tǒng)對(duì)比圖]

對(duì)于關(guān)鍵應(yīng)用——法律研究、醫(yī)療診斷、財(cái)務(wù)分析、合規(guī)監(jiān)控——增強(qiáng)而非取代人類(lèi)專(zhuān)業(yè)知識(shí)的顧問(wèn)系統(tǒng)不僅是首選，而且是必需的。架構(gòu)必須強(qiáng)化而非繞過(guò)把關(guān)責(zé)任。

四、混合方法：LLM + 知識(shí)圖譜的完美結(jié)合

4.1 協(xié)同增效的架構(gòu)

當(dāng)我們結(jié)合知識(shí)圖譜和LLM時(shí)，我們創(chuàng)建的系統(tǒng)整體超過(guò)部分之和：

知識(shí)圖譜提供基礎(chǔ)：

• 結(jié)構(gòu)化、經(jīng)過(guò)驗(yàn)證的知識(shí)，作為事實(shí)依據(jù)
• 領(lǐng)域規(guī)則和約束的顯式表示
• 顯示結(jié)論如何得出的審計(jì)追蹤
• 無(wú)需模型重新訓(xùn)練的動(dòng)態(tài)更新

LLM提供接口：

• 自然語(yǔ)言查詢處理
• 從非結(jié)構(gòu)化數(shù)據(jù)自動(dòng)提取實(shí)體以構(gòu)建知識(shí)圖譜
• 將復(fù)雜的圖查詢轉(zhuǎn)換為易于理解的語(yǔ)言
• 將結(jié)果總結(jié)為人類(lèi)可讀的報(bào)告?

                                            [LLM和知識(shí)圖譜如何互補(bǔ)示意圖]

4.2 如何避免施瓦茨式災(zāi)難

考慮這個(gè)混合系統(tǒng)如何能夠防止施瓦茨的災(zāi)難。一個(gè)混合系統(tǒng)會(huì)：

1. 使用LLM處理自然語(yǔ)言查詢
2. 查詢知識(shí)圖譜以獲取帶有真實(shí)引用和來(lái)源的經(jīng)過(guò)驗(yàn)證的信息
3. 呈現(xiàn)帶有上下文的結(jié)果："從權(quán)威數(shù)據(jù)庫(kù)找到12個(gè)帶引用的已驗(yàn)證案例"
4. 提供實(shí)際來(lái)源的驗(yàn)證鏈接
5. 標(biāo)記不確定性："未找到與此確切模式匹配的案例。請(qǐng)考慮這些替代方案。"

最關(guān)鍵的是：當(dāng)被問(wèn)及"這個(gè)案例是真實(shí)的嗎？"時(shí)，系統(tǒng)會(huì)回答："此案例引用無(wú)法在權(quán)威數(shù)據(jù)庫(kù)中驗(yàn)證。狀態(tài)：未經(jīng)驗(yàn)證。"

[使用和不使用LLM構(gòu)建知識(shí)圖譜，以及LLM支持查詢和檢索的流程圖]

4.3 全面的價(jià)值主張

來(lái)自行業(yè)領(lǐng)導(dǎo)者的研究一致表明，混合系統(tǒng)解決了導(dǎo)致AI項(xiàng)目失敗的核心挑戰(zhàn)：

1. 緩解幻覺(jué)：通過(guò)將LLM響應(yīng)建立在可驗(yàn)證的知識(shí)圖譜策劃事實(shí)上來(lái)緩解幻覺(jué)。
2. 保持知識(shí)最新：通過(guò)動(dòng)態(tài)知識(shí)圖譜更新保持知識(shí)最新。LLM通過(guò)不斷演化的知識(shí)圖譜訪問(wèn)最新信息，無(wú)需重新訓(xùn)練。
3. 內(nèi)置可解釋性：通過(guò)透明的信息路徑實(shí)現(xiàn)內(nèi)置可解釋性。
4. 提高特定領(lǐng)域準(zhǔn)確性：因?yàn)橹R(shí)圖譜編碼了通用LLM缺乏的專(zhuān)家知識(shí)、法規(guī)和關(guān)系。? ?

五、構(gòu)建值得信賴的AI系統(tǒng)

5.1 專(zhuān)業(yè)責(zé)任的核心

施瓦茨案的法官指出，"技術(shù)進(jìn)步是司空見(jiàn)慣的，使用可靠的人工智能工具進(jìn)行輔助本身并沒(méi)有什么不當(dāng)"，但強(qiáng)調(diào)"現(xiàn)有規(guī)則要求律師發(fā)揮把關(guān)作用，以確保其提交文件的準(zhǔn)確性"。

這一原則具有普遍適用性：每個(gè)部署AI的專(zhuān)業(yè)人士都有把關(guān)責(zé)任。 問(wèn)題在于您的AI系統(tǒng)架構(gòu)是支持還是破壞這一責(zé)任。

5.2 關(guān)鍵應(yīng)用的未來(lái)

關(guān)鍵應(yīng)用中AI的未來(lái)——跨越每個(gè)行業(yè)——取決于構(gòu)建智能顧問(wèn)系統(tǒng)，將知識(shí)圖譜的結(jié)構(gòu)化知識(shí)和可解釋性與LLM的自然語(yǔ)言理解和模式識(shí)別相結(jié)合。這不是在技術(shù)之間做選擇，而是理解僅靠LLM缺乏值得信賴的AI所需的基礎(chǔ)。知識(shí)圖譜提供了這一基礎(chǔ)。

當(dāng)組織在沒(méi)有這種基礎(chǔ)的情況下部署LLM時(shí)，項(xiàng)目會(huì)失敗——不是因?yàn)榧夹g(shù)不夠強(qiáng)大，而是因?yàn)闆](méi)有基礎(chǔ)的力量是不可靠的。當(dāng)正確完成時(shí)——結(jié)合互補(bǔ)優(yōu)勢(shì)并補(bǔ)償彼此弱點(diǎn)的技術(shù)——我們創(chuàng)建的系統(tǒng)能夠真正增強(qiáng)人類(lèi)智能。

5.3 實(shí)踐指南

在《知識(shí)圖譜與LLM實(shí)戰(zhàn)》一書(shū)中，我們提供了構(gòu)建這些混合系統(tǒng)的全面指導(dǎo)：從建模知識(shí)圖譜模式和使用LLM進(jìn)行實(shí)體提取，到創(chuàng)建能夠準(zhǔn)確和可解釋地回答特定領(lǐng)域問(wèn)題的對(duì)話式AI。該書(shū)通過(guò)具體實(shí)現(xiàn)，展示了如何架構(gòu)組織能夠真正信任、用戶愿意采用的智能顧問(wèn)系統(tǒng)。

架構(gòu)選擇在您手中：在不穩(wěn)定的基礎(chǔ)上部署LLM并冒著加入失敗項(xiàng)目的風(fēng)險(xiǎn)，或者將它們建立在使AI值得信賴、可解釋和真正有價(jià)值的知識(shí)圖譜基礎(chǔ)上。

Steven Schwartz以慘痛的方式學(xué)到了這一課。您不必重蹈覆轍。

六、對(duì)專(zhuān)業(yè)人士和決策者的啟示

6.1 技術(shù)選型建議

對(duì)于企事業(yè)單位和科研院所的專(zhuān)家及投資人，在評(píng)估和部署AI項(xiàng)目時(shí)應(yīng)考慮：

1. 基礎(chǔ)設(shè)施評(píng)估：確保AI系統(tǒng)具有可驗(yàn)證的知識(shí)基礎(chǔ)，而不僅僅是依賴LLM的生成能力
2. 風(fēng)險(xiǎn)管理：在關(guān)鍵應(yīng)用中實(shí)施智能顧問(wèn)系統(tǒng)架構(gòu)，保留人類(lèi)專(zhuān)家的最終決策權(quán)
3. 可持續(xù)性：選擇能夠動(dòng)態(tài)更新知識(shí)而無(wú)需昂貴重訓(xùn)的混合架構(gòu)
4. 合規(guī)性：確保系統(tǒng)提供完整的審計(jì)追蹤和可解釋性，滿足監(jiān)管要求?

6.2 投資價(jià)值分析

從投資角度看，知識(shí)圖譜+LLM的混合架構(gòu)具有：

• 更高的成功率：相比單純LLM項(xiàng)目，能顯著降低因知識(shí)對(duì)齊問(wèn)題導(dǎo)致的項(xiàng)目失敗率
• 更長(zhǎng)的生命周期：知識(shí)基礎(chǔ)設(shè)施的可持續(xù)性和可維護(hù)性帶來(lái)更長(zhǎng)期的價(jià)值
• 更廣的應(yīng)用場(chǎng)景：在醫(yī)療、法律、金融等高價(jià)值關(guān)鍵領(lǐng)域具有實(shí)際可部署性
• 更強(qiáng)的競(jìng)爭(zhēng)壁壘：領(lǐng)域知識(shí)圖譜的構(gòu)建需要專(zhuān)業(yè)知識(shí)積累，形成技術(shù)護(hù)城河

七、結(jié)語(yǔ)

施瓦茨律師的案例為整個(gè)行業(yè)敲響了警鐘。它揭示的不僅是一個(gè)技術(shù)問(wèn)題,更是一個(gè)架構(gòu)選擇問(wèn)題。在AI快速發(fā)展的今天,我們必須認(rèn)識(shí)到:沒(méi)有知識(shí)基礎(chǔ)的智能只是幻象。

知識(shí)圖譜不是可有可無(wú)的補(bǔ)充,而是讓LLM在關(guān)鍵應(yīng)用中真正落地的必要基礎(chǔ)設(shè)施。當(dāng)我們將兩者正確結(jié)合時(shí),我們不僅避免了災(zāi)難性失敗,更創(chuàng)造了能夠真正增強(qiáng)人類(lèi)智慧、值得信賴的智能系統(tǒng)。

這不是技術(shù)的終點(diǎn),而是可信AI時(shí)代的起點(diǎn)。

展望未來(lái),我們需要在三個(gè)層面持續(xù)努力:

技術(shù)層面,推動(dòng)知識(shí)圖譜與LLM的深度融合,建立更加精準(zhǔn)的事實(shí)驗(yàn)證機(jī)制;應(yīng)用層面,在法律、醫(yī)療等高風(fēng)險(xiǎn)領(lǐng)域建立強(qiáng)制性的知識(shí)基礎(chǔ)要求;倫理層面,明確AI系統(tǒng)開(kāi)發(fā)者和使用者的責(zé)任邊界。

施瓦茨的教訓(xùn)告訴我們:技術(shù)創(chuàng)新必須建立在可靠的知識(shí)根基之上。只有這樣,我們才能構(gòu)建真正服務(wù)于人類(lèi)、經(jīng)得起考驗(yàn)的智能系統(tǒng)。

在這個(gè)轉(zhuǎn)折點(diǎn)上,每一位技術(shù)從業(yè)者、決策者和用戶都肩負(fù)著共同的使命:不是盲目追逐技術(shù)的炫目,而是審慎構(gòu)建可信的智能未來(lái)。

當(dāng)我們回望施瓦茨案件時(shí),或許會(huì)發(fā)現(xiàn)它最大的價(jià)值不在于警示,而在于啟示——它讓我們看清了前行的方向。在知識(shí)圖譜的堅(jiān)實(shí)地基上,LLM的創(chuàng)造力才能真正綻放;在嚴(yán)謹(jǐn)驗(yàn)證的護(hù)欄中,AI的潛能才能安全釋放。

這條路或許更長(zhǎng),但它通向的是一個(gè)值得信賴的智能時(shí)代。

本文轉(zhuǎn)載自???????知識(shí)圖譜科技???????，作者：KGGPT