一、金融智能進(jìn)入大模型時(shí)代

1. 大模型在金融行業(yè)的應(yīng)用正不斷拓展

大模型在金融場景中究竟發(fā)揮了怎樣的作用呢？當(dāng)我們提到大模型的應(yīng)用時(shí)，往往首先想到的是對話系統(tǒng)或摘要系統(tǒng)。實(shí)際上，在這一代大模型中，其主要的提升并不在于徹底改變產(chǎn)品形態(tài)，而是在兩個(gè)方面取得了顯著的進(jìn)步：一方面是語言理解能力的增強(qiáng)；另一方面是隨著 ChatGPT 等模型的出現(xiàn)，模型在表達(dá)能力上有了顛覆性的進(jìn)步。

早期 AI 領(lǐng)域流行一句話：“有多少人工就有多少智能”。當(dāng)時(shí)的智能客服或?qū)υ捪到y(tǒng)的一個(gè)顯著特點(diǎn)是，即使用戶提出十個(gè)不同的問題，得到的回答也可能是一樣的。在現(xiàn)今的大模型支持下，即使面對同一類問題的不同表述，只要適當(dāng)調(diào)整 temperature 參數(shù)，模型也能給出多樣化的靈活回答。這種變化直接提升了人機(jī)交互的體驗(yàn)。結(jié)合數(shù)字人技術(shù)的應(yīng)用，不僅改善了用戶體驗(yàn)，還為數(shù)據(jù)入口帶來了革新性的變化。

正如我們所展示的冰山圖所示，盡管表面上看似只是出現(xiàn)了新的對話系統(tǒng)或類似產(chǎn)品，但實(shí)際上，深入使用這些產(chǎn)品后會發(fā)現(xiàn)，其情感交互和文本對話的體驗(yàn)已大為改觀，用戶更愿意花時(shí)間與機(jī)器人進(jìn)行交流。這一點(diǎn)在銀行、保險(xiǎn)、證券等行業(yè)得到了廣泛應(yīng)用，覆蓋了產(chǎn)品設(shè)計(jì)、市場營銷、風(fēng)險(xiǎn)控制及客戶服務(wù)等多個(gè)方面。特別是在內(nèi)部效率提升方面，大模型的應(yīng)用效果尤為顯著。

2. 領(lǐng)域大模型分類理解

這里借用華為的一張分類圖來闡述對領(lǐng)域大模型的理解，該分類方式具有一定的代表性。如圖所示，模型分為 L0、L1、L2 幾個(gè)層級，分別代表基礎(chǔ)大模型、行業(yè)大模型和場景模型。

基礎(chǔ)模型通常具備通用能力，類似于人類在對話過程中需要進(jìn)行思維、邏輯梳理和知識儲備。這類基礎(chǔ)模型或底座擁有極高的參數(shù)量，能夠提供多種綜合能力。

行業(yè)大模型融合了更多垂直領(lǐng)域的專業(yè)知識，例如金融、醫(yī)療、保險(xiǎn)、工業(yè)產(chǎn)業(yè)等多個(gè)領(lǐng)域。許多服務(wù)提供商如華為、阿里等，會將基礎(chǔ)模型（L0）與稍加定制的基礎(chǔ)模型（L1）區(qū)分開來，這樣做有一個(gè)顯著的好處：在服務(wù)于不同的下游應(yīng)用企業(yè)時(shí)，可以進(jìn)行更加靈活的適配。下游企業(yè)可以通過使用自身的垂直領(lǐng)域數(shù)據(jù)進(jìn)行大規(guī)模的增量預(yù)訓(xùn)練，從而實(shí)現(xiàn)特定的領(lǐng)域模型效果。

有一些垂直領(lǐng)域的機(jī)構(gòu)如果希望自主建立大模型能力，可能會選擇將 L0 和 L1 共同訓(xùn)練成一個(gè)整合模型。這樣做的優(yōu)勢在于，可以在成本控制和訓(xùn)練模型的迭代效率上達(dá)到更高的水平。

基于這些基礎(chǔ)模型，企業(yè)還可以根據(jù)自身需求構(gòu)建針對具體場景的模型。模型在應(yīng)用上更為專業(yè)化，回答也更加聚焦。

3. 領(lǐng)域大模型的構(gòu)建必要性

在過去的半年到一年時(shí)間里，我們一直在思考一個(gè)問題：垂直領(lǐng)域模型的必要性是否真的那么高？或者說，是否只需基于通用模型進(jìn)行一定的微調(diào)（Fine-Tuning，簡稱 FT）或知識增強(qiáng)，就能實(shí)現(xiàn)類似領(lǐng)域模型的效果？

我們的思考如下：這一代大模型在推理過程中普遍采用的是解碼方式，即自回歸的輸出模式。在這種模式下，模型對下一個(gè)詞的預(yù)測是基于前面文本內(nèi)容來進(jìn)行的。同樣，這些預(yù)測詞的選擇依據(jù)是在訓(xùn)練過程中形成的詞匯間相關(guān)性以及文本內(nèi)容相關(guān)性所構(gòu)成的概率分布。

例如有人提問：“杠桿怎么用？”在不考慮特定領(lǐng)域的通用場景下，我們通常會認(rèn)為這里的“杠桿”是指物理中的杠桿原理，即用于撬動(dòng)重物的工具。在這種情況下，下一個(gè)可能出現(xiàn)的詞語可能是“找尋”，或者是“支點(diǎn)”，因?yàn)橛脩艨赡茉谠儐柸绾握业揭粋€(gè)支點(diǎn)或?qū)⒏軛U架設(shè)起來。因此，在這種通用場景下的文本分布可能會傾向于這些與物理杠桿相關(guān)的詞匯。

如果提問者面對的是一個(gè)金融領(lǐng)域的模型，那么“杠桿”這個(gè)詞更有可能被理解為一個(gè)金融專業(yè)術(shù)語。在這種情況下，模型在生成概率分布時(shí)，可能會優(yōu)先考慮提示用戶需要謹(jǐn)慎對待投資，并且在進(jìn)行買入操作時(shí)應(yīng)增加保證金以確保杠桿使用的安全性。

通過這個(gè)例子，我們可以更好地理解垂直領(lǐng)域模型與通用大模型之間的差異：在輸出過程中，它們的思考模式和上下文理解會有明顯的不同。

也許有人會說，是不是可以通過現(xiàn)有的檢索增強(qiáng)（RAG）方法，利用一些代理（agent）來解決這類專業(yè)名詞的領(lǐng)域問題。的確，隨著檢索增強(qiáng)技術(shù)的不斷發(fā)展和豐富，它已經(jīng)能夠處理大部分金融專業(yè)名詞的針對性回答。

但是需要注意的是，在進(jìn)行微調(diào)或是知識增強(qiáng)的過程中，推理成本相對較高。當(dāng)使用 RAG 技術(shù)時(shí)，每次調(diào)用都會占用較多的 tokens，并且?guī)磔^高的性能開銷。如果對于“杠桿”這類基礎(chǔ)的金融術(shù)語也需要通過 RAG 進(jìn)行增強(qiáng)，那么整體的推理成本和時(shí)效性將會大幅增加，進(jìn)而給系統(tǒng)帶來較大的壓力。因此，我們認(rèn)為垂直領(lǐng)域的專用大模型仍然是很有存在意義的。

二、大模型在金融落地場景與解決思路

在進(jìn)行了基礎(chǔ)內(nèi)容的介紹之后，讓我們進(jìn)一步探討大模型在金融場景中的落地情況及其面臨的挑戰(zhàn)。

1. 行業(yè)痛點(diǎn)：隨著金融場景逐漸鋪開，風(fēng)險(xiǎn)伴隨而生

大模型在金融場景中的應(yīng)用正逐漸普及。無論是企業(yè)自主構(gòu)建的大模型，還是結(jié)合第三方開源模型開發(fā)的系統(tǒng)，抑或是利用商用模型創(chuàng)建自有服務(wù)，大模型的應(yīng)用都在不斷擴(kuò)展。但是，與此同時(shí)，伴隨著大模型的廣泛應(yīng)用，一些必然的風(fēng)險(xiǎn)也開始顯現(xiàn)。

包括伊隆·馬斯克在內(nèi)的多位人士，都表達(dá)了對大模型未來發(fā)展可能帶來的風(fēng)險(xiǎn)的關(guān)注。這些風(fēng)險(xiǎn)主要包括兩方面：一是大模型是否會取代人類，占據(jù)大量工作崗位；二是當(dāng)大模型采用強(qiáng)化學(xué)習(xí)技術(shù)并專注于單一目標(biāo)時(shí)，如果沒有適當(dāng)?shù)墓芸卮胧欠駮榱诉_(dá)成目標(biāo)而不惜傷害人類。這樣的風(fēng)險(xiǎn)確實(shí)存在，但目前來看，現(xiàn)有大模型距離引發(fā)這類風(fēng)險(xiǎn)仍有較長的距離。

今天我們討論的風(fēng)險(xiǎn)主要集中在金融場景下的應(yīng)用。

在實(shí)施過程中，金融行業(yè)由于受到監(jiān)管限制，加之多年來金融機(jī)構(gòu)多集中于業(yè)務(wù)場景的應(yīng)用，導(dǎo)致其在技術(shù)和基礎(chǔ)設(shè)施方面的投入產(chǎn)出比可能不及業(yè)務(wù)場景來得直觀和高效。因此，相較于互聯(lián)網(wǎng)行業(yè)，金融行業(yè)的基礎(chǔ)設(shè)施建設(shè)和支持相對較弱，普遍存在著硬件層面算力資源不足的問題。許多金融機(jī)構(gòu)正在重新構(gòu)建算力基礎(chǔ)，在這一過程中，必須充分考慮算力的穩(wěn)定性和持續(xù)性保障問題。

在軟件層面上，同樣需要提供更為完善的設(shè)施和工具鏈。以往，許多金融機(jī)構(gòu)通過購買現(xiàn)成軟件的方式來構(gòu)建其軟件體系。在大模型逐漸滲透并改變整個(gè)軟件生態(tài)系統(tǒng)和服務(wù)基礎(chǔ)設(shè)施的過程中，涉及了大量的融合服務(wù)。因此在基礎(chǔ)設(shè)施建設(shè)的落地過程中，存在著一定的效率風(fēng)險(xiǎn)。在可解釋性方面，確保系統(tǒng)的可解釋性對于維持金融機(jī)構(gòu)的健康、安全與合規(guī)運(yùn)營至關(guān)重要。大模型，尤其是神經(jīng)網(wǎng)絡(luò)模型，通常被認(rèn)為是一種較為“黑盒”的模型。這里所說的“黑盒”并非指神經(jīng)網(wǎng)絡(luò)的原理難以理解，事實(shí)上，隨著各種可視化工具的推出，神經(jīng)網(wǎng)絡(luò)的原理已經(jīng)變得較為易于理解。然而，問題在于模型在推理過程中的每一步?jīng)Q策如何保證透明和可解釋，這一點(diǎn)目前仍然較為欠缺。

在金融領(lǐng)域，特別需要關(guān)注的是輸出的真實(shí)性和可靠性。我們知道，不同行業(yè)的模型容錯(cuò)率是有差異的。例如，在自動(dòng)駕駛和醫(yī)療領(lǐng)域，如果 AI 做出錯(cuò)誤決策，可能會危及生命安全。在金融場景中，如果模型在策略解讀或投資教育內(nèi)容的傳遞過程中產(chǎn)生錯(cuò)誤，很容易誤導(dǎo)用戶，進(jìn)而導(dǎo)致實(shí)際的資金損失。在金融領(lǐng)域，確保信息的真實(shí)性和安全性是至關(guān)重要的，這也是 T1 和 T2 級別團(tuán)隊(duì)所重點(diǎn)關(guān)注的內(nèi)容。

金融領(lǐng)域的合規(guī)要求極為嚴(yán)格，這在一定程度上對創(chuàng)新提出了更高的要求。我們往往需要在遵循嚴(yán)格合規(guī)標(biāo)準(zhǔn)的同時(shí)推進(jìn)創(chuàng)新，這就好比是“帶著鐐銬跳舞”。一方面，我們必須以最高標(biāo)準(zhǔn)確保整體的合規(guī)性；另一方面，我們還需在創(chuàng)新上不斷取得突破。

2. 金融智能服務(wù)可信增強(qiáng)框架

圍繞這些典型問題，我們構(gòu)建了一套解決方案框架。首要考慮的是如何真正提升 AI 的可信度。我們的認(rèn)識是，要實(shí)現(xiàn)可信的大模型，不僅僅是在一兩個(gè)方面增加透明度，而是需要在多個(gè)維度上進(jìn)行持續(xù)的努力。這樣才能使 AI 真正獲得廣大客戶的接受與信任。具體而言，這至少涉及五個(gè)維度：透明性、公平性、可解釋性、可靠性和隱私保護(hù)。

透明性：是 AI 系統(tǒng)的基礎(chǔ)之一，應(yīng)讓用戶能夠充分理解系統(tǒng)是如何做出特定決策的。例如，在醫(yī)療診斷中，如果 AI 系統(tǒng)提供了一種治療方案，無論是醫(yī)生還是患者，都應(yīng)該能夠了解到這些建議背后的邏輯和數(shù)據(jù)依據(jù)。

公平性：在 AI 的決策過程中，應(yīng)當(dāng)直接避免任何形式的偏見和歧視，因?yàn)檫@些偏見和歧視不僅會影響用戶體驗(yàn)，還會在未來對用戶的決策判斷上產(chǎn)生不正確的導(dǎo)向。為此，在這一過程中，需要采用更多元化且均衡的數(shù)據(jù)集，以提高模型的整體公平性。

可解釋性：近年來，這一概念也被頻繁提及。如何提升 AI 系統(tǒng)的可解釋性，使其能夠被用戶充分理解，是一個(gè)重要議題。以金融領(lǐng)域?yàn)槔绻脩羯暾堎J款被 AI 系統(tǒng)拒絕，申請人有權(quán)并且也有需要了解被拒的具體原因。

可靠性：可靠性則涵蓋了 AI 系統(tǒng)在各種應(yīng)用場景中，從算力到模型層面，均需提供高效且穩(wěn)定的保障。這其中包括系統(tǒng)的魯棒性以及抵御外部特定攻擊的能力。例如，在自動(dòng)駕駛場景中，必須確保模型的決策服務(wù)在任何時(shí)候都能夠正常運(yùn)行，因此魯棒性是一個(gè)至關(guān)重要的環(huán)節(jié)。

數(shù)據(jù)隱私性：在金融領(lǐng)域中，需要確保從模型訓(xùn)練到推理整個(gè)過程中的數(shù)據(jù)隱私性。

我們認(rèn)為要提升大模型的服務(wù)質(zhì)量，必要從這五個(gè)維度出發(fā)進(jìn)行思考。圍繞這五個(gè)維度，我們在算力、數(shù)據(jù)、模型及應(yīng)用層面分別構(gòu)建不同的能力，以增強(qiáng)各個(gè)維度的表現(xiàn)。這一過程中涉及眾多具體的服務(wù)和應(yīng)用能力，接下來將概述每一層可能會涉及的工作內(nèi)容。

3. 算力層-穩(wěn)定高速算力網(wǎng)絡(luò)

首先是算力層，需要在性能、穩(wěn)定性和魯棒性方面進(jìn)行增強(qiáng)。當(dāng)前，在組網(wǎng)設(shè)計(jì)過程中，僅僅依靠硬件設(shè)備是不足以解決問題的。特別是要保障最基本的基線要求，即確保在模型訓(xùn)練及模型回滾訓(xùn)練過程中出現(xiàn)問題時(shí)，能夠迅速恢復(fù)模型服務(wù)。在推理過程中，考慮到每天可能出現(xiàn)硬件故障的情況，如何在部分硬件失效時(shí)仍能保證服務(wù)的持續(xù)穩(wěn)定性，是需要解決的問題。這就涉及到數(shù)據(jù)網(wǎng)絡(luò)層、存儲網(wǎng)絡(luò)以及管理網(wǎng)絡(luò)等多個(gè)層面的工作，并且這些層面之間存在著緊密的聯(lián)系。

4. 數(shù)據(jù)層-完整的數(shù)據(jù)治理與管理體系

在數(shù)據(jù)層面上，我們經(jīng)常提到一句話：數(shù)據(jù)決定了整個(gè) AI 系統(tǒng)的上限，而算法則決定了 AI 服務(wù)的下限。因此，在數(shù)據(jù)層面的構(gòu)建過程中，我們投入了大量的人力資源。其中，大部分人力主要用于數(shù)據(jù)的質(zhì)量控制，包括數(shù)據(jù)清洗和除錯(cuò)等工作。我們還通過結(jié)合 AI 與人力的方式，實(shí)現(xiàn)了 7x24 小時(shí)不間斷的數(shù)據(jù)質(zhì)量監(jiān)控。

這里的數(shù)據(jù)質(zhì)量包含兩個(gè)主要部分，首先是非結(jié)構(gòu)化數(shù)據(jù)的生成。非結(jié)構(gòu)化數(shù)據(jù)的生成對于后續(xù)的檢索以及 API 服務(wù)等方面起著決定性的作用，我們會確保數(shù)據(jù)的準(zhǔn)確性接近 100%。

在處理金融數(shù)據(jù)時(shí)，雖然數(shù)據(jù)從領(lǐng)域細(xì)分來看屬于金融范疇，但金融行業(yè)本身的研究對象卻涵蓋了多個(gè)領(lǐng)域，如自動(dòng)駕駛、教育、工業(yè)等。在這些領(lǐng)域的投融資方向上，涉及各個(gè)領(lǐng)域的數(shù)據(jù)。在金融數(shù)據(jù)的儲備和準(zhǔn)備方面，我們首先需要確保數(shù)據(jù)的覆蓋面既全面又完整。

正如前面提到的，為了保證數(shù)據(jù)的精準(zhǔn)性，我們需要投入大量的人力和模型進(jìn)行多重校驗(yàn)。在數(shù)據(jù)儲備方面，無論是基礎(chǔ)原始資訊內(nèi)容，還是來自公眾號等渠道的信息，我們都會使用分類和質(zhì)量評估模型對其進(jìn)行評分。在訓(xùn)練過程中，我們會優(yōu)先選用評分較高的數(shù)據(jù)來提升模型的質(zhì)量和應(yīng)用效果。

在數(shù)據(jù)的實(shí)時(shí)性、穩(wěn)定可靠性以及專業(yè)性方面，我們引入了專家和投研專業(yè)人員來輔助數(shù)據(jù)生產(chǎn)和標(biāo)注工作。這是非常關(guān)鍵的一步，尤其是在微調(diào)過程中，數(shù)據(jù)的專業(yè)性要求極高。普通標(biāo)注人員往往難以達(dá)到這樣的專業(yè)標(biāo)準(zhǔn)，需要領(lǐng)域?qū)＜襾硗瓿蛇@部分的標(biāo)注和處理工作。

5. 模型層-提升人工智能抗風(fēng)險(xiǎn)的技術(shù)能力

在模型層面，我們圍繞可靠性進(jìn)行了大量的理論與實(shí)踐研究，實(shí)現(xiàn)了諸多突破。重點(diǎn)研究方向包括魯棒性增強(qiáng)、公平性保障以及可解釋性增強(qiáng)技術(shù)。這些內(nèi)容在前面已有詳細(xì)的闡述，這里不再過多贅述，僅介紹一下可解釋性方面的工作。

可解釋性的目標(biāo)主要有兩點(diǎn)：

• 第一是對從特征到預(yù)測結(jié)果之間的因果關(guān)系進(jìn)行解釋，也就是說，對于大模型的輸出結(jié)果，我們需要能夠判斷哪些特征和參數(shù)權(quán)重對最終的模型輸出產(chǎn)生了直接影響。
• 第二是對模型輸出結(jié)果的置信度進(jìn)行評估。我們都知道，大模型存在所謂的“幻覺”問題，而不僅僅是大模型，實(shí)際上人類也時(shí)常會遇到類似的問題。這種幻覺的本質(zhì)在于，有時(shí)候我們并不清楚自己的回答可能存在錯(cuò)誤，但出于某種直覺，我們會認(rèn)為自己的回答是在某本書上或某篇論文中看到過的，因而自信滿滿。而在另一些情況下，我們可能是聽別人提起過，或者隱約記得曾經(jīng)聽說過某個(gè)說法，這時(shí)我們對自己的回答就沒有那么自信了。因此，我們希望大模型在輸出答案的同時(shí)，能夠提供對這個(gè)答案的置信度，表明其回答是否有充分的依據(jù)，這也是科學(xué)研究中的一個(gè)重要目標(biāo)。

可解釋性可以從不同維度來細(xì)分為多個(gè)研究方向：

• 前置或后置：包括在模型結(jié)構(gòu)構(gòu)建過程中提升可解釋性，以及在模型訓(xùn)練完成后，在工程階段提升模型的可解釋性。
• 全局可解釋性或局部可解釋性：全局可解釋性指的是整個(gè)網(wǎng)絡(luò)參數(shù)的可解釋性，而局部可解釋性則是針對模型的輸入輸出兩端提升其可解釋性。例如，有一些如 SHAP（SHapley Additive exPlanations）和 LIME（Local Interpretable Model-agnostic Explanations）這樣的模型，能夠?qū)崿F(xiàn)局部可解釋性的目標(biāo)。LIME 這類可解釋性方法的基本原理是通過擬合一個(gè)簡單的模型來解釋復(fù)雜模型的行為，這是常用的提升模型可解釋性的方法之一。
• 可解釋性有不同的表現(xiàn)方式：包括從模型中提取特定的邏輯規(guī)則，并將這些規(guī)則展示出來，以及展示隱藏語義和其他屬性等方式，來提升模型的可解釋性。

7. 模型可解釋性-白盒 transformer 路線

另一個(gè)方向是港大馬毅老師提出的白盒 Transformer 路線。這一模型的核心思想是在設(shè)計(jì)層面改變 Transformer 架構(gòu)，希望每一層都能夠通過數(shù)學(xué)公式進(jìn)行解讀和解釋。我們一直在持續(xù)跟進(jìn)這一方向的研究，從早期的版本到現(xiàn)在的 CRATE－α，其間進(jìn)行了大量的迭代和優(yōu)化。尤其是在早期的 CRATE 版本中，我們發(fā)現(xiàn)其處理語料和訓(xùn)練樣本的規(guī)模非常有限，而到了 CRATE－α 階段，這一能力已經(jīng)有了顯著的提升。

我們看好這一方向的原因在于，目前大家如果自行訓(xùn)練過大模型，就會知道在調(diào)參和模型結(jié)構(gòu)選擇上，通常需要大量的人力和計(jì)算資源來進(jìn)行反復(fù)的實(shí)驗(yàn)。雖然我們會用許多科學(xué)實(shí)驗(yàn)方法不斷嘗試，但如果未來的模型能夠在結(jié)構(gòu)上實(shí)現(xiàn)更高的可解釋性，甚至可以用數(shù)學(xué)公式證明其合理性，那么在訓(xùn)練、調(diào)參乃至設(shè)計(jì)出更高效、更有用的模型方面，都將得到極大的幫助。

8. 應(yīng)用層-逐漸告別幻覺，RAG 家族逐漸充實(shí)

在應(yīng)用層面上，有多種方法來緩解“幻覺”問題。從 ChatGPT 問世至今，我們已經(jīng)看到幻覺問題得到了很大程度的緩解。無論是之前提到的使用 PPO（Proximal Policy Optimization，近端策略優(yōu)化）方法，還是通過 SFT（Supervised Fine-Tuning，監(jiān)督微調(diào)）過程，都已經(jīng)處理了許多幻覺問題。特別是在現(xiàn)階段，我們認(rèn)為檢索增強(qiáng)（RAG）技術(shù)是應(yīng)對幻覺問題最直接有效的方法之一。RAG 技術(shù)也在不斷地發(fā)展中，早期的 RAG 主要通過 embedding 方式將文檔向量化并存儲到向量數(shù)據(jù)庫中，在推理過程中，通過查找與用戶問題相似的內(nèi)容來獲取相關(guān)知識。

這里有一個(gè)比較典型的問題，特別是在金融場景下，許多用戶的問題與已有答案的相似度較高，或者答案中的文本彼此之間也有很高的相似性。這樣一來，使用 embedding 方法時(shí)，究竟應(yīng)該匹配哪一個(gè)答案就變得不明確了，這導(dǎo)致了召回效果不佳。在經(jīng)過一段時(shí)間并發(fā)現(xiàn)了這一問題后，出現(xiàn)了許多 RAG 的變體。例如，如果大家之前有過個(gè)性化推薦系統(tǒng)經(jīng)驗(yàn)，就會知道這類系統(tǒng)通常有一個(gè)典型的架構(gòu)：從召回、精排到重排序的過程。類似地，我們也嘗試用多種方式來對用戶的問題進(jìn)行處理，比如對用戶的問題進(jìn)行不同程度的改寫，然后采用不同的檢索方式在向量數(shù)據(jù)庫中尋找相應(yīng)的答案。另外，也可以通過不同的索引來查找不同的答案。這樣一來，我們可以首先盡可能多地找出潛在的答案，再利用相關(guān)的算法進(jìn)行更精準(zhǔn)的匹配，確定用戶的問題在當(dāng)前場景下與知識庫中的哪一個(gè)答案最為契合。

近期備受關(guān)注的一個(gè)研究方向是 GraphRAG。在金融場景下，我們擁有大量的金融知識圖譜和產(chǎn)業(yè)鏈關(guān)系數(shù)據(jù)，包括股票、基金以及股票與資訊之間都有著強(qiáng)關(guān)聯(lián)。傳統(tǒng)的檢索方式往往容易忽略這些實(shí)體和事件之間的關(guān)聯(lián)性，通過 GraphRAG 能夠較好地解決實(shí)體關(guān)系相關(guān)性的問題，提升問答類任務(wù)的能力。然而，沒有一種方法能夠解決所有問題，盡管 GraphRAG 在回答問題時(shí)表現(xiàn)得更為精細(xì)和有條理，但其性能相較于之前的基礎(chǔ) RAG、多路 RAG 有著數(shù)倍的差距，并且在 token 占用方面，也是傳統(tǒng)方法的數(shù)倍甚至近十倍。當(dāng)然，我們相信隨著技術(shù)的發(fā)展和工程能力的提升，這種應(yīng)用方式將會有更好的解決方案來克服性能瓶頸。

我們得出另一個(gè)認(rèn)知：當(dāng)前許多技術(shù)的迭代更新并不意味著完全推翻之前的所有技術(shù)，不同的 RAG 在不同的應(yīng)用場景中都有其存在的價(jià)值和適用性。在技術(shù)積累的過程中，我們會保留這些歷史迭代中產(chǎn)生的各種能力。針對不同的應(yīng)用場景，匹配合適的技術(shù)能力和策略，這一點(diǎn)非常重要。

三、可信金融大模型落地應(yīng)用成果

最后一部分，將分享在具體場景中如何應(yīng)用上述可信能力以及消除幻覺的能力。

1. 金融行業(yè)痛點(diǎn)：信息爆炸與信息不對稱帶來的低效決策

我們都知道，在金融行業(yè)中，信息爆炸和信息不對稱長期存在，這些問題導(dǎo)致了低效的決策。這其中包括信息的存儲、管理和搜索等方面。提升這些能力可以幫助緩解由信息爆炸和信息不對稱所帶來的問題。

2. 智能提效-金融大模型實(shí)踐

圍繞這些金融領(lǐng)域的瓶頸問題，我們自主研發(fā)了“東方財(cái)富妙想”大模型。該模型基于東方財(cái)富多年積累的數(shù)據(jù)資產(chǎn)和數(shù)據(jù)沉淀，構(gòu)建了強(qiáng)大的算力能力，并專門針對金融場景進(jìn)行了一系列的突破和優(yōu)化。

在這個(gè)過程中，我們進(jìn)行了大量的調(diào)研分析，以確定當(dāng)前大模型的語言理解和表述能力能夠在哪些金融場景中實(shí)現(xiàn)直接的突破。比較典型的應(yīng)用是在投資顧問和投資研究方向上。因?yàn)樵诖罅康慕鹑谛畔⒎?wù)場景中，大模型可能在績效上最直接地為投資機(jī)構(gòu)、專業(yè)投資人以及散戶投資者帶來幫助。

這實(shí)際上涵蓋了面向企業(yè)和面向消費(fèi)者的兩個(gè)方向。對于企業(yè)用戶（To B），我們可以在投研的深度上幫助研究員在數(shù)據(jù)處理和研究效率上實(shí)現(xiàn)大幅提升。而對于個(gè)人用戶（To C），在日常炒股過程中，用戶每天會接觸到大量的投資類新聞和公告，但實(shí)際上很少有人愿意閱讀這些公告，更不用說能夠完全理解它們的內(nèi)容。

3. 金融業(yè)智能化生態(tài)賦能投研場景

通過大模型降低用戶閱讀金融信息的門檻，成為一個(gè)非常必要且重要的應(yīng)用。我們通過大模型助力數(shù)據(jù)的深入分析，滿足研究需求，貫穿整個(gè)投研過程，提升各個(gè)環(huán)節(jié)的效率和效果。

接下來將通過一些具體案例，詳細(xì)講解金融場景下當(dāng)前實(shí)踐落地的情況。

4. AI 搜索與問答

AI 搜索功能在過去可能只能直接找到一篇現(xiàn)成的文章。而現(xiàn)在，我們的 AI 搜索，以“黑神話：悟空”這樣的搜索為例，即使是針對通用領(lǐng)域的查詢，也不再需要像以前那樣每天整理大量內(nèi)容，并將這些內(nèi)容處理入庫后才能進(jìn)行檢索。如今，借助大模型的方式，不僅能快速檢索出通用領(lǐng)域的相關(guān)信息，還能對檢索到的內(nèi)容進(jìn)行重點(diǎn)摘要和提煉，帶來了更好的檢索體驗(yàn)。

還有典型的問答功能，這類問答更多地被用作信息服務(wù)的交互入口。下一代應(yīng)用程序的顛覆性特點(diǎn)在于，許多金融數(shù)據(jù)原本在東方財(cái)富 APP 中就已經(jīng)存在，但這些數(shù)據(jù)的訪問入口可能較深。而在現(xiàn)階段，通過大模型的支持，用戶可以通過交互式的方式快速定位到這些原本隱藏較深的數(shù)據(jù)和信息，從而極大地提高了信息獲取的效率。

5. AI 文檔助手

文檔助手功能，對于專業(yè)的投研人員尤其有用，因?yàn)樗麄兠刻煨枰喿x和解析大量的文檔。大模型的輔助可以顯著減少投研人員的閱讀負(fù)擔(dān)，幫助他們更高效地處理信息。

6. AI 研報(bào)助手

當(dāng)然，這并不意味著獲取的內(nèi)容減少了，而是通過提升觀點(diǎn)提煉的能力，特別是核心觀點(diǎn)的提煉能力，來減輕工作負(fù)擔(dān)。例如，一個(gè)研究員每天可能需要閱讀七八十到上百篇的研究報(bào)告，這通常會占用半天的時(shí)間。現(xiàn)在，我們可以通過大模型將多篇研究報(bào)告中的核心觀點(diǎn)進(jìn)行提煉，并生成目錄導(dǎo)航。這樣一來，專業(yè)的研究員能夠更快地定位到報(bào)告中的關(guān)鍵信息。

研報(bào)的關(guān)鍵在于其所提供的增量信息。很多時(shí)候，各大頭部券商發(fā)布的報(bào)告中，80% 的觀點(diǎn)可能是相似的，而真正有價(jià)值的往往是那些差異化、新增的信息，這些信息帶來的附加值更高。因此，我們的大模型不僅會提煉出報(bào)告中的共同點(diǎn)，還會識別并提取出增量信息。同時(shí)，為了增強(qiáng)模型的可信度，我們會對提取出的內(nèi)容進(jìn)行原文追溯，確保能夠找到這些信息的具體來源，無論是哪篇文章、研究報(bào)告還是公告。

從以上幾個(gè)例子中，大家不難看出，盡管我們都是圍繞研報(bào)助手這一核心能力進(jìn)行建設(shè)，但在背后的不同子能力中，都大量應(yīng)用了大模型的理解和表達(dá)能力。這在以前構(gòu)建自然語言處理（NLP）服務(wù)時(shí)幾乎是不可想象的。過去，搭建這樣一個(gè)復(fù)雜的系統(tǒng)可能需要半年甚至更長時(shí)間，每項(xiàng)能力都需要單獨(dú)準(zhǔn)備樣本并進(jìn)行單獨(dú)訓(xùn)練。而現(xiàn)在，通過微調(diào)和檢索增強(qiáng)的方式，可以快速適配各種具體的能力。

7. AI 債券資訊

除此之外，還有面向金融機(jī)構(gòu)的債券分析。我們圍繞各類公告和資訊，可以快速形成標(biāo)簽服務(wù)，包括各種理解、總結(jié)和歸納的能力。

8. AI 智能選股診股

AI 智能選股診股，這對于炒股人員或投資人員來說是一項(xiàng)福利。例如，可以詢問模型“3D 打印現(xiàn)在很火，哪些股票未來可能會從中受益？”類似地，對于《黑神話：悟空》這樣的熱點(diǎn)話題，我們也可以詢問它可能影響哪些股票或相關(guān)概念。如果大家看好這一方向，也可以參考大模型提供的分析結(jié)論，這些結(jié)論會從基本面、技術(shù)面和消息面等多個(gè)角度提供客觀數(shù)據(jù)支持。

9. 產(chǎn)品形態(tài)-Choice 數(shù)據(jù)-下一代智能金融終端

以上就是我們對模型在金融領(lǐng)域的實(shí)踐應(yīng)用，目前這些功能已在我們的 Choice 服務(wù)終端上全面上線。該服務(wù)終端不僅是一個(gè)平臺，它還包括了 APP、PC 端可安裝的客戶端、量化接口以及 API 等多種信息服務(wù)和輸出方式。感興趣的同仁可以關(guān)注我們的平臺。這個(gè)平臺不僅服務(wù)于金融行業(yè)，對于有投資需求或產(chǎn)研需求的用戶也同樣適用，甚至可用于學(xué)術(shù)論文寫作。

想要了解更多關(guān)于東方財(cái)富 AI 相關(guān)的前沿技術(shù)突破、產(chǎn)品進(jìn)展及最新資訊，歡迎關(guān)注“東方財(cái)富 AI”公眾號，這里會第一時(shí)間分享相關(guān)信息。謝謝大家。

四、問答環(huán)節(jié)

Q1：金融領(lǐng)域中大模型落地最有效的場景到底是什么？是否還是 RAG 一類的應(yīng)用？

A1：最有效的應(yīng)用還是在投研和投顧這兩個(gè)方向。包括前面提到的，如何用相對通俗的信息表述方式針對不同人群的需求進(jìn)行信息輸出和解讀，以進(jìn)行投資者教育。另一個(gè)方向是投研，特別是在提高投資研究效率方面。每天有大量的信用信息、公告和研究報(bào)告，將這些信息進(jìn)行整合、重點(diǎn)信息精準(zhǔn)提煉和抽取，是我們看到比較多且有效落地的一些方向。

Q2：請問這個(gè)模型是如何實(shí)現(xiàn)識別投研報(bào)告中的差異化信息的？

A2：從技術(shù)實(shí)現(xiàn)的角度來說，無論是哪種模型或能力，最終都會使用一些提示語（prompt）來引導(dǎo)大模型解決具體問題。這些提示語針對不同的任務(wù)會有不同的優(yōu)化。例如，如果要處理增量信息或差異化信息的識別，通常會遵循這樣的步驟來設(shè)計(jì)相應(yīng)的提示語。如果 prompt 能夠解決問題，那當(dāng)然是通過提示語工程來優(yōu)化提示語，以達(dá)到更準(zhǔn)確的效率。如果提示語解決不了問題，那么我們會考慮使用微調(diào)的方法。如果微調(diào)也無法解決問題，那么可能需要檢查預(yù)訓(xùn)練語料是否存在某些問題。我們通常會以一種從低成本到高成本的方式，逐層解決問題，以提升整體效果。