一套針對(duì)金融領(lǐng)域多模態(tài)問(wèn)答的自適應(yīng)多層級(jí)RAG框架-VeritasFi 原創(chuàng)
現(xiàn)有金融 RAG 的兩大痛點(diǎn) ：一是多模態(tài)數(shù)據(jù)（文本 / 表格 / 圖表）的統(tǒng)一處理，二是通用金融知識(shí)與公司特異性需求的平衡。金融領(lǐng)域的問(wèn)答（如分析 SEC 10-K 報(bào)告中的供應(yīng)鏈風(fēng)險(xiǎn)、季度毛利率）需要 “精準(zhǔn)結(jié)合多模態(tài)數(shù)據(jù)、兼顧通用規(guī)則與公司特性、快速響應(yīng)高頻查詢(xún)與實(shí)時(shí)需求。
完整的 VeRitasFi RAG 流水線(xiàn)。該圖展示了三條并行的知識(shí)檢索路徑：多路徑檢索（藍(lán)色）、記憶庫(kù)查找（綠色）和工具使用（紅色）。
圍繞金融領(lǐng)域多模態(tài)問(wèn)答RAG框架VeritasFi展開(kāi)，核心是解決“多模態(tài)數(shù)據(jù)處理”與“通用金融知識(shí)-公司特異性平衡”兩大痛點(diǎn)，VeritasFi是端到端多層級(jí)RAG框架，針對(duì)金融場(chǎng)景（如SEC文件分析），通過(guò)“預(yù)處理-檢索-重排序”流水線(xiàn)，實(shí)現(xiàn)問(wèn)答，性能超越GraphRAG、LightRAG等基線(xiàn)。
三大核心模塊：
- CAKC（知識(shí)萃取）：作為數(shù)據(jù)底座（文檔解析），將“文本+表格+圖表”多模態(tài)文檔轉(zhuǎn)為結(jié)構(gòu)化知識(shí)庫(kù)——先拆分文檔并通過(guò)GPT-4o統(tǒng)一非文本模態(tài)為文本，再經(jīng)去重、共指消解、元數(shù)據(jù)生成增強(qiáng)語(yǔ)義，同時(shí)構(gòu)建高頻記憶庫(kù)（緩存定量查詢(xún)答案）并完成索引。
- THR（三方混合檢索）：檢索核心，先預(yù)處理查詢(xún)（歸一化、分解子查詢(xún)并路由），再并行三條路徑：多路徑檢索（BM25+Dense+元數(shù)據(jù)，深度分析文檔）、高頻記憶庫(kù)（快速響應(yīng)定量查詢(xún)）、工具調(diào)用（獲取實(shí)時(shí)數(shù)據(jù)，如股價(jià)），確保覆蓋全面需求。
- DAR（域到實(shí)體兩階段重排序）：優(yōu)化檢索結(jié)果，先訓(xùn)通用金融重排序模型（用抽象數(shù)據(jù)掩蓋實(shí)體特異性），再通過(guò)自動(dòng)化標(biāo)注數(shù)據(jù)微調(diào)為公司專(zhuān)用模型，用對(duì)比損失提升相關(guān)性判斷，平衡泛化性與特異性。
通過(guò)多模態(tài)統(tǒng)一處理、三方并行檢索、兩階段重排序，實(shí)現(xiàn)“高事實(shí)正確性+低延遲+強(qiáng)公司適配性”，在FinanceBench、FinQA及內(nèi)部數(shù)據(jù)集（Lotus、Zeekr）上表現(xiàn)優(yōu)異。
實(shí)驗(yàn)性能
參考文獻(xiàn)：VeritasFi: An Adaptable, Multi-tiered RAG Framework for Multi-modal Financial Question Answering，https://arxiv.org/pdf/2510.10828v1代碼暫未開(kāi)源
本文轉(zhuǎn)載自????大模型自然語(yǔ)言處理??? 作者：llmnlp
