CMTF：用于金融市場預測的跨模態時間融合框架
準確的金融市場預測需要多樣化的數據源，包括歷史價格趨勢、宏觀經濟指標和金融新聞。現有方法通常獨立處理這些數據，未能有效建模其交互。
本文提出了跨模態時間融合（CMTF）框架，集成異構金融數據以提高預測準確性。實驗表明，CMTF在預測上優于多種基線模型，提升了精度、召回率和F1分數。
摘要
準確的金融市場預測需要多樣化的數據源，包括歷史價格趨勢、宏觀經濟指標和金融新聞。現有方法通常獨立處理這些數據，未能有效建模其交互。本文提出了跨模態時間融合（CMTF）框架，集成異構金融數據以提高預測準確性。CMTF使用注意力機制動態加權不同模態的貢獻，并采用專門的Tensor解釋模塊進行特征提取。引入成熟的自我訓練方案以加速模型迭代，適用于行業應用。在實際金融數據集上，CMTF在股票價格預測方面優于基線模型，提供可擴展的跨模態集成解決方案。
簡介
金融市場預測面臨挑戰，主要目標是準確預測資產價格以獲取利潤。有效市場假說（EMH）認為市場效率限制了超額收益的產生，但存在市場非效率的實證證據。傳統預測模型依賴歷史時間序列數據，深度學習和自然語言處理（NLP）技術的進步使得復雜市場動態和非結構化文本數據的整合成為可能。現有方法面臨三大挑戰：
1) 異構數據整合不足
2) 預測可解釋性差
3) 訓練模式不靈活
本文提出CMTF框架，旨在：
1) 整合多模態數據
2) 確保預測可解釋性
3) 自動化訓練方案以快速迭代和超參數調優
CMTF框架的主要貢獻在于：
1) 提出多模態Tensor表示，系統對齊異構信號
2) 設計稀疏Tensor解釋框架，確保可解釋和可操作的預測
3) 在FTSE 100指數股票上進行實驗，CMTF在預測上優于多種基線模型，提升了精度、召回率和F1分數。
相關工作
多模態
多模態學習在金融預測中融合結構化和非結構化數據的進展。時間融合transformer在處理低頻財報時存在固定時間對齊的問題。跨模態transformer對齊日常X數據與歷史價格趨勢，但忽略了模態頻率不匹配。動量transformer結合技術指標與注意力機制，捕捉動量驅動的市場狀態，但缺乏同步不同粒度數據的機制。盡管預測性能良好，這些模型在結果解釋性上存在不足，限制了其在實際金融決策中的應用。
金融時間序列預測
現代金融時間序列預測越來越多地采用混合架構，Informer是針對時間序列預測優化的變種，降低了推理成本。針對高頻交易數據，設計了基于強化學習的框架，使用波動性敏感獎勵。不同模型拓撲的效率被探討，圖形拓撲將股票視為節點，傳統多時間序列模型則將每只股票視為獨立時間序列。Autoformer利用自相關分解市場趨勢和季節效應，但僅限于單模態輸入，無法適應突發市場變化。大多數模型直接使用預處理數據，未解決多模態非結構化數據處理的復雜性。
可解釋性
工業應用中，金融預測模型的可解釋性至關重要，需提供可操作的決策洞察。現有的后期解釋工具（如注意力圖和顯著性方法）缺乏經濟基礎。新的深度學習架構如Temporal Routing Adaptor通過動態路由學習交易模式，但解釋性有限。Domain-Adaptive Neural Attention Network通過跨模態注意力對齊新聞情緒與價格變動，但降低了對特定模態的歸因解釋。深度強化學習框架通過歷史回報模式生成注意力熱圖，識別動量行為，但未能區分因果顯著因素與統計相關性。
預備知識
符號
CMTF模型的關鍵符號：時間步??和時間步集合??。??為融合后的輸入特征數量，??為預測的目標股票數量。輸入Tensor ?? ∈ R?? × ??包含所有時間的編碼特征。模型預測下一個時間步(?? + 1)的??只股票的收盤價????? +1。?? ?、?? ??、?? ??、?? ??分別表示歷史數據、宏觀指數、新聞和財報的結構化Tensor。
任務定義
本文針對金融市場預測的分類任務，目標是預測股票價格的漲跌方向。在每個時間步??，定義二分類標簽表示價格變動的真實方向。采用簡單的二分類方法，利用收盤價的變化來判斷價格是上漲（1）還是下跌（0）。分類模型旨在最小化預測方向與真實方向之間的二元交叉熵損失。
方法
CMTF框架包含四個組件：Tensor表示、Tensor編碼、Tensor解釋和基于transformer的預測模型。
Tensor表示
本文使用結構化數據和非結構化文本數據，重點處理文本數據。針對新聞數據，采用CatBoost提取分類Tensor ????，結合文本信號和市場技術指標。CatBoost的損失函數包括L2正則化和編碼穩定器，優化模型參數??。
針對財務報告數據，使用大型語言模型（LLM）生成五維評分向量??，并映射到結構化特征空間，形成Tensor ????。
最終獲得四種Tensor：歷史數據???、宏觀指標????、新聞數據????和財務報告????，為后續編碼做準備。
Tensor編碼
事件驅動模型中的影響通常會持續較長時間，因此采用加權移動平均（WMA）來建模影響的衰減。WMA為近期觀察賦予更高權重，以反映事件隨時間的影響減弱。
??表示固定窗口大小，??表示觀察時間的延遲。
計算WMA后，應用時間融合（TF）到所有Tensor。
最終特征集通過連接多個Tensor形成。
Tensor解釋
提出了一種可解釋的特征選擇框架，用于解碼金融Tensor中的跨模態交互，結合了時間稀疏性和穩定性分析。
相關性引導預選擇：通過均值絕對相關性閾值消除多重共線性特征。
時間特征擴展：構建滯后特征以捕捉市場延遲反應，采用一階時間卷積。
多任務組稀疏性：通過凸時間組LASSO目標，選擇最相關特征，鼓勵特征層面的稀疏性。
穩定性選擇：通過多數投票保留在時間折疊中具有持久預測能力的特征。
事件驅動預測模型
事件驅動預測模型包含transformer和預測器，快速更新超參數，使用過濾特征X。
transformer結構：
- 編碼器包括多頭注意力（MHA）、前饋層（FFN）、位置編碼（PE）和層歸一化。
- 輸入H_l結合原始特征嵌入和位置編碼。
- 計算查詢Q、鍵K和值V矩陣，使用softmax歸一化注意力分數。
輸出預測：從最后時間步的隱藏狀態x_T生成預測P_t+1。
優化器：使用Optuna框架，采用異步逐步減半算法，快速更新超參數。
預測器：
- 樹結構Parzen估計器（TPE）：建模超參數x與目標函數y的概率。
- 協方差矩陣適應進化策略（CMA-ES）：基于最佳候選的加權和更新均值M。
CMTF的實證分析
本文分析CMTF的實證效果，旨在回答三個研究問題：
- CMTF在金融市場預測中的有效性如何？
- CMTF各個模塊的有效性如何？
- Tensor解釋模塊的敏感性對性能的影響如何？
數據集
數據覆蓋1360天（2019年2月4日-2024年5月22日），包括結構化金融數據和來自五家FTSE 100上市公司的非結構化文本數據（殼牌、聯合利華、英美煙草、BP、帝亞吉歐）。選擇美國和英國的宏觀指數以代表全球和目標市場的宏觀經濟。數據按時間順序分為訓練集（804天）、驗證集（268天）和測試集（268天）。最終Tensor結構保留市場波動（價格）、宏觀指數（債券/GDP/CPI）和公司披露（新聞/報告）之間的跨模態交互。
配置
評分維度：風險、市場條件、監管、ESG和創新，評分范圍1到9，數據來自Llama3。
基線模型：ARIMA自動選擇參數，LSTM使用50個單元和ReLU激活，訓練200輪；SVR使用線性核，為每個目標變量訓練單獨模型并計算平均結果。
與基線比較
我們的框架與多種預測模型進行基準測試，涵蓋從可解釋的線性統計模型到神經網絡架構的廣泛方法。
不用模型：
- 零變動預測：明日收盤價等于今日收盤價，明日方向與今日方向相同。
經典統計模型：
- 線性回歸：通過最小化平方殘差擬合線性關系。
- ARIMA：結合自回歸、差分和移動平均，捕捉非平穩時間序列的依賴性、趨勢和季節性。
機器學習方法：
- 隨機森林：通過多個去相關決策樹的預測聚合，減少過擬合。
- 支持向量回歸（SVR）：將輸入映射到高維空間，優化邊際敏感損失函數。
深度學習架構：
- LSTM：通過門控機制建模長期序列依賴，減輕梯度消失問題。
- Encoder-only transformer：利用自注意力機制編碼時間序列的位置信息和時間關系。
評估指標
用精確度、召回率和F1分數評估模型性能，數值越高表示性能越好。
定義分類指標：TP（真正例）為正確預測價格上漲，TN（真負例）為正確預測價格下跌，FP（假正例）為錯誤預測價格上漲，FN（假負例）為錯誤預測價格下跌。
專注于分類指標，避免使用回歸任務中的誤差指標，因為零變化模型通常會返回較低的RMSE和MAPE。
RQ1：性能比較
CMTF框架在分類任務中表現優異，召回率達到84.88%，F1-score為0.64，超越所有基線模型。隨機森林的F1-score為0.60，召回率71.10%，雖然有效，但低于CMTF。CMTF的優勢在于有效整合異構數據源，利用Tensor分解捕捉跨模態依賴，提升預測準確性。
RQ2：消融分析
進行了CMTF框架的消融研究，分析了Tensor Interpretation模塊（I）、新聞數據（N）和財務報告（R）的影響。
在禁用Tensor Interpretation（-I）且包含新聞和財務報告（+N, +R）時，分類的召回率最高為80.09%，F1-score最佳為0.61。
文本模態對預測市場走勢方向至關重要，可能因其能捕捉情緒和基本面變化。
RQ3：模塊靈敏度
進行消融研究，比較不同基線方法在有無Tensor Interpreting (+I)情況下的表現。Precision在各模型中保持穩定，表明Tensor Interpreting不影響類別可分性。Recall顯著提升，尤其在Transformer和LSTM模型中，表明+I有助于識別更多相關模式。結果確認Tensor Interpretation提升分類性能，特別是對依賴特征變換的模型（如SVR、LSTM、Transformer）。
討論
缺乏公開的標準化多模態和跨模態金融預測數據集，限制了研究的廣泛適用性。現有研究未能有效整合非結構化數據（如文本）到預測模型中。數據隱私問題導致一些多樣化數據集無法公開，影響了可重復性和基準測試。
未來工作可探討財報與新聞之間的情感關聯，分析其單獨貢獻以提高CMTF框架的可解釋性。簡單模型（如SVR）表現良好，提示非結構化數據在次日價格預測中的相關性較低，需進行任務特定模型選擇。探索簡單模型為何優于復雜模型的情況，有助于理解多模態方法的局限性和最佳應用場景。
總結
本文引入跨模態時間融合（CMTF）框架，基于Transformer的深度學習模型，用于金融市場預測。CMTF有效捕捉歷史價格趨勢、宏觀指數和文本金融數據之間的交互。實際金融數據集表明，CMTF在分類任務上優于所有基線模型。探索模型可解釋性，分析不同模態數據的重要性，并適應市場動態變化。CMTF不僅是金融市場預測模型，還是處理多模態數據的強大框架。
本文轉載自????靈度智能????，作者：靈度智能
