?簡介

本文開發強化學習代理以支持投資組合管理和優化，結合股票定價數據和替代數據（如SEC文件和新聞頭條）。強化學習適合在線環境，能夠實時反饋和響應，提升決策效果。替代數據編碼進狀態矩陣，幫助代理更好地調整投資組合權重。強化學習模型基于馬爾可夫決策過程，能夠靈活定義不同的獎勵函數以滿足投資者偏好。主要算法為深度強化學習，利用深度神經網絡學習最優策略，目標是最大化未來預期獎勵。強調在狀態空間、獎勵函數和深度學習模型訓練系統上進行優化。

相關工作

論文[1] 通過回顧近期收益和市場指標，使用簡單算法選擇投資組合權重，以最大化差異化夏普比率，并與標準均值-方差優化進行比較。論文[2] 將強化學習應用于技術指標和股票協方差矩陣，使用3D卷積和張量分解提取特征，采用DDPG方法訓練神經網絡策略并進行回測。論文[3] 通過LSTM預測價格變動，結合新聞嵌入和HAN進行狀態空間增強，使用DPG策略訓練并與多個基準投資組合比較，解決環境不確定性和稀疏性問題。論文[4] 討論如何在RL模型中合理納入交易成本，并提供相關實現的GitHub。論文[5] 探索新聞情緒指標，應用多種學習排序算法構建表現強勁的自動交易系統。論文[6] 利用多智能體強化學習，通過懲罰智能體間的相關性，生成多個正交高效投資組合。

數據

收集、存儲和預處理價格數據及替代數據用于交易策略。使用WRDS的CRSP數據，下載2010-2020年S&P100指數股票的基本價格數據（收盤價、最高價、最低價、成交量等）。下載S&P500的市值加權和等權重指數數據作為基準比較。強化學習代理將使用歷史公司價格數據，反映市場對公司的價值。計劃使用新聞標題和SEC文件作為替代數據，增強決策過程和投資組合策略。

SEC備案數據

SEC文件提供公司財務健康和外部風險因素的信息，按統一格式定期提交。這些文件可為公司運營提供未來展望，可能未立即反映在股價中。使用Loughran-McDonald情感詞典計算情感分數，并采用指數衰減法向未來日期前推。從EDGAR數據庫下載S&P100過去30年的10-K和10-Q文件，存儲約115GB。解析器提取10-K的第7/7A項和10-Q的第2項，重點在管理層討論和分析（MD&A）部分，涉及市場風險及其管理。

SEC數據處理和創建張量

解析和清理SEC文件HTML文檔以提取原始文本，使用正則表達式提取10-Q中的Item 1A、7/7A和Item 2。構建數據框，包含公司代碼、文件日期、提取的部分名稱和文本。嘗試使用FinBERT情感評分，但因數據集規模和格式問題，采用修改后的方法創建情感張量。使用Loughran-McDonald情感字典提取正面、負面和中性詞，計算其比例并應用于情感概率。SEC文件按年度或季度記錄，存在報告日期間隔，使用指數衰減填補這些間隔，γ參數調優至≈0.8。

SEC文件數據集統計

數據集包含99個S&P 100成分股的9000多份SEC文件，使用的子集約6100份。每年僅有4份文件，采用衰減前向填充法填補缺失日期。由于公司增減及新上市公司，文件數量不均。情感評分分布呈現明顯的正偏態，表明公司傾向于發布積極的業績和前景信息。在金融危機或市場不佳時，部分公司的情感評分出現下降，例如2013年某些科技公司。

新聞標題數據

公司特定新聞反映投資者情緒變化，影響股價。正面新聞（如收購）可推高股價，負面新聞（如領導變動）可能導致股價下跌。實時情緒信息有助于交易代理超越基準表現。數據獲取和情緒評分方法詳見文檔的相關部分。

每日財經頭條數據集

數據集包含6000多只股票的每日金融新聞，下載自Kaggle，時間范圍為2009至2020年。主要有兩個文件：raw_analyst_ratings.csv（來自Benzinga的分析師評級數據）和raw_partner_headlines.csv（來自其他小型合作出版商的頭條數據）。每行數據包括標題、文章鏈接、出版商、發布時間和股票代碼。將兩個文件的頭條數據合并，形成一個統一的數據集，涵蓋所有S&P 100股票的新聞頭條。

新聞數據處理和創建張量

使用預訓練的FinBERT對2010-2020年間S&P 100公司的新聞標題進行情感分析，生成正面、負面和中性情感概率。開發了一個新函數，通過正負情感概率的比率和中性情感概率來提取單一情感嵌入，使用tanh進行歸一化，得分范圍在-1到1之間。

針對新聞數據的不規則報告日期和數據缺口，采用指數衰減方法調整情感分數，衰減因子γ調優至約0.8。創建了一個名為“NewsHeadlines”的自定義數據集類，使用PyTorch處理新聞標題數據，并實現批量預處理和迭代功能。通過Dataloader對象將數據集分批輸入FinBERT，使用softmax激活函數將原始logits轉換為概率向量，并保存每批的輸出張量。

新聞數據集統計

數據集包含84個S&P 100的股票代碼，70,872條新聞情感嵌入數據。中位數股票在905個交易日內有新聞報道，16個股票缺乏情感數據，數據覆蓋不全。新聞情感分數呈雙峰分布，主要為負面或正面，部分中性，顯示出足夠的情感強度可影響強化學習代理的決策。將實施并改進多篇文獻中的方法，開發利用多個時間段的強化學習系統，最終架構與文獻[3]和[4]相似。

方法

馬爾可夫決策過程問題公式化

狀態 S* 是一個 U × H × C 的 3D 張量，包含歷史價格數據，U 為股票數量，H 為歷史天數，C 為價格類型（收盤/最高/最低）。新聞信息 δ 通過預訓練編碼器處理后，作為額外通道添加到 S*，形成完整狀態張量 S = (S*, δ)。狀態 S 的每一行代表一個股票，包含過去幾天的價格和替代數據，簡單拼接價格數據和新聞嵌入不會影響學習效果。獎勵函數 R 將實驗使用兩種方法：基于投資組合價值變化的利潤獎勵和近似夏普比率的差異夏普比率。動作空間 A 是一個長度為 m + 1 的向量，表示下一個時間段的投資組合，權重和為 1，支持短線交易和杠桿限制。項目旨在實現并復制文獻 [3] 的方法，修改狀態 S 和獎勵 R，探索替代數據源、特征提取方法和獎勵函數的組合，以優化 S&P100 股票的表現。

策略比較

最終模型架構與多種基準金融投資組合選擇模型進行比較，包括：

• 簡單均權投資組合
• 簡單買入持有投資組合
• 持有歷史夏普比率最高的資產

還將測試更先進的基準策略：OLMAR和WMAMR

比較指標包括：

• 累計回報
• 夏普比率
• Sortino比率
• 回撤

實驗部分參考文獻提供了方法論比較的依據。

特殊配置

RL代理在投資組合優化中根據已知信息生成最優投資組合權重。動作空間A為所有可能的投資組合權重，滿足權重之和為1。狀態空間S包含代理在做出投資決策時可用的所有信息，如歷史價格、策略表現和新聞情緒指標。狀態轉移函數T為確定性，基于代理提供的權重更新投資組合并生成下一個狀態。獎勵函數R旨在鼓勵代理生成良好的投資組合權重，可能的形式包括純利潤或差異夏普比率。

差動夏普比

Differential Sharpe Ratio用于評估強化學習代理，基于傳統Sharpe Ratio的概念。傳統Sharpe Ratio定義為預期超額收益與波動率的比率，主要用于策略分析。

強化學習代理需要在每個時間步獲得獎勵，傳統Sharpe Ratio在結束時計算，無法直接應用。Differential Sharpe Ratio通過近似總Sharpe Ratio的變化來解決此問題，利用時刻t的收益R_t更新期望和方差的估計。更新公式為：

A_t和B_t為收益的第一和第二矩的估計。Sharpe Ratio的近似為S_t = A_t / (B_k - A_t)，忽略無風險利率。通過泰勒展開，得出S_t的更新公式，表明Differential Sharpe Ratio為比例導數。

交易成本

在考慮交易成本的情況下，投資組合的價值和收益計算需要調整。設定有效的投資組合權重 ( w_t' ) 和交易成本因子 ( \mu_t )。

交易成本影響投資組合的最終價值，需通過迭代計算確定 ( \mu_t ) 的固定點。賣出和買入資產的交易成本分別由傭金率 ( c_s ) 和 ( c_p ) 決定。通過平衡賣出和買入資產的資金流動，建立方程以求解 ( \mu_t )。

EIIE政策

本文提出了“相同獨立評估者的集成”（EIIE）框架，用于資產的政策評估。通過單一評估函數生成資產的潛在增長分數，使用Softmax計算投資組合權重。定義了特征提取函數fα和權重更新函數gβ，gβ采用多層感知機（MLP）結構。fα可以是卷積神經網絡（CNN）或遞歸神經網絡（RNN/LSTM），并支持多通道數據輸入。該框架在加密貨幣市場的表現優于所有基準策略，易于整合額外數據源（如新聞情感）。

實證結果

實驗測試了不同的替代數據使用、獎勵函數和策略類型組合。訓練期為2010年初至2017年底，測試期為2018年初至2019年底。選擇這10年是因為數據源的最大交集。所有策略在訓練和測試期間均進行了評估，測試時從$1開始，計算投資組合價值。交易成本設定為1%。本節僅展示比較匯總表，因其更易于解讀。

基準投資組合

基準策略包括：Naive Equal、Equal Buy-and-Hold、Best Historical Sharpe、OLMAR、WMAMR和S&P500。大多數基準策略在盈利能力上不及S&P500指數。Equal Buy-and-Hold在凈利潤、Sharpe Ratio和Sortino Ratio上表現最佳。OLMAR和WMAMR策略均落后于市場。Best Historical Sharpe策略表現不佳，波動性高，Sharpe Ratio顯著低于S&P500。所有策略在2018年底至2019年初的市場下跌中經歷了相似的最大回撤。

RL投資組合：歷史價格數據

實驗使用了CNN EIIE、RNN EIIE和標準MLP神經網絡，輸入為過去幾周的股票價格張量，測試了差異夏普比率獎勵和利潤獎勵。使用差異夏普比率獎勵的策略表現平平，顯著低于S&P指數，表明該獎勵難以優化，CNN表現優于RNN和MLP。利潤獎勵下，CNN和RNN表現合理，CNN略優于S&P指數，而MLP顯著惡化，表明利潤獎勵易于學習，小型EIIE模型更穩健，MLP模型則過擬合。統計分析和圖表結果顯示了上述趨勢。

RL投資組合：價格+ SEC數據

增加了SEC情緒評分通道，提升了模型性能。使用Differential Sharpe Ratio獎勵的結果整體表現強勁，但未超越S&P指數。Differential Sharpe Ratio獎勵難度大，限制了最佳表現，但減少了過擬合風險。CNN和RNN EIIE策略表現出色，而MLP策略表現不佳，可能因過于復雜導致過擬合。CNN和RNN策略在使用Differential Sharpe Ratio時是實驗中的強有力競爭者。

RL投資組合：價格+ SEC +新聞數據

新聞數據不如SEC數據規律，且不一致性影響模型表現。結合價格、SEC和新聞情感數據能顯著提升結果。使用Differential Sharpe Ratio獎勵的模型表現較差，CNN和RNN優于MLP，但仍然平庸。使用Profit獎勵時，模型表現顯著提升，CNN EIIE模型為最佳。MLP模型存在嚴重過擬合問題。

對比

SEC+News CNN EIIE策略（利潤獎勵）在凈利潤、夏普比率和索提諾比率上表現最佳。SEC+News RNN策略（利潤獎勵）具有最低的最大回撤。所有訓練策略均優于OLMAR和WMAMR基準。

總結

利潤獎勵函數與差異夏普比率在學習復雜性上存在差異，前者導致更優的投資組合表現。CNN EIIE和RNN EIIE在利潤獎勵下表現更佳，而MLP政策網絡則顯著過擬合。整合新聞數據時，模型學習差異夏普比率獎勵的能力減弱，因數據稀疏和不一致。整合SEC文件數據后，兩個獎勵函數的表現均顯著提升，SEC數據的規律性促進了學習。新聞數據與SEC數據結合使用時，能進一步提升表現，但不規則性對難度較大的獎勵影響顯著。同時整合新聞和SEC數據可實現最佳表現，顯示出全面數據集的潛力。改善數據質量之外，還可通過測試不同特征提取器和正則化技術來提升收益。不同的情感嵌入函數可能更準確或更適合代理使用。

本文轉載自 ??靈度智能??，作者： 靈度智能