Meta發布了 Code World Model (CWM，論文：CWM: An Open-Weights LLM for Research on Code Generation with World Models)，一個擁有32B參數的開源大語言模型（LLM），旨在推動基于世界模型的代碼生成研究。與傳統僅從靜態代碼訓練的模型不同，CWM在大規模 Python解釋器執行軌跡 和 agent性Docker環境交互軌跡 上進行中期訓練，并在可驗證編碼、數學和多輪軟件工程環境中進行多任務強化學習（RL）。CWM為研究者提供了探索世界建模在代碼生成中通過推理和規劃提升能力的強大平臺。

圖片

CWM是一個僅解碼器的密集型LLM，支持最大131k上下文長度訓練。在通用代碼和數學任務中表現優異：在 SWE-bench Verified 達到65.8% pass@1，在 LiveCodeBench 達到68.6%，在 Math-500 上達到96.6%，在 AIME 2024 上達到76%。論文同時發布了中期訓練、SFT和RL階段的模型檢查點，支持研究者進一步探索代碼世界模型。

圖片

軟件開發是LLM應用最活躍的領域之一。從生成小片段代碼到自主編寫完整代碼庫，LLM能力正在迅速提升。然而，高質量代碼的可靠生成仍然具有挑戰性。推動代碼生成的進步，需要新的訓練和建模范式。

傳統預訓練中，代碼被視為文本，模型通過逐行預測學習語法特征。但掌握編程還需要理解代碼執行時的行為：局部變量變化、程序輸出影響等。CWM旨在教授模型這種 代碼世界建模能力。

論文通過兩類觀察-動作軌跡進行中期訓練：Python代碼執行軌跡：動作是Python語句，觀察是局部變量的狀態。模型學習代碼的語義，而不僅是語法；Docker環境中agent性交互軌跡：使用ForagerAgent生成，涵蓋軟件工程場景，如修復錯誤或實現功能。動作包括shell命令或代碼編輯，觀察是環境響應。

CWM采用32B參數密集型解碼器Transformer架構，支持滑動窗口注意力和131k最大上下文長度。其在各種代碼和推理任務中表現優異，也為探索基于世界模型的推理和規劃提供了基礎。

編碼世界模型數據集

CWM在預訓練、中期訓練和后期訓練階段使用了多樣數據集，重點是 Python執行軌跡 和 ForagerAgent交互數據。

可執行存儲庫映像：論文構建了 Docker容器存儲庫映像，支持隔離和可重復執行存儲庫代碼和測試。通過RepoAgent和Actiw流程，論文創建了超過 35k個可執行存儲庫映像，保證了大規模的Python執行數據收集。

圖片

Python跟蹤：論文收集函數級和倉庫級Python執行跟蹤，捕獲每行代碼執行后的局部變量狀態。數據來源包括：

?函數級跟蹤：從在線函數數據集收集，結合模糊測試和LLM生成輸入輸出對，最終超過 120M條跟蹤。

?CodeContests解決方案跟蹤：生成編程競賽問題的Python解決方案，經過篩選和單元測試驗證，最終保留約 33k代碼片段和70k跟蹤。

?倉庫級跟蹤：對超過21k可跟蹤倉庫映像進行跟蹤，最終生成約 70k提交記錄。

論文還生成 自然語言跟蹤數據，將代碼執行逐步解釋為自然語言描述，便于知識遷移和推理任務訓練。

圖片

ForagerAgent是一個LLM驅動的軟件工程agent，與計算環境交互，生成大規模agent數據。任務分為：

1.Mutate-Fix任務：在已有代碼庫中引入合成錯誤，讓agent修復。

2.問題修復任務：使用實際GitHub問題和PR數據，讓agent修復真實軟件問題。

通過近似去重處理，最終收集 3M條軌跡，用于中期訓練，增強模型對agent交互和代碼環境的理解。

代碼世界建模示例

CWM能夠逐行模擬Python代碼執行，并結合環境反饋進行推理。例如，在編程競賽問題中，CWM先生成初步解決方案，再通過輸入-輸出對驗證正確性，并修正預測結果。這種能力展示了 世界模型在agent性編碼和推理中的潛力。

圖片

論文還探索了將執行跟蹤預測集成到自然語言推理中，使模型無需訪問實時環境即可進行穩固推理，未來可用于創建“神經調試器”，支持程序驗證、調試和生成的狀態抽象表示。

架構與訓練

模型架構：CWM是 32B參數的稠密解碼器模型，采用交錯局部和全局注意力塊，滑動窗口注意力支持131k上下文長度。使用SwiGLU激活、RMSNorm和旋轉位置編碼（RoPE），支持長上下文建模。

圖片

兩階段預訓練：通用預訓練：多來源數據，包括編碼、STEM和一般知識；中期訓練代碼世界模型：加入Python執行軌跡和ForagerAgent數據，中期訓練是教授代碼世界建模能力的關鍵階段。

中期訓練數據混合中，CWM特定數據占30%，通用代碼占40%，預訓練復習占30%，并通過多epoch訓練優化下游性能。

后訓練：SFT與RL

SFT：CWM在 監督微調（SFT） 階段訓練，以提高推理能力和指令跟隨能力，使用多樣化內部數據和開放訪問數據，包括agent交互軌跡和推理數據集。引入推理token，使模型可切換推理模式。

RL算法：論文采用 Group Relative Policy Optimization (GRPO)變體，支持 多輪RL 和 異步RL，結合多任務、多回合強化學習，進一步提升CWM在復雜代碼任務中的能力。

圖片