ACL 2025 | GALLa：給代碼大模型裝上“透視眼”，看懂程序的“骨架”！
- 你的 AI 編程助手，真的“讀懂”你的代碼了嗎？
- 它可能只是“看”到了表面文字，卻錯過了代碼背后真正的邏輯骨架。
今天，我們帶來了一項被 ACL 2025 主會錄用的創新工作——GALLa。這項由螞蟻集團 × 上海交通大學合作的研究，通過一種巧妙的方式，讓代碼大模型（Code LLM）學會理解程序的深層結構，實現代碼理解能力的精準躍升！
? 核心亮點速覽
- 注入結構化知識代碼不僅是文本，更是嚴謹的圖結構（如 AST、DFG）。我們利用圖神經網絡（GNN）將這些“代碼骨架”信息注入大模型，讓它知其然，更知其所以然。
- 即插即用，推理無開銷GALLa 只在訓練階段引入圖信息，訓練完成后，模型推理方式與普通 LLM完全一致。不改變模型架構，不增加部署成本，堪稱“無痛增強”。
- 性能全面提升在7 個不同系列、不同參數量的模型以及5 個主流代碼任務上的實驗證明，GALLa 能夠穩定、有效地提升所有基座模型的性能。
> 本文已被自然語言處理頂會 ACL 2025 主會接收。> - arXiv: https://arxiv.org/abs/2409.04183> - GitHub: https://github.com/codefuse-ai/GALLa> - Hugging Face: https://huggingface.co/datasets/codefuse-ai/GALLa
當大模型“閱讀”代碼時，它錯過了什么？
與自然語言不同，編程語言背后是精確的語義和邏輯，這些邏輯通常通過抽象語法樹（AST）、數據流圖（DFG）等圖結構表示。它們就像建筑的藍圖，揭示了程序的真正構造。
然而，大多數代碼大模型（如 DeepSeek-Coder、Qwen-Coder）都選擇了一條“捷徑”：把代碼當成普通文本處理，這無疑丟失了大量寶貴的結構信息。
此前的嘗試也存在明顯缺陷：
- “拍扁”成文本：將圖結構線性化成字符串，無法表達復雜圖（如帶環 DFG），信息損失嚴重。
- “大動干戈”改結構：修改注意力掩碼或位置編碼，破壞預訓練知識，難以擴展。
> 有沒有一種方法，既能利用圖的強大能力，又不破壞大模型優美的原始結構？
GALLa 的“獨門秘籍”：如何優雅地注入圖結構？
我們的答案是：GALLa（Graph Aligned Large Language Models）
我們借鑒多模態領域的成熟經驗，設計出 GALLa 框架。其核心思想是：
> 在微調階段，把代碼的圖結構信息“教”給大模型，但不去修改它原本的“大腦結構”。
框架三大模塊
模塊 | 作用 |
?? 圖神經網絡（GNN） | 專業的“圖閱讀器”，讀取 AST/DFG，輸出節點深層語義表示。 |
?? 適配器（Adapter） | 跨界的“翻譯官”，將圖特征向量轉換為 LLM 能理解的“圖 Token”。 |
?? 大語言模型（LLM） | 學習的“最強大腦”，接收“圖 Token + 文本 Token”，統一處理。 |
GALLa 整體框架圖
兩階段訓練法：讓知識注入更絲滑
為了讓 GNN 和適配器這兩個“新兵”不干擾 LLM 這個“老將”，我們設計了兩階段訓練流程：
階段一：熱身與對齊（Frozen LLM）
- 目標：讓“新兵”快速成長。
- 做法：凍結 LLM 參數，只訓練 GNN + 適配器。
- 任務：Graph2Code—— 給模型一張代碼結構圖，讓它寫出對應源代碼。
- 效果：GNN 學會將圖信息有效“翻譯”給 LLM。
階段二：協同與升華（Full Fine-tuning）
- 目標：三大模塊協同進化，全面提升能力。
- 做法：解鎖 LLM 參數，端到端聯合訓練。
- 任務：
- Graph2Code：鞏固圖→代碼生成能力。
- GraphQA：根據圖結構回答問題，如“這個節點的父節點是誰？”
- 下游任務：用純文本微調代碼翻譯、總結、Bug 檢測等任務。
GALLa 訓練流程圖
GALLa 的“魔法”：智能訓練，極簡推理
GALLa 最具吸引力的一點是：
> 所有與圖相關的復雜操作，都只發生在訓練階段。
- 訓練完成后，GNN 和適配器“退役”，只保留微調后的 LLM。
- 推理階段，模型像普通指令微調模型一樣，直接接收文本輸入，輸出結果。
兩大優勢
- 推理效率高：無需每次請求都解析代碼、構建圖，避免巨大延遲。
- 適用性更廣：對于不完整或有錯的代碼（如 Bug 修復場景），無需構建圖，完美適配。
效果怎么樣？讓實驗數據說話！
我們在 7 個不同模型家族（如 Qwen2.5-Coder 14B、LLaMA3 8B）和 5 個主流代碼任務上驗證 GALLa 的威力。
多任務微調結果（節選）
模型 | 任務 | Baseline | G2C | G2C+GraphQA | 提升 |
CodeGen-350M | 翻譯/克隆/修復 | 56.9 | 35.2 (+1%) | 36.6 (+5%) | ? |
StarCoder-1B | 同上 | 14.0 | 16.7 (+20%) | 18.9 (+36%) | ? |
Qwen2.5-Coder-1.5B | 同上 | 39.3 | 44.1 (+12%) | 44.2 (+12%) | ? |
LLaMA3-8B | 同上 | 44.6 | 45.0 (+1%) | 45.4 (+2%) | ? |
Qwen2.5-Coder-14B | 同上 | 42.3 | 44.2 (+4%) | 46.0 (+9%) | ? |
> 注：G2C = Graph2Code，GraphQA = 圖問答任務。> 所有結果均為多任務平均分數，單位：%。
多任務實驗結果圖
消融實驗
我們還探索了不同適配器（MLP vs Attention）、不同圖類型（AST vs DFG）的影響，進一步驗證了 GALLa 的靈活性與有效性。
消融實驗結果圖
未來展望：從代碼片段到整個倉庫
GALLa 的成功只是一個開始。我們團隊進一步開發了更強大的 Code Graph Model（CGM），將圖結構融合擴展到倉庫級別。該模型在 SWE-bench 等權威榜單上取得了開源模型 SOTA！
- 論文（NeurIPS 2025）：https://arxiv.org/abs/2505.16901
- 開源代碼：https://github.com/codefuse-ai/CodeFuse-CGM
本文轉載自??PaperAgent??
