本文的主要作者來自香港大學的數據智能實驗室 (Data Intelligence Lab@HKU)。第一作者是香港大學的博士后夏良昊，指導老師為黃超教授。香港大學數據智能實驗室專注于人工智能和數據挖掘的研究，涵蓋大語言模型、圖神經網絡、信息檢索、推薦系統和時空數據挖掘等領域。實驗室的研究成果在多個頂級會議上（如 WWW、SIGIR、KDD）獲得了諸多榮譽，包括最具影響力論文和最佳論文候選。

AnyGraph 大模型，圖模型泛化性的突破，致力于解決以下關鍵技術挑戰：

• 結構異質性：應對圖結構信息中的分布偏移。
• 特征異質性：處理跨圖數據集的多樣特征表示。
• 快速適配：使模型迅速適應新的不同的圖學習領域，展現敏捷適應力。
• 大模型能力涌現：隨著數據量和模型參數的增長，性能顯著提升，釋放模型潛能。

AnyGraph 的主要特點：

• 圖混合專家（GraphMoE）：采用一系列專家模型，巧妙解決跨域異質性問題。
• 輕量級圖專家路由機制：快速適應策略，使模型能夠迅速響應新的數據集和領域。
• 自適應且高效的圖專家模型：專為處理具有廣泛圖結構模式和特征空間的模型而定制設計。
• 廣泛訓練和測試：在 38 個多樣化的圖數據集上經過嚴格驗證，展現出卓越的泛化能力和模型擴展性，證明了其涌現能力。

作為一種重要的數據形式，圖數據在社交網絡、學術網絡、交通系統和生物網絡等多個領域有廣泛應用。圖模型，例如圖神經網絡（GNN），學習圖中節點的表征向量，來捕捉結構信息和節點上的特征信息，從而進行準確預測。

近年來，圖學習領域取得了顯著進展，主要得益于圖神經網絡（GNNs）的強大功能、一些微調方法的提出、以及最近一些將圖數據空間與自然語言空間進行對齊的嘗試。然而，當前最先進的圖模型在跨領域的泛化性能上仍顯不足。

現有方法往往嚴重依賴繁瑣的微調過程，難以應對真實圖結構復雜、多樣化的特點。這種無法快速無縫適應新圖域的能力，阻礙了圖學習技術的廣泛應用。因此，解決這一挑戰，搭建一個具有跨領域、強泛化性能的圖基礎模型，對于圖學習領域至關重要。

為此，研究團隊推出 AnyGraph, 首次揭秘圖大模型的 Scaling Law。

• 論文鏈接: https://arxiv.org/pdf/2408.10700
• 項目地址: https://github.com/HKUDS/AnyGraph
• 實驗室主頁: https://sites.google.com/view/chaoh

考慮到圖數據的特點，以及受到語言和圖像數據基礎模型的啟發，研究團隊致力于解決以下幾個關鍵問題：

• 結構異質性：不同應用領域的圖數據在結構上可以存在極大的差別，例如節點的平均度數、緊密子圖出現的頻率、噪音和缺失邊數據的比例等。圖結構模式的多樣性，對圖基礎模型的容納能力提出了嚴重的挑戰。
• 特征異質性：作為圖數據的重要組成部份，節點特征在不同數據集中卻存在普遍且極大的差異。例如，有的數據集采用離散的類別特征，有的可能采用連續的數值特征，有的采用文本語意 embedding，有的采用圖結構的統計信息。此外，不同數據集的節點特征在向量維度這一基本特點上甚至都具有極大的差異。如何使圖基礎模型在零樣本情況下處理不同圖的異質特征，是一個關鍵挑戰。
• 快速適應以實現廣泛應用。有效的圖基礎模型的關鍵能力之一是能夠高效地適應新的圖數據集和領域。理想模型應能夠迅速調整其參數和學習策略，以處理之前未見過的圖數據集的結構和分布特征，而無需進行大量的重新訓練或微調。
• 圖基礎模型的擴展定律與變革性能力。在計算機視覺和自然語言處理等領域中，成功的基礎模型具有一個關鍵特性 —— 擴展定律（Scaling Law），即隨著模型大小或訓練數據集的增加，性能會系統地提升。探索圖基礎模型是否適用這一定律，也是本文研究的一個重要問題。

為了解決上述問題， AnyGraph 提出了以下關鍵性技術。

圖 MoE 模型

不同圖之間巨大的結構和特征差異，促使我們采用一種更 “松散” 的模型架構。AnyGraph 的 MoE 架構使用完全不同的專家模型來處理差異極大的圖數據，模型無需在高度耦合的單個神經網絡中巧妙地容納不同數據的建模和處理過程。

具體來說，AnyGraph 的 MoE 架構包含多個圖數據專家模型，每個專家模型均能對所有輸入的圖數據進行處理和預測，但所擅長的領域和模式不同。例如，有的專家模型擅長處理文本 embedding 特征，有的擅長處理圖的鄰接矩陣特征；有的專家模型擅長處理稠密數據，而有的擅長處理稀疏數據。

為了向每個專家模型分配適合的任務，AnyGraph 設計了一種專家路由機制，在訓練和測試過程中，基于專家模型對數據的擅長程度進行匹配。

基于這一 MoE 架構，AnyGraph 對圖數據的知識存儲在不同的專家模型中，而不同的專家模型不需要進行相互的協調和耦合，從而更容易地容納圖數據之間的巨大差異，解決跨領域情況下的結構和特征異構性問題。

此外，MoE 架構使得 AnyGraph 僅需使用幾分之一的模型參數，就可以完成單個大模型具備的訓練和預測效果，大大提升了模型的快速適應能力。

下圖展示的消融實驗中，我們驗證了采用單個模型（-MoE）相對于使用 MoE 架構的劣勢。

輕量化的圖專家路由機制

專家模型路由負責為輸入的數據集匹配適合的專家，以進行更準確的預測、以及更適當的專家訓練。

受到圖自監督學習的啟發，我們的圖專家路由采用一種自監督損失，來衡量不同專家模型完成不同數據集的能力，以進行匹配。

在不引入額外標簽數據的情況下，我們的自監督任務損失可以準確衡量專家模型處理不同圖數據的誤差程度。在模型調試過程中，我們發現這一自監督路由算法與遍歷所有分配情況所得到的最優分配方案相差無幾。

下圖展示了我們的路由機制對數據集的分配情況，可以看到，相關的數據集總是被分到同樣的專家模型中，例如 arxiv-ta, Photo, GReads, Fitness 等使用同樣特征空間的數據集，以及 ML1M 和 ML10M 這兩個同源數據集。此外，路由算法的準確性，不僅可以在訓練數據集上觀察到，在下圖右半部分中，模型從未見過的測試數據集也可以進行準確路由。這體現了 AnyGraph 路由機制的通用性和模型的泛化性能。

自適應且高效的圖專家

結構和特征的異構性，在模型設計的底層帶來了諸多挑戰，例如模型如何處理不同維度的特征向量、如何處理二維可變長的鄰接矩陣、圖專家如何設計可以高效處理不同圖類型的變換和預測。

我們的圖專家模型采用奇異值分解 SVD 方法對鄰接矩陣和節點特征矩陣進行了維度統一。同時，這種統一的特征處理過程，具有一定的語義統一性，為跨數據集的零樣本預測打下了基礎。

由于我們在高層采用了 MoE 架構集成多個預測模型，我們在單個圖專家中采用了簡單的 MLP 網絡，希望所有的建模問題都能通過采用合適的特征變換來解決。這樣做大大增強了模型的效率，使 AnyGraph 甚至在訓練效率上超過傳統的圖網絡模型。

下圖實驗對比了 AnyGraph，以及普通的 GCN 方法、預訓練方法 GraphCL 三種方法，在不同數據集下測試它們訓練 100 個 step 所花費的時間。可以看到，盡管 AnyGraph 采用了更多的參數、更大的模型，但由于單個專家模型的高效性，訓練時間與簡單的基線方法相近、甚至更少。

此外，文章進一步探究了不同模型在應對新數據時的快速適應能力。下圖實驗對比了三種方法隨著訓練步數的增加，在訓練數據集上性能的提升曲線。實驗對比的方法包括對一個隨機初始化的 GCN 模型進行從頭訓練、對一個預訓練的 GraphCL 模型進行微調、以及對預訓練的 AnyGraph 進行微調。

首先，可以觀察到 AnyGraph 在未經微調時的零樣本預測效果遠優于兩種基線方法。這源于 AnyGraph 出色的跨領域和零樣本泛化能力。其次，AnyGraph 的效果曲線更快到達收斂狀態，這體現了使用 MoE 架構、選擇合適且高效的專家模型進行微調，可以更快地進行模型適應。此外，可以觀察到 GraphCL 的預訓練在 PPA 數據集上不僅沒有為它帶來性能的優勢，反而對學習新數據造成了負面影響。這體現了圖模型進行跨領域遷移的困難，這源于不同領域圖數據巨大的異構性。

廣泛訓練和測試

數據集

AnyGraph 采用了共 38 個數據集進行訓練和測試，數據集涵蓋了電商、學術網絡、生物信息網絡、交通網絡、網頁關聯網絡、社交網絡等多個類別。共包括 14,437,372 個節點和 199,265,688 條邊。不同數據集采用的節點特征方法不同，囊括了無節點特征、不同的文本 embedding 方法、詞袋特征、類別特征等不同的方法。具體數據集統計信息如下所示

為了更好地觀測模型在大規模測試中的性能，我們將測試數據集分為了多個不同的集合。不同集合之間不包含同源數據集，例如收集自同一個網絡服務平臺；不同集合的數據集之間也不共享特征構建方法，例如同一種文本 embedding 方法，只可能出現在 Link1 和 Link2 兩個集合的其中之一。通過這種方式，模型在零樣本測試時完全未接觸過測試數據的數據源和特征方法，能測試模型更真實的零樣本性能表現。

文章提供了兩個版本的預訓練模型，分別在 Link1 和 Link2 兩個集合上訓練得到。在零樣本測試中，這兩個模型只會被用于測試它們未見過的數據集。例如使用在 Link1 上訓練的模型測試 Link2 上的表現。在測試 Ecommerce、Academic、Others 這些包括了 Link1 和 Link2 兩類數據集的情況時，文章分別采用兩個預訓練模型，對未見過的數據集進行測試，再整合計算數據集合的整體預測性能。

AnyGraph 的零樣本預測性能

AnyGraph 在零樣本預測上的效果如下所示：

除了與現有圖模型的少樣本預測能力進行對比，文章還對比了現有的其他圖基礎模型，一個是基于文本特征的 GraphGPT，一個是基于結構特征的 OpenGraph。可以看到，在更多數據集的泛化性能測試上，AnyGraph 取得了更好的效果。并且，文章還對比了一個除了文本特征的消融版本 AnyGraph-F，從而驗證了 AnyGraph 對結構和文本兩種特征均能進行有效的利用。

AnyGraph 的擴展定律

為了探索 AnyGraph 的性能增長是否符合擴展定律（Scaling Law），文章調整了 AnyGraph 的模型參數量和訓練數據量。前者通過調整模型的表征維度、網絡層數、專家數量，而后者通過從小到大增加訓練數據集的數量。

測試效果如下所示，該實驗分為對跨領域數據集的測試，以及對單個領域跨數據集的測試。在每個子圖的實驗中，包含了以下三項：

• 左：在模型參數量影響下，對未見過數據集的零樣本預測性能變化
• 中：在模型參數量影響下，對訓練過數據集的全樣本預測性能變化
• 右：在訓練數據量影響下，對未見過數據集的零樣本預測性能變化

從結果可以得出以下幾點結論：

• AnyGraph 的零樣本能力遵循 Scaling Law：雖然模型的全樣本預測能力出現了增長的飽和，但其零樣本能力隨著參數量和數據量的增長不斷上升，這說明 AnyGraph 模型的零樣本能力遵循 Scaling Law，這一觀測結果有兩個重要原因，首先是測試的任務需要具備一定的難度，全樣本預測只需要模型在訓練數據集上具備泛化能力，相對較為簡單，因此容易出現性能增長的飽和；而跨數據集、跨領域的零樣本預測挑戰性高，仍有很大的增長空間。其次，AnyGraph 的 MoE 架構使得它更容易容納不同數據集的多樣化圖數據模式，從而具備更大的潛力隨著參數量和數據量的增大而提升。
• AnyGraph 的涌現能力：在測試曲線中常常可以觀測到，模型性能常常在經歷了一定的增長停滯后，出現突變式提升。這符合在視覺和文本大模型中觀測到的涌現能力特點，說明 AnyGraph 具備了產生變革式泛化能力的基礎。
• 不足的訓練數據引入 bias：在數據量增長實驗中可以觀察到一個典型的特征，在早起的數據量增長中，模型性能經歷了一個斷崖式的下跌，這是由于訓練數據不足，而新引入的訓練數據與測試數據集存在較大的偏離，導致模型訓練存在較大的 bias。這一問題可以通過擴大訓練數據量解決，這樣做不僅增強了模型性能，也可以增強訓練的魯棒性。

總結

AnyGraph 框架是一個高效且有效的圖基礎模型，專為應對不同圖數據集中結構和特征異質性的多方面挑戰而設計。AnyGraph 采用創新性的專家混合（MoE）架構，并結合動態專家路由機制，使其在跨域泛化能力方面達到了最先進的水平。在 38 個不同的圖數據集上進行的廣泛實驗不僅突顯了 AnyGraph 在零樣本學習性能上的卓越表現，還證明了其對分布偏移的魯棒性以及其遵循規模定律的能力，從而隨著模型大小和數據量的增加而提高了預測精度。該模型在訓練和推理效率上的表現，通過與現有方法的比較得到了驗證，進一步鞏固了其實際應用性。