LLM性能最高60%提升！谷歌ICLR 2024力作：讓大語言模型學會「圖的語言」
在計算機科學領域，圖形結構由節點（代表實體）和邊（表示實體之間的關系）構成。
圖無處不在。
互聯網本身就像是一張龐大的網絡圖，甚至搜索引擎所使用的知識也是以圖的形式進行組織和呈現。
但由于LLMs主要在常規文本上訓練，并沒有圖的結構，將圖轉化為LLMs能理解的文本是一項非常復雜的任務。
在ICLR 2024上，一支來自谷歌的團隊探索了如何將圖形數據轉換為適合LLMs理解的形式。
論文地址：https://openreview.net/pdf?id=IuXR1CCrSi
使用兩種不同的方法將圖形編碼為文本，并將文本和問題反饋給LLM的過程
他們還創造了一個名為GraphQA的基準，用于研究不同的圖推理問題解決方法，并演示了如何以一種讓LLM能夠解決圖形相關問題的方式來表述圖相關問題。
使用正確的方法，使得LLMs在圖形任務上最高得以提升60%的性能。
GraphOA：一場對LLMs的「考試」
首先，谷歌團隊設計了GraphQA基準測試，它可以被看作是一門考試，旨在評估LLM針對特定于圖形問題的能力。
GraphOA通過使用多種類型的圖表，確保廣度和連接數量的多樣性，以尋找LLMs在處理圖形時可能存在的偏差情況，并使整個過程更接近LLMs在實際應用中可能遇到的情況。
使用GraphIQA對LLMs進行推理的框架
雖然任務很簡單，比如檢查邊是否存在、計算節點或者邊的數量等等，但這些任務都需要LLMs理解節點和邊之間的關系，對于更復雜的圖形推理至關重要。
同時，團隊還探索了如何將圖轉換為LLMs可以處理的文本，比如解決了如下兩個關鍵問題：
節點編碼：我們如何表示單個節點？節點可以包括簡單整數、常用名稱（人名、字符）和字母。
邊緣編碼：我們如何描述節點之間的關系？方法可以包括括號符號、短語（如「是朋友」）和符號表示（如箭頭）。
最終，研究人員通過系統地結合各種節點和邊的編碼方式，產生了像下圖中展示的那些函數。
圖形編碼函數的例子
LLMs表現怎么樣呢？
研究團隊在GraphOA上進行了三個關鍵實驗：
- 測試LLMs處理圖形任務的能力
- 測試LLMs的大小對性能的影響
- 測試不同圖形形狀對性能的影響
在第一個實驗中，LLMs表現平平，在大多數基本任務上，LLMs的表現并不比隨機猜測好多少。
但編碼方式顯著影響結果，如下圖所示，在大多數情況下，「incident」編碼在大多數任務中表現出色。選擇合適的編碼函數可以極大的提高任務的準確度。
基于不同任務準確度的各種圖編碼器函數的比較
在第二個測試中，研究人員在不同大小的模型上測試了相同的圖形任務。
就結論而言，在圖形推理任務中，規模更大的模型表現更好，
然而有趣的是，在「邊存在性」任務（確定圖中兩個節點是否相連）中，規模并不像其他任務那么重要。
即使是最大的LLM在循環檢查問題上（確定圖中是否存在循環）也無法始終擊敗簡單的基線解決方案。這表明LLMs在某些圖任務上仍有改進的空間。
模型容量對PaLM 2-XXS、XS、S和L的圖推理任務的影響
在第三個測試中，對于圖形結構是否會影響LMMs解決問題的能力，研究人員通過GraphOA生成不同結構的圖形進行分析。
GraphQA不同圖形生成器生成的圖形示例。ER、BA、SBM和SFN分別是Erd?s-Rényi、Barabási-Albert、隨機塊模型和無標度網絡。
結果得出，圖的結構對LLMs的性能有很大影響。
例如，在一個詢問循環是否存在的任務中，LLMs在緊密相連的圖形中表現出色（這里循環很常見），但在路徑圖中表現不佳（循環從不發生）。
但同時提供一些混合樣本有助于LLMs適應，比如在循環檢測任務中，研究人員在提示中添加了一些包含循環和一些不包含循環的示例作為少樣本學習的例子，通過這種方式提高了LLMs的性能。
在不同的圖任務上比較不同的圖生成器。主要觀察結果是，圖結構對LLM的性能有顯著影響。ER、BA、SBM和SFN分別指的是Erd?s-Rényi、Barabási-Albert、隨機塊模型和無標度網絡。
這僅僅是讓LLMs理解圖的開始
在論文中，谷歌團隊初步探索了如何將圖形最佳地表示為文本，以便LLMs能理解他們。
在正確編碼技術的幫助下，顯著提高了LLMs在圖形問題上的準確性（從大約5%到超過60%的改進）。
同時也確定了三個主要的影響因子，分別為圖形轉換為文本的編碼方式、不同圖形的任務類型、以及圖形的疏密結構。
這僅僅是讓LLMs理解圖的開始。在新基準測試GraphQA的幫助下，期待進一步研究，探索LLMs的更多可能性。
