時空預測技術致力于深入分析和預測動態的城市環境，它不僅關注時間的變化，也考慮空間的布局。這項技術的目標是揭示城市生活中交通、人口遷移和犯罪率等各個方面的未來趨勢和模式。盡管許多研究集中于利用神經網絡來提高時空數據預測的準確性，但這些方法通常需要大量的訓練數據來生成可靠的時空特征。

然而，在實際的城市監測場景中，數據往往不足，特別是在某些情況下，收集有標記的數據變得非常困難，這進一步加劇了挑戰。因此，開發一個能夠適應不同時空背景并具備強大泛化能力的模型顯得尤為關鍵。

受到大型語言模型（LLMs）在多個領域的顯著進展的啟發，香港大學、華南理工大學等機構的研究人員發布了一個全新的時空大語言模型UrbanGPGT，將時空依賴的編碼器和指令微調技術相結合，其目標是開發一個能夠廣泛適用于城市任務的時空大型語言模型。

項目鏈接：https://urban-gpt.github.io/

代碼鏈接：https://github.com/HKUDS/UrbanGPT

論文鏈接：https://arxiv.org/abs/2403.00813

視頻展示：https://www.bilibili.com/video/BV18K421v7ut

這種結合使得模型能夠深入理解時間和空間的復雜關系，并在數據有限的情況下提供更全面和精確的預測。

為了測試這一方法的有效性，我們在多個公共數據集上進行了廣泛的實驗，這些實驗涉及多種時空預測任務。實驗結果一致顯示，UrbanGPT 在性能上始終超越了現有的頂尖模型。這些成果證明了在數據標記較少的情況下，利用大型語言模型進行時空學習的巨大潛力。

概述

現有挑戰

C1. 標簽數據的稀缺性與重新訓練成本高昂：盡管現有的時空神經網絡在預測準確性方面表現出色，但它們對大量標注數據的依賴性極大。

在實際的城市監測環境中，數據的稀缺性是一個顯著的障礙。例如，考慮到成本問題，在整個城市范圍內部署傳感器來監測交通流量或空氣質量是不現實的。此外，現有的模型在面對新的地區或城市預測任務時，往往缺乏足夠的泛化能力，需要重新訓練才能生成有效的時空特征。

C2. 大型語言模型和現有時空模型在零樣本場景下的泛化能力不足：如圖2所示，大型語言模型LLaMA能夠根據輸入文本推斷流量模式。然而，它在處理具有復雜時空依賴性的數字時間序列數據時，有時會出現預測失誤。

與此同時，雖然預訓練的基線模型在編碼時空依賴關系方面表現良好，但它們可能會因為過度適應源數據集而在零樣本場景中表現不佳。

C3. 將大型語言模型的推理能力擴展到時空預測領域：時空數據的獨特性質與大型語言模型中編碼的知識之間存在顯著差異。如何縮小這種差異，進而構建一個在廣泛的城市任務中具有卓越泛化能力的時空大型語言模型，是一個亟待解決的重要問題。

圖1：與LLM和時空圖神經網絡相比，UrbanGPT 在零樣本場景下有著更好的預測性能

現有挑戰

（1）據我們了解，這是首次嘗試創建一個能夠跨多個數據集預測各種城市現象的時空大型語言模型，特別是在訓練數據有限的情況下。

（2）本文介紹了一個名為UrbanGPT的時空預測框架，它允許大型語言模型深入理解時間和空間之間的復雜聯系。通過將時空依賴編碼器與指令微調技術緊密結合，有效地將時空信息融入語言模型中。

（3）在真實世界數據集上進行的廣泛實驗驗證了UrbanGPT在零樣本時空學習環境中的卓越泛化能力。這些結果不僅展示了模型在預測和理解時空模式方面的高效性，還證明了其在缺乏樣本的情況下依然能夠提供準確的預測。

方法
  

圖2：UrbanGPT 整體框架

時空依賴編碼器

盡管大型語言模型在處理語言文本方面取得了顯著成就，但它們在解析時空數據中的時序變化和動態模式時仍存在挑戰。

為了應對這一問題，本研究提出了一種創新的方法，即整合時空依賴編碼器，以提升大型語言模型在捕捉時空上下文中的時間序列依賴性的能力。

具體來說，我們設計的時空編碼器由兩個核心組件構成：一個是門控擴散卷積層，另一個是多層次關聯注入層。

上式 為初始化時空嵌入，從原始時空數據中獲取。Er'是Er的切片，用于進行殘差操作以緩解梯度消失。

我們使用一維擴散卷積來編碼時間關聯。

Sigmoid 激活函數δ 用于控制多層卷積運算的信息保留程度。

經過門控時間擴展卷積層的處理，我們能夠精確地捕捉到連續多個時間步長內的時間序列依賴性，進而生成豐富的時間特征表示。這些表示涵蓋了多層次的時間依賴關系，揭示了不同粒度級別的時間演變模式。

為了完整地保留這些時間信息，我們引入了一種多層次關聯注入層，該層特別設計用于捕捉并整合不同層次之間的相互聯系：

其中是形如的卷積核，在通過L層的編碼處理之后，我們利用一個簡單的線性層將門控擴散卷積層和多層次關聯注入層的輸出進行整合，最終生成的時空依賴性特征表示為

為應對可能在各種城市場景中出現的復雜情況，本文設計的時空編碼器在處理空間相關性時不依賴于特定的圖結構。這是因為在零樣本預測環境中，實體間的空間聯系往往是未知的或難以預測的。這樣的設計使得UrbanGPT能夠在廣泛的城市應用場景中保持其適用性和靈活性。

時空指令微調框架

時空數據-文本對齊

為了使語言模型能夠深入理解時空動態，確保文本內容與時空數據的一致性是關鍵。這種一致性使得模型能夠整合多種數據類型，生成更加豐富的數據表示。通過將文本內容與時空領域的上下文特征相結合，模型不僅能夠捕捉到補充性的信息，還能夠提煉出更高層次的、具有更強表現力的語義特征。

為了實現這一點，本文采用輕量對齊模塊來投影時空依賴性表示。

投影操作采用線性層參數進行，其中dL表示大語言模型常用的隱藏維度。所得到的投影 ，在指令中使用特殊的標記表示為：<ST_start>，<ST_HIS>，...，<ST_HIS>，<ST_end>。在這里，<ST_start> 和 <ST_end> 是用來標記時空信息起始和終止的特殊符號，它們可以通過擴展詞匯庫的方式被納入到大型語言模型中。

占位符 <ST_HIS> 代表時空標記，它對應于隱藏層中的向量 H。利用這種技術，模型能夠識別時空依賴關系，這顯著增強了其在城市環境中進行時空預測任務的能力。

時空提示指令

在進行時空預測時，時間和空間數據都蘊含著關鍵的語義信息，這些信息對于模型捕捉特定情境下的時空規律至關重要。

比如，交通流量在早晨和高峰時段會有顯著變化，商業區與住宅區的交通模式也各有不同。因此，將時間與空間信息作為提示文本引入時空預測任務，可以顯著提升模型的預測效果。我們利用大型語言模型在文本理解方面的專長來處理這些信息。

在UrbanGPT的架構中，我們整合了不同粒度的時間數據和空間細節，作為大型語言模型的指令輸入。時間信息涵蓋了一周中的日期和具體時間點，而空間信息則包括城市區域、行政區劃以及周邊的興趣點（POI）等，如圖3所示。

通過整合這些多樣化的元素，UrbanGPT能夠深入識別并理解在復雜時空背景下，不同區域和時間段的時空動態，進而提升其在零樣本情況下的推理能力。

圖3: 編碼時間和位置感知信息的時空提示指令

大語言模型的時空指令微調

在利用指令微調大型語言模型（LLMs）生成時空預測的文本描述時，面臨兩大挑戰。一方面，時空預測通常基于數值型數據，這些數據的結構和模式與自然語言處理中的語言模型所擅長的語義和句法關系不同。

另一方面，LLMs在預訓練階段通常采用多分類損失函數來預測詞匯，這導致其生成的是詞匯的概率分布，而時空預測任務則需要連續值的輸出。

為了克服這些問題，UrbanGPT采取了一種創新的方法。它不是直接預測未來的時空值，而是生成輔助性的預測標記。這些標記隨后通過一個回歸層處理，將模型的隱藏層表示轉換為更精確的預測值。這種方法使得UrbanGPT能夠更有效地進行時空預測。

上式中預測標記的隱藏表征用表示，其中預測標記可通過擴充LLMs詞表的方式引入。W1,W2,W3為回歸層的權重矩陣，[?,?]為拼接操作。

實驗

零樣本預測性能

相同城市內未見區域的預測

在跨區域預測中，我們利用同一城市中某些區域的數據來預測模型未接觸過的其他區域的未來狀況。通過深入分析模型在此類跨區域預測任務中的表現，我們注意到：

（1）卓越的零樣本預測能力。表1中的數據展示了所提出模型在不同數據集上的回歸和分類任務中超越基線模型的優異表現。UrbanGPT的出色表現主要歸功于兩個核心要素。

i）時空數據-文本對齊。將時空上下文信號與語言模型的文本理解能力對齊，對模型的成功至關重要。這種整合使得模型能夠充分利用編碼自時空信號的城市動態信息，同時結合大語言模型對文本上下文的深入理解，從而擴展了模型在零樣本場景下的預測能力。

ii）時空指令的微調。通過自適應調整，LLMs能夠更有效地吸收指令中的關鍵信息，提升其對空間和時間因素復雜關系的理解。UrbanGPT通過將時空指令微調和時空依賴編碼器相結合，成功地保留了通用且可轉移的時空知識，實現了在零樣本場景中的準確預測。

（2）對城市語義的深入理解。城市語義提供了對空間和時間特性的深刻洞察。通過在多種數據集上訓練模型，增強了其對不同時間段和地理位置的時空動態的理解。

相比之下，傳統的基準模型通常更注重編碼時空依賴關系，而忽略了區域、時段和數據類型之間的語義差異。通過將豐富的語義信息融入UrbanGPT，我們顯著提升了其在未見過的區域中進行精確零樣本預測的能力。

（3）在稀疏數據環境中，提升預測性能。在數據點稀疏的環境中預測時空模式是一項挑戰，主要因為模型在這種情況下容易過擬合。例如，在預測犯罪等場景中，數據往往較為稀疏，這使得基線模型在跨區域預測任務中表現不佳，召回率低，暗示可能存在過擬合的問題。

為解決這一挑戰，我們的模型采用了一種創新的策略，將時空學習與大型語言模型相結合，并通過有效的時空指令微調方法進行優化。這種方法通過整合豐富的語義信息，增強了模型對時空數據的理解和表示能力，使其能夠更有效地處理稀疏數據，并顯著提高了預測的準確性。

表1：跨區域零樣本預測場景性能比較

跨城市預測任務

為了檢驗模型在不同城市間的預測能力，我們選擇了芝加哥的出租車數據集進行實驗驗證。（注意，此數據集并未在訓練階段使用）。如圖4所示，測試結果表明，模型在所有時間點上均展現出優于對比方法的性能，這證明了UrbanGPT在跨城市知識遷移方面的有效性。

通過將時空編碼器與時空指令微調技術相結合，模型能夠捕捉到普遍性和特殊性并存的時空規律，從而進行更準確的預測。此外，模型通過綜合考慮不同的地理位置、時間因素以及學習到的知識遷移，能夠將不同功能區域和歷史時期的時空模式聯系起來。這種全面的時空理解為在跨城市場景中進行精確的零樣本預測提供了關鍵的洞察。

圖4：跨城市零樣本預測場景性能比較

典型的有監督預測任務

本章節重點研究UrbanGPT在完全監督的預測環境中的表現，具體來說，我們通過使用時間跨度較大的測試數據集來評估模型在長期時空預測任務中的效果。例如，模型使用2017年的數據進行訓練，并用2021年的數據進行測試。

測試結果顯示，UrbanGPT在長期時間跨度的預測任務中明顯優于基線模型，這突出了其在處理長期預測時的卓越泛化能力。這一特性減少了對頻繁重新訓練或增量更新的需求，使得模型更加適合實際應用場景。此外，實驗結果還證實，引入額外的文本信息不僅不會影響模型的性能，也不會引入噪聲，這進一步證明了利用大型語言模型來增強時空預測任務的有效性。

表2：端到端有監督設置下的預測性能評估

消融實驗

（1）時空上下文的重要性：STC。 當從指示文本中移除時空信息后，模型的性能出現了下降。這可能是因為缺少時間信息，使得模型只能依賴時空編碼器來處理與時間相關的特征并執行預測任務。同時，空間信息的缺失也限制了模型捕捉空間相關性的能力，使得分析不同區域的時空模式變得更加困難。

（2）多數據集指令微調的效果：Multi。 我們僅在NYC-taxi數據集上對模型進行訓練。由于缺乏其他城市指標的信息，這限制了模型揭示城市時空動態的能力。因此，模型的表現欠佳。通過整合來自不同城市的不同時空數據，模型能夠更有效地捕捉不同地理位置的獨特特征和時空模式的演變。

（3）時空編碼器的作用：STE。 當從模型中移除時空編碼器時，結果表明，這種缺失顯著降低了大語言模型在時空預測任務中的預測能力。這突出了時空編碼器在提升模型預測性能中的關鍵作用。

（4）指令微調中的回歸層：T2P。 我們指導UrbanGPT直接以文本格式輸出其預測結果。模型的性能表現不佳，主要是因為在訓練過程中依賴于多類損失函數進行優化，這導致了模型輸出的概率分布與時空預測任務所需的連續值分布不匹配。為了解決這個問題，我們在模型中引入了一個回歸預測器，顯著提升了模型在回歸任務中生成更準確數值預測的能力。

圖5：UrbanGPT消融實驗

模型魯棒性研究

在本節中，我們對UrbanGPT在處理不同時空模式場景時的穩定性進行了評估。我們根據特定時間段內數值變化的幅度（如出租車流量）對區域進行區分。較小的方差通常意味著區域具有穩定的時間模式，而較大的方差則暗示著區域的時空模式更為多樣化，常見于商業活躍區或人口密集區。

如圖6所示，多數模型在方差較低的區域表現出色，因為這些區域的時空模式較為一致和可預測。然而，基線模型在方差較高的區域表現不佳，尤其是在方差處于（0.75, 1.0]區間的區域，這可能是因為基線模型在零樣本場景下難以準確推斷出這些區域復雜的時空模式。在城市管理中，如交通信號控制和安全調度等，對人口密集或繁華區域的準確預測至關重要。UrbanGPT在（0.75, 1.0]區間內顯示出顯著的性能提升，這證明了其在零樣本預測場景中的強大能力。

圖6：模型魯棒性研究

案例研究

案例研究對不同大型語言模型在零樣本時空預測場景中的有效性進行了評估，結果如表3所示。研究結果表明，各類LLMs能夠根據提供的指令生成預測，這驗證了提示設計的有效性。

具體來看，ChatGPT在預測時主要依賴于歷史平均值，而沒有明確地將時間或空間數據納入其預測模型中。Llama-2-70b雖然能夠分析特定時間段和區域，但在處理數值時間序列的依賴性時遇到了挑戰，這影響了其預測的準確性。

相比之下，Claude-2.1能夠更有效地總結和分析歷史數據，利用高峰時段的模式和興趣點來實現更準確的流量趨勢預測。

而我們提出的UrbanGPT通過時空指令微調的方式，將時空上下文信號與大型語言模型的推理能力緊密結合，顯著提升了預測數值和時空趨勢的準確性。這些發現突出了UrbanGPT在捕捉普遍時空模式方面的潛力和有效性，使得零樣本時空預測成為可能。

表3：不同的LLMs對紐約市自行車流量的零樣本預測案例

總結與展望

本研究提出了UrbanGPT，這是一種具備在多樣城市環境中良好泛化能力的時空大型語言模型。為了實現時空上下文信號與大型語言模型（LLMs）的無縫整合，本文提出了一種創新的時空指令微調方法。這種方法賦予了UrbanGPT在各種城市數據中學習普遍和可遷移的時空模式的能力。通過廣泛的實驗分析，證明了UrbanGPT架構及其核心組件的高效性和有效性。

盡管當前的成果令人振奮，但未來研究中仍有一些挑戰需要克服。首先，我們將積極收集更多類型的城市數據，以增強UrbanGPT在更廣泛城市計算領域的應用能力。其次，理解UrbanGPT的決策機制同樣重要。盡管該模型在性能上表現出色，但提供模型預測的可解釋性也是未來研究的關鍵方向。未來的工作將致力于使UrbanGPT能夠解釋其預測結果，從而增加其透明度和用戶信任。