在最近的時(shí)間序列預(yù)測研究工作中，有一類工作將圖學(xué)習(xí)和時(shí)間序列結(jié)合了起來，從圖學(xué)習(xí)的視角理解時(shí)間序列預(yù)測。這類工作中，一種是用圖學(xué)習(xí)建模多變量間的關(guān)系，解決多元時(shí)序預(yù)測問題；另一種是直接把時(shí)間序列中的各個(gè)時(shí)間步看成圖中的一個(gè)節(jié)點(diǎn)，用圖學(xué)習(xí)建模時(shí)間步之間的依賴關(guān)系。這篇文章匯總了近期4篇圖學(xué)習(xí)視角解決時(shí)間序列預(yù)測問題的工作。

1.ForecastGrapher

論文標(biāo)題：ForecastGrapher: Redefining Multivariate Time Series Forecasting with Graph Neural Networks

下載地址：??https://arxiv.org/pdf/2405.18036v1??

圖片

本文從圖學(xué)習(xí)的角度解決多元時(shí)間序列預(yù)測問題，將每個(gè)變量當(dāng)成圖中的一個(gè)節(jié)點(diǎn)。

在iTransformer這篇工作中，將transformer作用到channel維度。這個(gè)過程其實(shí)很想圖學(xué)習(xí)，將每個(gè)變量的序列先映射成一個(gè)表征，再類似graph attention network的方式計(jì)算圖中兩兩節(jié)點(diǎn)之間的表征再融合。本文收到這個(gè)啟發(fā)，提出用圖學(xué)習(xí)的方法直接建模多變量時(shí)間序列，將多元時(shí)序預(yù)測問題轉(zhuǎn)換成了圖回歸任務(wù)。

整體模型分為時(shí)序表征和圖學(xué)習(xí)兩個(gè)部分。每個(gè)變量視為圖中的一個(gè)節(jié)點(diǎn)，首先使用一個(gè)簡單的MLP網(wǎng)絡(luò)，將一個(gè)變量的時(shí)間序列映射成一個(gè)表征向量。同時(shí)，將變量ID、日期特征也加入到表征中。在圖學(xué)習(xí)階段，一方面需要定義圖中的臨接矩陣，即各個(gè)節(jié)點(diǎn)之間的關(guān)系。這里使用的方法類似時(shí)空預(yù)測中的常用方法，用節(jié)點(diǎn)embedding內(nèi)積+激活函數(shù)自動(dòng)學(xué)習(xí)兩兩節(jié)點(diǎn)之間的打分作為鄰接矩陣。

圖片

在圖模型部分，提出了Group Feature Convolution建模方法。在GCN的基礎(chǔ)上，文中將每個(gè)變量的表征先擴(kuò)充維度再分組，每個(gè)分組內(nèi)用不同尺寸的CNN進(jìn)行圖學(xué)習(xí)。用這種多粒度的圖學(xué)習(xí)方法，替代原始的圖學(xué)習(xí)中固定的信息傳播和匯聚規(guī)則，讓圖學(xué)習(xí)過程學(xué)習(xí)更加靈活。最后，再通過一個(gè)可學(xué)習(xí)的權(quán)重，對(duì)不同分組的圖學(xué)習(xí)表征進(jìn)行融合，使用一個(gè)映射網(wǎng)絡(luò)映射到預(yù)測結(jié)果。

圖片

2.DGCformer

論文標(biāo)題：DGCformer: Deep Graph Clustering Transformer for Multivariate Time Series Forecasting

下載地址：??https://arxiv.org/pdf/2405.08440v1??

圖片

本文提出了一種多元時(shí)間序列建模中，融合channel dependent和channel independent的方法，核心思路是通過聚類將多元時(shí)間序列分成多個(gè)類簇，以此篩選出具有關(guān)系的變量，再在每個(gè)類簇內(nèi)通過使用channel dependent的建模方法，而類簇間使用channel independent的建模方法。

多元時(shí)間序列建模問題中，channel dependent雖然可以建模各個(gè)變量之間的信息，但是對(duì)于每個(gè)變量來說，也會(huì)引入一些無關(guān)變量，帶來關(guān)系建模的噪聲，導(dǎo)致效果不如channel independent。因此本文希望通過聚類的方式，提前挖掘有相關(guān)關(guān)系的變量作為一個(gè)group，對(duì)group內(nèi)部的變量進(jìn)行channel dependent的建模，減少無關(guān)變量噪聲的干擾。

具體的，文中核心分為聚類和預(yù)測兩個(gè)部分。在聚類部分，首先使用一個(gè)基于GRU的autoencoder，對(duì)時(shí)間序列進(jìn)行編碼，得到隱空間表征H。同時(shí)，初始化預(yù)先定義類簇?cái)?shù)量的embedding，用H和這些類簇embedding計(jì)算相似度后，得到該變量序列應(yīng)該被分配到哪個(gè)類簇。另外還有一路圖聚類模型，這個(gè)模塊直接利用GCN建模各個(gè)變量之間的關(guān)系，圖鄰接矩陣隨機(jī)初始化。圖聚類和自編碼器表征聚類這兩部分學(xué)習(xí)得到的聚類分布通過KL散度進(jìn)行一致性約束。在圖聚類過程中會(huì)加入autoencoder生成的隱狀態(tài)編碼提升學(xué)習(xí)效果。整體的聚類使用Kmeans優(yōu)化目標(biāo)進(jìn)行擬合。

圖片

另一部分是預(yù)測部分，預(yù)測部分基于transformer結(jié)構(gòu)，在同一個(gè)序列的patch間，以及根據(jù)上面聚類結(jié)果進(jìn)行變量序列間的建模。在變量間attention中，根據(jù)聚類結(jié)果設(shè)定mask，實(shí)現(xiàn)mask attention只建模同一聚類簇內(nèi)部的變量間關(guān)系。

3.FourierGNN

論文標(biāo)題：FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective

下載地址：??https://arxiv.org/pdf/2311.06190v1.pdf??

圖片

之前的多變量時(shí)序預(yù)測或者時(shí)空預(yù)測，都需要將時(shí)間序列建模和圖學(xué)習(xí)融合起來，例如并行融合、串聯(lián)融合等，在之前時(shí)空預(yù)測專題中進(jìn)行過詳細(xì)介紹。然而這種方式，總歸還是兩種建模方式的拼接，無法充分融合時(shí)間和空間的信息。

NIPS 2023的這篇文章，提出了一種統(tǒng)一的建模視角，將整個(gè)多元時(shí)間序列看成一個(gè)超圖。超圖是圖的一個(gè)擴(kuò)充，原始的圖中，一條邊只能連接個(gè)點(diǎn)，而超圖中，一條邊可以連接多個(gè)點(diǎn)。對(duì)于多元時(shí)間序列，每個(gè)時(shí)刻的每個(gè)變量都視為一個(gè)圖上的節(jié)點(diǎn)，將同一個(gè)時(shí)刻的多個(gè)變量用一條邊相連，時(shí)間維度關(guān)系也進(jìn)行連邊。最后，可以直接在這個(gè)超圖上統(tǒng)一進(jìn)行時(shí)間序列建模，文中采用Fourier Graph Nerual Network實(shí)現(xiàn)統(tǒng)一建模。通過這種方式，將時(shí)間和空間信息融為同一種圖形式，不再需要獨(dú)立建模時(shí)空信息再進(jìn)行融合，是一種純圖視角的建模。

圖片

4.MSHyper

論文標(biāo)題：MSHyper: Multi-Scale Hypergraph Transformer for Long-Range Time Series Forecasting

下載地址：??https://arxiv.org/pdf/2401.09261v1.pdf??

圖片

本文提出一種基于超圖的長周期時(shí)間序列建模方法，核心是為了同時(shí)建模不同scale之間和不同時(shí)間步之間的關(guān)系。時(shí)間序列的scale、temporal之間存在復(fù)雜的依賴關(guān)系，如何同時(shí)充分建模二者之間的關(guān)系是一個(gè)難點(diǎn)。本文提出構(gòu)建一個(gè)超圖解決。

首先，底層通過多scale建模生成不同粒度的表征。常見的方法是，底層輸入最細(xì)粒度的時(shí)間序列，然后逐層使用卷積+pooling的形式逐漸匯聚，生成不同粒度的表征，每個(gè)scale每個(gè)時(shí)間窗口的表征可以視為圖中的一個(gè)節(jié)點(diǎn)。接下來，構(gòu)建3種類型的超圖，分別是intra-scale、inter-scale、mixed-scale，各種超圖分別連接不同的節(jié)點(diǎn)集合，以學(xué)習(xí)不同的依賴關(guān)系。Intra-scale主要用來學(xué)習(xí)scale內(nèi)部的時(shí)序依賴關(guān)系，因此將同一個(gè)scale的一定相鄰時(shí)間窗口內(nèi)的節(jié)點(diǎn)用一個(gè)超邊連接。Inter-scale用來建立不同scale之間的關(guān)系，因此將相鄰窗口的底層節(jié)點(diǎn)、這些節(jié)點(diǎn)公共的父節(jié)點(diǎn)等一個(gè)時(shí)間維度上不同scale的節(jié)點(diǎn)用超邊連接。

在建模過程中，采用Tri-Stage Message Passing Mechanism進(jìn)行信息傳遞，包括 node-hyperedge、hyperedge-hyperedge、hyperedge-node三個(gè)階段，在超圖上進(jìn)行信息融合，分別實(shí)現(xiàn)節(jié)點(diǎn)到超邊、超邊到超邊、超邊到節(jié)點(diǎn)的信息匯聚。

本文轉(zhuǎn)載自?? 圓圓的算法筆記??，作者： Fareise