最近，香港科技大學、上海AI Lab等多個組織聯合發布了一篇時間序列無監督預訓練的文章，相比原來的TS2Vec等時間序列表示學習工作，核心在于提出了將空間信息融入到預訓練階段，即在預訓練階段考慮各個序列之間的關系。因此，本文提出的方法也更適合作為時空預測領域的預訓練模型。下面為大家詳細介紹一下這篇文章。

論文標題：Correlated Time Series Self-Supervised Representation Learning via Spatiotemporal Bootstrapping

下載地址：https://arxiv.org/abs/2306.06994

1、背景

在過去的工作中，有很多對時間序列無監督預訓練的研究，一般使用對比學習的思路進行時間序列Encoder的自監督訓練。然而，歷史的工作存在3個弊端。

第一個是大多數過去的方法學習的都是序列整體的表示，而時間序列預測任務更關注每個時間步的表示，因此上下游任務存在一定的不適配問題。

第二個是過去的工作都是在單個時間序列本身上進行預訓練，沒有考慮到各個序列之間的關系。

第三點是以往的對比學習預訓練方法，在構造負樣本的過程中經常出現偽負樣本問題（即構造的負樣本其實應該是正樣本），這導致了對模型效果的負向影響。

針對上述3個問題，本文提出了一系列解決方法，核心是在預訓練階段同時考慮時序關系和空間關系，并且將對比學習框架改為不依賴正樣本的BYOL。

圖片

2、模型細節

本文提出的模型核心結構如下圖所示，其核心一方面是將時空信息融合到對比學習中的方式，另一方面是對比學習框架的升級。

對于一個時間序列，需要在時間維度和空間維度都進行對比學習，將時空信息同時融合到預訓練階段。對于時間維度，文中利用滑動窗口的方式，對一個序列生成兩個有overlap的子序列，其中一個作為View，另一個作為時間維度的Target。其中，View部分使用隨機mask的方式，遮蓋一部分時間步的樣本點。在時間維度的對比學習，即利用View和Temporal Target之間進行對比學習。

在空間維度上，根據節點之間的拓撲關系，隨機采樣一個當前序列的鄰居序列，同樣使用滑動窗口生產成本一個子序列。這個序列作為View的空間維度Target，使用對比學習拉近View和Spatial Target之間的距離。

在得到上述兩類樣本后，文中采用了BYOL的對比學習框架，避免了對負樣本進行構造，因此解決了偽負樣本的問題。BYOL是一種只依賴正樣本的對比學習框架，其原始論文中的具體做法為，使用兩個模型結構完全相同但參數不同的online network和target network，其中target network的參數是online network參數的滑動平均，target network的輸出表示是online network的預測目標，target部分不會根據loss更新其參數。也就是用兩套參數實現正樣本1對正樣本2的預測。

圖片

在本文中也是類似的方式，利用被部分mask的View，同時預測Temporal Target和Spatial Target，模型的loss包含Temporal和Spatial兩部分相應的對比學習loss。模型的具體結構采用了TCN的結構（主體為空洞卷積），且View的模型參數和Target的模型參數不共享。

3、實驗效果

下面為本文提出的表示學習方法在時空預測數據集上的預測效果，可以看到相比TS2Vec（目前SOTA的時間序列表示學習方法），有比較明顯的效果提升。這說明本文提出的引入空間信息的對比學習，對于時空預測類型的問題效果更好。

圖片

下圖為預測case分析，本文提出的方法相比TS2VecUI有更好的預測趨勢。

圖片