一文匯總：長周期時序預測有哪些優化點？
1.長周期時序預測核心問題
長周期時間序列預測，指的是預測窗口較長一類時間序列預測問題。一般來說，預測長度在50個點以上，就可以認為是長周期時間序列預測問題。同時，預測長度的增加，會使得模型需要引入更長的歷史序列，才能實現更好的預測。相比短周期時序預測，長周期時序預測主要面臨的挑戰有以下幾個方面。
長周期歷史信息提取：相比短序列，長序列由于其樣本點更多，對歷史信息的提取也更加困難，模型容易隨著輸入歷史序列長度的增長而過擬合。并且，長周期預測也更難捕捉對每個時間步有用的歷史信息。
長周期預測：時間序列預測模型一般情況下預測的準度會隨著預測的長度增加而變差，這導致在長周期預測中會出現很多不穩定的因素，甚至超過一個時間步長度的預測結果完全不可用。
運行效率：隨著序列的增長，模型需要處理更長周期的數據，導致模型在訓練和推斷中效率變低。
針對上述問題，業內有一系列針對長周期時間序列預測的研究工作。這篇文章就匯總了長周期時間序列預測代表性工作，帶大家梳理長周期時序預測的解決方法。
2.長周期解碼方式優化
長序列的一個挑戰是如何在解碼過程中，能夠更完善的和歷史序列進行交互，進而實現解碼的每個步驟都能獲取到歷史長周期序列中最有用的時間步信息。
PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer提出了一種不區分Encoder-Decoder的解碼方式，采用了placeholder-enhanced的方式。在Decoder部分使用幾個可學習的向量作為輸入，不再區分Encoder和Decoder，而是拼接到歷史序列的token上，一起輸入到統一Transformer，讓待預測部分可以更自然的獲取歷史序列信息。
Informer: Beyond efficient transformer for long sequence timeseries forecasting（AAAI 2021）中也做了類似的操作。Informer仍然區分Encoder和Decoder，但是在Decoder的前面會拼接一段歷史序列，并且將剩余待預測的時間步用0填充，類似placeholder-enhanced的方式。這里將Encoder的一部分序列拼接到Decoder前面，主要為了在長周期的歷史序列中，更加凸顯近期序列的重要性。
3.長周期信息補充
在長周期中，有一些例如以長跨度為主的特征，包括自相關系數等，是一般的深度學習模型很難通過單純的數據學到的。為了刻畫這部分特征，一些工作會通過人工抽取特征，或者輔助任務的方式，講這些信息引入進來。例如在Web Traffic競賽中，第一名的方案手動提取季度、年等長周期的自相關系數，直接作為額外的特征輸入到模型中。
在SELF-SUPERVISED CONTRASTIVE FORECASTING（ICLR 2024）這篇論文中，通過在時間序列預測中引入對比學習，實現對Encoder建模窗口以外全周期時間序列信息的應用。長周期預測一般需要更長的歷史序列作為輸入，但是受限于歷史序列窗口，很難完整刻畫全部歷史序列。這篇文章提出了一種基于自相關系數的對比學習loss。在一個batch內，時間序列是來自同一個完整時間序列的多個窗口（也可能來自多個，本文主要以一個完整序列進行研究），并且這些窗口大概率具有比較大的時間間隔，因為是隨機采樣的。首先標記出每兩個時間序列之間的時間間隔T，然后計算兩兩時間序列間隔為T的自相關系數，這個自相關系數刻畫了這兩個時間序列的相關關系。以這個自相關系數為label，構建對比學習的正樣對，并以對比學習為目標優化序列表征。通過這種方式，實現了利用完整時間序列信息的目的，在表示空間中拉近在完整時間序列中T自相關性系數高的時間序列片段表征。
4.長周期簡化模型
很多研究都發現，一些基于Transformer等復雜模型結構的時間序列預測模型，在歷史序列輸入長度增加時，會出現過擬合的現象。由于歷史輸入的增加，解空間變大，時間序列往往還存在比較大的噪聲，導致Transformer等模型容易出現過擬合問題。因此，一些工作在長周期預測中簡化了模型結構，用線性等更基礎的網絡結構構建了魯棒性更強的長周期時序預測模型。
Client: Cross-variable Linear Integrated Enhanced Transformer for Multivariate Long-Term Time Series Forecasting這篇文章中，構建了一個Linear和Transfomrer相結合的長周期時序預測模型。其中Transformer建模變量間關系，而Linear模型主要復雜對序列趨勢項的建模，用線性模型對長周期的趨勢項關鍵信息進行捕捉。
SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters也是一個主要用線性網絡進行長周期時序預測的工作。對于長周期時間序列，根據某個周期，將其分割成多個子片段，如圖中所示，每個周期內的相同位置點采樣出來拼接成一個序列。這樣做相當于把季節項拆解出來，每個序列只保留趨勢項。每個子片段使用一個線性模型進行獨立的預測，再各個片段聚合到一起。為了緩解采樣帶來的信息損失以及異常點影響，文中先使用一個一維卷積，對鄰居節點信息進行聚合，得到更為平滑的序列。
5.頻域提取長周期全局信息
之前我們介紹過頻域建模。在長周期預測中，頻域信息的應用的重要性更加凸顯。因為頻域代表了序列的全局信息，而這種信息當序列比較長時，在時域中是很難提取的。
例如，TFDNet: Time-Frequency Enhanced Decomposed Network for Long-term Time Series Forecasting（2023）利用短時傅里葉變換，將原始時間序列分成多個窗口，并假設每個窗口內的時間序列是平穩的，對每個窗口內的時間序列分別進行傅里葉變換，最終得到一個時域-頻域矩陣。這個矩陣描述了原始時間序列的時域頻域關系。在進行了趨勢項、季節項分解之后，使用短時傅里葉變換分別對兩個部分進行處理，得到兩個相應的矩陣。通過這種方式，將頻域信息引入進來，實現對全局信息更直接的刻畫。
6.長周期性能優化
當輸入序列較長時，就需要進行模型性能的優化。不僅在時間序列，在NLP、CV等領域，性能優化也是一個核心研究點。在NLP中，有很多針對Transformer長序列輸入的性能優化，都可以直接應用到時間序列領域。這里介紹2個時間序列領域的模型性能優化。
Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting（2020）為了提升attention的計算效率，提出將完全attention改成局部attention，讓attention計算變得更稀疏，提升模型的運算效率。具體包括使用log的方式每隔2、4、8等計算一次attention，以及對于近期的時間步計算attention，或者兩種結合的方式。
Informer: Beyond efficient transformer for long sequence timeseries forecasting（AAAI 2021）針對長周期Transformer，設計了一種提升運算效率的attention方法。attention score具有非常明顯的長尾性，少數的score比較大，大多數score很小，因此只要重點建模那些重要的關系即可。如果一個query和其他key的attention score接近均勻分布，那么這個query就是簡單的把其他value加和求平均，意義不大。因此Informer中提出計算每個query的attention score打分分布和均勻分布的KL散度，對于重要性不大的query，key就不和這些query計算attention，形成了sparse attention的結構，帶來計算效率的大幅提升。
