時間序列領域最近幾年的變化非常大，在2018年左右，RNN這類模型才剛在時間序列上應用，而目前已經基本和NLP、CV等領域對齊了。隨著深度學習在時間序列預測領域研究的深入，最近一年也出現了很多新的時間序列預測研究方向。這篇文章就給大家匯總一下最近比較熱門的時間序列研究點。

很多同學都感覺現在各種公眾號上時間序列的知識太雜太散，很難串聯成一個整體，系統性的學習。圓圓在知識星球中開設了系統性學習時間序列預測的專題課程，從最基礎的時間序列預測各類任務定義、數據處理，到模型結構優化、創新應用。系統性梳理從2017年以來的近百篇時間序列論文工作，讓你對時間序列有一個全面的認識和深入理解。

1.變量間關系建模

多元時間序列預測問題中，輸入是多條時間序列。最開始的研究并沒有特別關注這個點，每個時間步多個值就直接輸入到MLP中編碼，再輸入到后續的模型中。然而，在PatchTST中，提出了用channel independent的方式建模，即每個變量獨立預測，雖然損失了變量之間的關系的信息，但是卻取得了更好的效果。這個發現啟發了研究者，應該如何進行更好的多變量間關系建模。

近期也出現了很多多變量關系建模的相關工作。這些建模方法的核心思路，基本是將變量間關系建模，與時序建模這兩個問題拆解開，用不同的模塊分別建模，防止兩部分信息糾纏在一起造成的過擬合問題。比如iTransformer中，直接將時間維度的建模變成MLP，專門用transformer進行變量間關系建模。再比如InjectTST中，每個變量仍然是獨立建模，但是單獨增加一個全局信息模塊，輸入所有變量的信息，再拼接回每個變量的時序表征，來完成變量間關系建模的目的。

2.頻域信息應用

頻域信息一直是時間序列中的一個核心點，傳統的時間序列分析方法中，傅里葉變換等將時域映射到頻域的方法，是非常常用的。但是在最開始的深度學習時間序列模型中，很少用到頻域信息，更多是時間將時域的時間序列本身輸入到模型，忽略了頻域信息對于序列全局性特性刻畫的能力。因此，最近很多工作都開始將頻域信息融入到深度時間序列預測模型中。
這類方法的核心是，將時域中已經成功應用的建模方法，在頻域中也使用一遍，然后將時域和頻域獨立建模的表征融合到一起，進行后續的預測。例如Frequency-domain MLP這篇文章中，將純MLP的時間序列建模方法直接遷移到頻域，驗證了頻域MLP是更好的時序建模方法。FEDformer則是將self-attention在頻域中進行一次，補充了頻域信息。

3.大模型時間序列

由于大模型潮流的星期，時間序列也有很多工作開始朝著大模型的方向研究。大模型時間序列工作，基本可以分為兩種類型：第一種是直接用NLP的大模型做時間序列預測。這類方法中，使用GPT、Llama等NLP大模型進行時間序列預測，重點是如何將時間序列數據轉換成適合大模型的輸入數據。第二種是訓練時間序列領域的大模型。這類方法中，使用大量的時間序列數據集，聯合訓練一個時間序列領域的GPT或者Llama等大模型，并用于下游時間序列任務。這類大模型的目的也不同，有的是搭建一個可以用于各類domain數據的時間序列預測大模型，有的則是搭建一個能用于各類時間序列問題的大模型。

比如TIME_LLM提出了一種reprogramming方法，將時間序列映射到文本，實現時間序列和文本這兩種模態之間的對齊。TimeGPT則是基于時間序列數據和GPT的結構，訓練了一個時間序列領域的大模型。

4.Mamba模型

Mamba是最近最火的模型之一，更是被業內認為可以有取代Transformer的潛力，在NLP中已經取得了比較成功的效果驗證。這種序列建模方法，是非常適用于時間序列這種數據的，因此，最近也有很多工作嘗試將Mamba應用到時間序列領域，驗證Mamba這種結構對于時間序列場景的有效性。

在Is Mamba Effective for Time Series Forecasting?這篇文章中，初步驗證了Mamba結構在時間序列上的效果，并驗證了有效性。在其后的一些文章中，則是不斷改進Mamba結構，適配時間序列，或者遷移Mamba在NLP最新的應用方法到時間序列。例如MambaFormer將NLP中Transformer+Mamba的結構從NLP領域遷移到時間序列領域，也取得了不錯的效果。

5.Patch建模優化

Patch的時間序列處理方法是PatchTST中首先提出的，將原來的時間序列處理方法從點變成patch，增強每個區塊序列的完整性。這種建模方法也自此被廣泛應用，目前成為了時間序列預測中的主流數據處理方法。

然而，基礎的Patch處理方法也存在問題，例如patch窗口的大小是固定的，靈活性較差。針對這類問題，一些工作對patch建模進行優化。例如，很多工作如patchformer，通過不同粒度的patch劃分，并行或串行的ensemble多個表征，實現對不同粒度信息的提取。在今年AAAI2024的工作HDMixer中，則是提出了一種可學習的動態patch方法，實現每個patch的窗口長度隨信息量動態變化的目的。

6.時序擴散模型

擴散模型也是最近很多的一個研究方向，在生成式模型中成為主流，在Sora等應用中都有擴散模型的身影。因此，基于擴散模型的生成式時間序列概率預測，也成為一個目前比較新穎的研究方向。

早在2021年的工作TimeGrad中，就開始用擴撒模型做時間序列生成了。在近期的工作TDSTF中，采用了Diffusion Transformer的框架，進行時間序列生成，整體對齊了圖像生成中的SOTA方法。

本文轉載自 ??圓圓的算法筆記??，作者： Fareise