這篇文章給大家總結一下2023年中，時間序列預測領域的幾個熱門研究點。通過這些研究點，我們可以挖掘時間序列預測領域的研究中，業內在朝什么樣的方向發展，啟發我們在自己的工作中尋找合適的創新點。

總結下來，2023年有幾個非常熱的點，在很多論文中被提起。主要包括以下幾個：

• 多元序列預測中變量的獨立、聯合建模；
• 大模型+時間序列；
• 多粒度時間序列建模

PatchTST框架的后續改進方法

1、獨立/聯合建模

多元時間序列預測問題中，從多變量建模方法的維度有兩種類型，一種是獨立預測（channel independent，CI），指的是把多元序列當成多個單變量預測，每個變量分別建模；另一種是聯合預測（channel dependent，CD），指的是多變量一起建模，考慮各個變量之間的關系。

CI方法只考慮單個變量，模型更簡單，但是天花板也較低，因為沒有考慮各個序列之間的關系，損失了一部分關鍵信息；而CD方法考慮的信息更全面，但是模型也更加復雜。

圖片

在最初的多元時間序列模型中，大家沒有特別關注這個問題，都是把各個變量直接雜糅到一起輸入到模型中。PatchTST提取每個變量獨立的建模，完全抹掉各個變量之間的關系，并且取得了比多變量融合更優的效果。這也開啟了2023年對獨立預測、聯合預測的探討。文章主要圍繞著聯合預測有什么弊端，以及如何改進展開。

比如The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting這篇文章分析出大多數任務上獨立建模效果更好，是由于聯合建模太過復雜，更容易出現過擬合問題，對時間序列分布變化的魯棒性差。

而CROSSFORMER: TRANSFORMER UTILIZING CROSSDIMENSION DEPENDENCY FOR MULTIVARIATE TIME SERIES FORECASTING等一系列文章則沒有放棄聯合建模，對聯合建模進一步深入優化，通過更精細化的多變量關系學習，以及將時間維度預測和多變量間關系預測拆分成互不干擾的兩個模塊，提升多變量聯合建模的魯棒性。

圖片

2、大模型+時間序列

在大模型的浪潮下，2023年涌現了一大批大模型+時間序列的工作。這篇文章為大家整理了2023年大模型時間序列模型的相關工作。大模型應用到時間序列，有2種應用類型。一種是將其他領域訓練好的大模型，通過跨域自適應的方式，遷移到時間序列領域；另一種是使用時間序列域內本身的數據，從頭開始訓練一個時間序列大模型，解決各類任務。

比如Large Language Models Are Zero-Shot Time Series Forecasters、TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS等文章，就是將NLP領域的預訓練GPT適配到時間序列領域。適配方法，也從最初簡單的將時間序列數據轉換成適配語言模型的輸入，到在模型中引入Adaptor的方式逐漸發展。

圖片

而Lag-Llama: Towards Foundation Models for Time Series Forecasting、TimeGPT-1等文章，則是直接使用時間序列領域的數據，訓練時間序列大模型，模型結構則和NLP中的GPT、Llama等保持一致，只做少量時間序列領域的適配。

圖片

3、多粒度建模

使用patch進行時間序列數據處理+Transformer模型結構的方式逐漸成為時間序列預測的主流模型。然而，之前的很多工作，都使用一個固定的時間窗口進行patch處理，降低了模型對于不同scale規律性的捕捉。這也衍生出一個研究點：如何設計多粒度的patch方法，增強patch+Transformer的建模能力。

A Multi-Scale Decomposition MLP-Mixer for Time Series Analysis、Multi-resolution Time-Series Transformer for Long-term Forecasting等工作中，都提出了非常多多粒度建模的方式。這些建模方法引入了一個信息增益，就是時間序列具有不同粒度的季節性，一種粒度難以刻畫，并且patch窗口的大小也不好設置。那就不如設置多種patch窗口大小，然后再用一個可學習的融合網絡，將這些不同粒度的信息融合到一起。

圖片

這種多粒度建模的方法，后續也逐漸會成為Transformer時間序列建模方法的標配。

4、PatchTST框架改進

基于Patch+Transformer的時間序列預測模型在2022年成為主流，自然在2023年引入了一系列改進，包括輸入數據的組織形式、模型結構、頻域等其他維度信息引入等多個方面。

像ITRANSFORMER: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING這篇文章，將Transformer直接做了個反向操作，將原來在時間維度上構建token embedding，改成了序列維度構建token embedding，并利用attention學習各個變量序列之間的關系。非常簡單的一個代碼實現，就提升了Transformer在時間序列預測上的效果。

圖片

而Take an Irregular Route: Enhance the Decoder of Time-Series Forecasting Transformer中，則是通過對Decoder的改進，使Transformer具備了層次信息融合的能力，從多個粒度利用Encoder各個編碼階段的信息，提升Transformer的時序預測效果。

圖片

5、總結

2023年的時間序列領域的技術發展，除了上述一些研究點外，還有非常多其他的創新，整體感覺是越來越和NLP、CV等主流深度學習領域的研究融為一體了，這對于時間序列的發展也是極大的利好。為了更多的CV、NLP中成功的經驗，都可以在時間序列中進行適配和應用。