今天給大家介紹一篇AAAI 2024中多元時間序列預測的工作，文章由中科大、騰訊等機構聯合發布。本文的核心是提出了一種動態可擴展的時間序列patch處理方法，相比原來固定窗口的patch劃分，能最大限度保留時間序列片段的完整性，避免將存在連續規律的時間序列分到不同patch中，實現了多元時間序列預測任務上的效果提升。

論文標題：HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting

下載地址：??https://ojs.aaai.org/index.php/AAAI/article/view/29155??

背景

現有的多元時間序列預測，已經切換為以patch為主的數據處理方式，將原始的時間序列根據窗口分割成多個patch，輸入到后續模型中。然而，這種方式的問題在于，patch的劃分是固定的，容易導致patch內核心信息的缺失。此外，現有方法更關注與patch間信息的建模，而忽略了patch內信息，以及變量之間信息的建模。

本文針對上述問題，提出2個核心優化點，一個是設計了動態可擴展的patch生成方法，讓每個patch的生成更加個性化；另一個是一種同時考慮patch內短期、patch間長期、變量間3種關系的層次全MLP時序預測網絡結構。

建模方法

本文的核心點包括2個方面，第一個是可擴展的動態patch劃分代替固定patch劃分；另一個是在模型結構上采用全MLP的3層時間序列建模，實現patch內、patch間、變量間3個維度的信息交互。

本文設計了一種動態可擴展的patch生成方法。這種方法將patch的生成抽象成5元組（中心點，樣本點數量，中心點偏離數、左側邊界偏離數、右側邊界偏離數）。原始的patch方法，只有中心點和樣本點數量，這兩個預先定義好，就能確定patch的生成邏輯。本文的方法增加了后面3個參數，在原始的patch基礎上做一個中心點、左右邊界的滑動，使得劃分出來的patch更加合理。其中后3個參數是可學習的參數。

為了監督這個可擴展patch劃分的合理性，文中使用交叉熵指標，計算使用原始patch方法和這種動態patch方法，整體帶來的信息增益，并以此信息增益為目標，監督上述3個參數的學習，讓動態劃分patch確實能帶來增加劃分后patch信息量的作用。

在模型結構方面，模型結構采用全MLP的層次形式，每層網絡分為3個層次，分別進行patch內建模、patch間建模、變量間建模。每個層次的模型都是MLP+GELU+殘差網絡組成。

實驗結果

在多元時間序列不同時間窗口的效果評估上，本文提出的方法取得了7%的MSE效果提升。

文中也進行了消融實驗，對比是否引入可擴展patch劃分，以及3層次建模（patch內短期、patch間長期、變量間）這4個部分的效果差異，驗證了各個模塊的效果。

本文轉載自?? 圓圓的算法筆記??，作者： Fareise