今天給大家介紹一篇ICLR 2025中關于時間序列異常檢測的工作。這篇文章采用基于Memory Bank和Prototype的異常檢測方法，提出在此基礎上引入多尺度patch和多周期性的建模方法，進一步提升時間序列異常檢測效果。

論文標題：LEARN HYBRID PROTOTYPES FOR MULTIVARIATE TIME SERIES ANOMALY DETECTION

下載地址：??https://openreview.net/pdf?id=8TBGdH3t6a??

1.研究背景

時間序列異常檢測的主流方法，是使用正常的時間序列訓練一個自編碼器，序列過一個Encoder生成表征，再經過一個Decoder還原，通過reconstruction loss讓這個自編碼器能夠重構正常的輸入序列。當輸入一個異常序列時，異常點位置的重構loss會比較大，根據這個重構loss判斷時間序列是否有異常。

這種方法的問題在于，經常會出現過泛化的現象。由于使用了大量時間序列數據進行深度模型訓練，模型的擬合解碼能力比較強，即使是一個異常序列，使用上述方法得到的重構loss可能也會比較小，影響了異常檢測的效果。比如下圖中粉色部分，第一行是異常序列，第二行是重構序列，重構序列將序列中異常的部分也還原出來了，重構loss較小，誤判了異常序列。

為了解決這種問題，業內的一種做法是引入了memory network和prototype的異常檢測方法。下面首先介紹這種基礎方法，然后介紹ICLR 2025這篇文章在該方案基礎上的改進。

2.基于Memory和Prototype的異常檢測

這種方法是在MEMTO: Memory-guided Transformer for Multivariate Time Series Anomaly Detection（NIPS 2023）中提出的。該方法的核心思路是通過記憶網絡加到自編碼器對于異常序列的還原難度。

設置多個prototype，每個prototype對應一個embedding，隨機初始化。對于原始序列，使用Transformer Encoder生成每個時間點的embedding，和prototype embedding計算softmax后，加權融合到各個prototype embedding中，這是一個比較基礎的記憶網絡建模方法。這里使用滑動更新的方式，用上一次prototype embedding和當次加權融合的prototype embedding加權求和，公式如下：

通過上述方式，各個prototype embedding存儲了全量數據（正常序列）中不同類型的序列信息。接下來，再利用類似的方式，利用query和prototype embedding計算softmax，對prototype embedding加權求和，得到每個時間步新的表征，再基于這個表征輸入Decoder進行重構。

通過這種方式，異常序列的還原難度變高了。因為prototype通過滑動平均存儲了所有序列的表征，Decoder輸入的表征基于prototype embedding匯聚得到，這樣模型在解碼的時候，輸入的不只是當前序列信息，而是所有序列和當前序列類似的正常序列，增加了對異常點的還原難度。

3.混合Prototype引入

下面介紹ICLR2025這篇文章針對上述建模方法的改造。之前的方法主要生成每個時間步的表征，prototype也都是每個時間步表征生成的，無法有效涵蓋所有類型的時序片段。文中的核心是引入了多尺度patch粒度的表征和周期性的表征，進而生成混合prototype，相當于將prototype的類型變多，加強了prototype的豐富度，進而使異常序列的還原難道進一步提升了。

具體來說，文中引入了包括兩種類型的prototype表征，一種是基于多尺度patch的表征，另一種是基于多周期性的表征。多尺度patch的建模思路已經比較常見，對于輸入的多變量序列，本文中通過不同尺寸大小的average pooling，得到不同尺度的patch embedding。每種尺度的patch，都使用前面提到的類似方法，基于softmax、滑動平均進行prototype embedding更新，以及輸入表征的重構。

由于引入了不同尺度的patch，對于原始序列每個時間步的異常判斷，會使用包含該位置的所有尺度對應的patch作為輸入，使用一個MLP進行多尺度表征融合，得到最終每個時間步的最終表征。

此外，文中也引入了多周期的prototype，重點刻畫序列周期性。對原始序列進行傅里葉變換后，選擇topK個頻率作為周期項窗口，根據該頻率進行原始序列劃分，每個變量的時間序列周期性變化規律不同，因此每個變量的周期性prototype進行單獨的學習。整體的prototype更新和表征重構方式和多尺度patch類似，核心區別是周期性模塊是每個變量單獨學prototype embedding，而前面的多尺度patch是多變量不同尺度學一個prototype embedding。

4.實驗效果

通過實驗效果可以看出，本文提出的時間序列異常檢測方法在整體的效果上有顯著提升。

從可視化圖可以看到，文中的方法可以很清晰的將異常數據和正常數據分離開。基于記憶網絡重構的表征也能更容易和異常數據分離開。

本文轉載自???圓圓的算法筆記??