前言

在時(shí)間序列預(yù)測任務(wù)中，像 EMD（經(jīng)驗(yàn)?zāi)B(tài)分解）、CEEMDAN（完全集合經(jīng)驗(yàn)?zāi)B(tài)分解）、VMD（變分模態(tài)分解） 等分解算法的使用有可能引入信息泄露，具體情況取決于這些方法的應(yīng)用方式。信息泄露的主要風(fēng)險(xiǎn)在于：將未來的信息泄露給了模型，使得模型在實(shí)際應(yīng)用中表現(xiàn)得比應(yīng)有的好。

為了防止信息泄露，我們在分解之前，首先對(duì)數(shù)據(jù)集進(jìn)行劃分。然后使用滑動(dòng)窗口的方法來制作數(shù)據(jù)集標(biāo)簽，最后逐步滾動(dòng)分解時(shí)間序列窗口！

注：沒有錯(cuò)誤的分解方法，只有不合適的使用方式！但是也沒有絕對(duì)錯(cuò)誤的使用方式！（以我們輔導(dǎo)投稿的經(jīng)驗(yàn)來看，仍然有相當(dāng)大的一部分期刊在投稿時(shí)不會(huì)要求信息泄露這個(gè)點(diǎn)，所以投稿時(shí)大家要靈活選擇）

1 創(chuàng)新模型效果：

1.1 相關(guān)實(shí)驗(yàn)介紹：

本期基于某風(fēng)電功率數(shù)據(jù)集，提出一種VMD+Informer-BiLSTM并行預(yù)測模型，在單步預(yù)測任務(wù)中預(yù)測效果提升明顯！

在設(shè)置滑動(dòng)窗口值為96步的條件下，我們對(duì)每個(gè)樣本窗口值進(jìn)行VMD分解，并給出了不同分量條件下的對(duì)比試驗(yàn)：

對(duì)比結(jié)果如下：

隨著IMF分量數(shù)量的增加，可以捕捉到更多的頻率信息，并且每個(gè)IMF對(duì)應(yīng)不同的時(shí)間尺度，提供了更豐富的特征用于預(yù)測模型。模型擬合分?jǐn)?shù) R2 呈現(xiàn)上升趨勢，同時(shí)有著更小的 MSE。

1.2 模型評(píng)估：

1.3 風(fēng)電功率預(yù)測可視化：

我們同時(shí)提供基于多個(gè)數(shù)據(jù)集，在多個(gè)預(yù)測任務(wù)中，進(jìn)行實(shí)驗(yàn)和對(duì)比，并提供詳細(xì)的資料、解說文檔和視頻講解，包括如何替換自己的數(shù)據(jù)集、參數(shù)調(diào)整教程，預(yù)測任務(wù)的替換等，代碼逐行注釋，參數(shù)介紹詳細(xì)：

● 數(shù)據(jù)集：某風(fēng)電場風(fēng)電功率數(shù)據(jù)集、電力數(shù)據(jù)集、風(fēng)速數(shù)據(jù)集等

● 環(huán)境框架：python 3.9  pytorch 1.8 及其以上版本均可運(yùn)行

● 單步預(yù)測模型分?jǐn)?shù)：測試集 0.98

● 使用對(duì)象：論文需求、畢業(yè)設(shè)計(jì)需求者

● 代碼保證：代碼注釋詳細(xì)、即拿即可跑通。

購買鏈接：https://mbd.pub/o/bread/ZpuWlJxx

或點(diǎn)擊文末，閱讀原文，獲取代碼！

2 模型創(chuàng)新點(diǎn)介紹

2.1 結(jié)合Informer和RNN的優(yōu)勢

• Informer：擅長處理長時(shí)間序列，能夠并行計(jì)算，提高了計(jì)算效率和預(yù)測性能。Informer在Transformer的基礎(chǔ)上進(jìn)行了改進(jìn)，使其更適合時(shí)序數(shù)據(jù)，特別是具有長時(shí)間依賴的序列數(shù)據(jù)。
• BiLSTM：在捕捉序列數(shù)據(jù)的短期和長期依賴性方面表現(xiàn)出色，能夠很好地處理序列數(shù)據(jù)中的時(shí)序關(guān)系。

通過將這兩種模型并行使用，可以更好地捕捉不同時(shí)間尺度上的模式，提高預(yù)測的準(zhǔn)確性和魯棒性。

2.2 并行模型架構(gòu)

并行使用Informer和BiLSTM，通過兩個(gè)分支并行學(xué)習(xí)，可以使模型在不同的時(shí)間尺度上進(jìn)行信息提取和處理：

• Informer部分：處理全局時(shí)序模式，能夠有效處理長時(shí)間序列數(shù)據(jù)。
• BiLSTM部分：處理局部時(shí)序模式，能夠有效捕捉短期依賴性和序列數(shù)據(jù)的動(dòng)態(tài)變化。

這種架構(gòu)能夠更全面地捕捉時(shí)序數(shù)據(jù)的特征，提升模型的預(yù)測性能。

2.3 模型融合

將Informer和BiLSTM的輸出拼接在一起，通過一個(gè)全連接層融合不同模型的特征。這種融合方式使得模型能夠同時(shí)利用Informer的全局信息提取能力和LSTM的局部時(shí)序關(guān)系建模能力。

2.4 高效計(jì)算

Informer的使用大大提高了長時(shí)間序列的計(jì)算效率，同時(shí)BiLSTM的使用確保了局部時(shí)序信息的充分利用。這種組合在保證高效計(jì)算的同時(shí)，提升了預(yù)測的精度和可靠性。

3 Informer 詳解，三大創(chuàng)新點(diǎn)

3.1 概率稀疏注意力機(jī)制（ProbSparse Self-attention）

概率稀疏自注意力是Informer模型中引入的一種稀疏自注意力機(jī)制。其核心思想是通過概率方法選擇最重要的一部分注意力權(quán)重進(jìn)行計(jì)算，而忽略那些對(duì)結(jié)果影響較小的權(quán)重。這種方法能夠顯著降低計(jì)算復(fù)雜度，同時(shí)保持較高的模型性能。

• 稀疏自注意力：不同于標(biāo)準(zhǔn) Transformer 的密集自注意力機(jī)制，Informer 引入了 ProbSparse Self-attention，通過概率抽樣機(jī)制選擇重要的 Q-K 對(duì)進(jìn)行計(jì)算，減少了計(jì)算復(fù)雜度。
• 效率提升：稀疏注意力機(jī)制顯著降低了計(jì)算復(fù)雜度，從 O(L2?d) 降低到 O(L?log(L)?d)，其中 L 是序列長度，d 是每個(gè)時(shí)間步的特征維度。

3.2 多尺度特征提取-信息蒸餾

Informer的架構(gòu)圖并沒有像Transformer一樣在Encoder的左邊標(biāo)注來表示N個(gè)Encoder的堆疊，而是一大一小兩個(gè)梯形。橫向看完單個(gè)Encoder（也就是架構(gòu)圖中左邊的大梯形，是整個(gè)輸入序列的主堆棧）。

Encoder的作用是Self-attention Distilling，由于ProbSparse自相關(guān)機(jī)制有很多都是用V的mean填充的，所以天然就存在冗余的attention sorce ,因此在相鄰的Attention Block之間應(yīng)用卷積與池化來對(duì)特征進(jìn)行下采樣，所以作者在設(shè)計(jì)Encoder時(shí)，采用蒸餾的操作不斷抽取重點(diǎn)特征，從而得到值得重點(diǎn)關(guān)注的特征圖。

• 多尺度時(shí)間序列特征提取：Informer 通過多尺度的方式對(duì)不同時(shí)間粒度的特征進(jìn)行建模，可以更好地捕捉時(shí)間序列中的多尺度依賴關(guān)系。
• 信息蒸餾：引入了信息蒸餾機(jī)制，通過層次化的時(shí)間卷積池化層逐步縮減時(shí)間步長，提取不同尺度的特征，實(shí)現(xiàn)長時(shí)間依賴的高效建模。
• 卷積降維：在編碼器中使用1D卷積池化層進(jìn)行降維，步長為2，使得序列長度減半，進(jìn)一步減少計(jì)算復(fù)雜度。
• 信息壓縮：通過卷積池化層進(jìn)行信息壓縮，將長序列信息濃縮到較短的時(shí)間步長中，從而更高效地進(jìn)行時(shí)序建模。

3.3 時(shí)間編碼

Informer在原始向量上不止增加了Transformer架構(gòu)必備的PositionEmbedding（位置編碼）還增加了與時(shí)間相關(guān)的各種編碼：

• 日周期編碼：表示一天中的時(shí)間點(diǎn)。
• 周周期編碼：表示一周中的時(shí)間點(diǎn)。
• 月周期編碼：表示一個(gè)月中的時(shí)間點(diǎn)。

在 LSTF 問題中，捕獲遠(yuǎn)程獨(dú)立性的能力需要全局信息，例如分層時(shí)間戳（周、月和年）和不可知時(shí)間戳（假期、事件）。

具體在這里增加什么樣的GlobalTimeStamp還需要根據(jù)實(shí)際問題來確認(rèn)，如果計(jì)算高鐵動(dòng)車車站的人流量，顯然“假期”的時(shí)間差就是十分重要的。如果計(jì)算公交地鐵等通勤交通工具的人流量，顯然“星期”可以更多的揭示是否為工作日。

4 風(fēng)電功率等數(shù)據(jù)集介紹

4.1 導(dǎo)入數(shù)據(jù)

風(fēng)電功率數(shù)據(jù)集一共35040個(gè)樣本，15個(gè)特征，取前6000條數(shù)據(jù)進(jìn)行可視化

4.2 其它數(shù)據(jù)集介紹

參考前期文章：

免費(fèi)獲取 | 時(shí)間序列常用數(shù)據(jù)集、可視化代碼

4.3 數(shù)據(jù)集制作與預(yù)處理

詳細(xì)介紹見提供的文檔！

5 基于VMD+Informer-BiLSTM的并行預(yù)測模型

5.1 定義Informer-BiLSTM并行預(yù)測網(wǎng)絡(luò)模型

5.2 設(shè)置參數(shù)，訓(xùn)練模型

50個(gè)epoch，MSE 為0.01283，VMD+Informer-BiLSTM并行預(yù)測效果顯著，模型能夠充分利用Informer的長時(shí)間依賴建模能力和BiLSTM的短期依賴捕捉能力征，收斂速度快，性能優(yōu)越，預(yù)測精度高，適當(dāng)調(diào)整模型參數(shù)，還可以進(jìn)一步提高模型預(yù)測表現(xiàn)。

6 結(jié)果可視化和模型評(píng)估

6.1 預(yù)測結(jié)果可視化

6.2 模型評(píng)估

由預(yù)測結(jié)果可見，在VMD+Informer-BiLSTM并行預(yù)測模型下擬合效果良好，通過這種設(shè)計(jì)，可以充分利用Informer和BiLSTM的優(yōu)勢，實(shí)現(xiàn)高效且準(zhǔn)確的時(shí)序預(yù)測,組合預(yù)測效果顯著！

本文轉(zhuǎn)載自 ??建模先鋒??，作者： 小蝸愛建模