多模態故障診斷！基于1D-GRU+2D-MTF-ResNet-CBAM的分類模型
1.模型簡介與創新點介紹
1.1 模型簡介
將時頻圖像和一維時序信號相結合，并使用CBAM注意力機制優化的ResNet和GRU多模態特征融合模型，來進行故障信號分類，能夠有效地結合時頻圖像空間特征和一維信號時間序列特征，能夠充分利用多模態特征的優勢。
1.2 創新點介紹
創新一：多模態融合
本模型將時頻圖像和一維時序信號進行多模態融合，充分利用這兩類數據的互補性。時頻圖像通過馬爾可夫轉移場MTF，將信號的頻率和時間特征可視化。而一維時序信號則保留了原始時間依賴信息，適合使用遞歸神經網絡（RNN）或GRU進行處理。通過融合這兩種特征：
- 時頻圖像捕捉了信號中的高頻、低頻變化趨勢，有助于識別頻域中的故障特征。
- 一維時序信號保留了信號的時間依賴特性，能夠反映出故障在時間上的動態演化。
這種雙通道的數據融合使得模型能夠同時利用時間、頻率和圖像特征，從而大幅提升了故障分類的準確性。
創新二：基于CBAM注意力機制優化的ResNet
CBAM（Convolutional Block Attention Module）是一種用于卷積神經網絡（CNN）的注意力機制，旨在提高模型的表示能力。CBAM通過結合通道注意力（Channel Attention）和空間注意力（Spatial Attention）來增強特征表示，從而提升模型性能。
將 CBAM 模塊插入到 ResNet 的每個殘差塊之后，以平衡計算量與性能提升：
（1）增強的特征表示
通道注意力與空間注意力的結合：CBAM 提供了通道注意力和空間注意力兩個模塊。這兩個模塊分別從特征圖的通道維度和空間維度增強特征表示。通過在 ResNet 的基本單元中插入 CBAM，網絡可以更好地捕捉不同特征的重要性，從而在更深的層次上進行有效的信息提取和聚合。
（2）細粒度的特征選擇
細粒度特征聚焦：CBAM 通過為特征圖的每一個通道和每一個空間位置分配權重，能夠細粒度地選擇和強調重要特征。這種機制允許 ResNet 更加智能地忽略無關的背景信息，專注于故障分類的關鍵特征。
（3）與殘差連接的無縫集成
與殘差結構的兼容性：CBAM 可以無縫地集成到 ResNet 的殘差塊中。由于 CBAM 的設計簡單且高效，它可以直接插入到 ResNet 的每個殘差塊中，而不會顯著增加計算復雜度。這種集成方式使得 ResNet 保持其原有的優勢（如梯度流動性和訓練穩定性）的同時，獲得了更強的特征表達能力。
（4）提升網絡性能
性能提升：在 ResNet 中加入 CBAM 后，通常能觀察到在圖像分類、目標檢測等任務上的準確率提升。通過對特征圖的動態調整，CBAM 能夠幫助網絡更好地適應數據的分布特性和任務需求。
（5）計算效率與靈活性
- 計算效率：CBAM 設計簡單，計算開銷小，適合在不顯著增加網絡復雜度的情況下，提升模型性能。
- 靈活性：CBAM 可以靈活地應用于 ResNet 的不同變體（如 ResNet-18、ResNet-34、ResNet-50 等），并且能夠根據具體任務的需求進行調整和優化。
將 CBAM 與 ResNet（Residual Network） 結合，是一種提升 ResNet 表達能力的有效方法。這種組合在保持網絡深度和寬度的同時，通過引入注意力機制來增強特征表示能力。
創新三：基于一維信號序列堆疊的時序特征提取
在處理一維時序信號時，我們對一維信號序列數據進行了堆疊，采用了GRU（門控循環單元）來提取時序特征。這一創新設計加快了GRU的計算效率，在處理一維時序信號時，能夠更加有效地提取出故障發生時的關鍵特征，顯著提高了信號分類的精度。
創新四：特征融合優勢
模型中的多模態融合部分，通過ResNet-CBAM提取時頻圖像特征和GRU處理一維信號特征后，我們采用特征拼接融合的方式，將兩種特征結合。相比于僅使用單一模式特征的傳統模型，融合后的特征在分類任務中的表現更加優越，主要優勢體現在：
- 時頻圖像和時序信號各自提供了不同視角的特征信息，前者提供頻率域特征，后者保留了時間依賴特性，兩者的結合能更加全面地反映信號的故障特征。
- 通過特征融合，模型在捕捉不同模式下的故障特征時更加魯棒，尤其在復雜的故障信號環境下，融合的特征能夠更好地應對噪聲干擾和信號變化。
這種特征融合策略使得我們的模型在多種故障模式下，依然能夠保持高效準確的分類性能，提升了模型在實際應用中的魯棒性和泛化能力。
2.軸承故障數據的預處理
2.1 導入數據
參考之前的文章，進行故障10分類的預處理，凱斯西儲大學軸承數據10分類數據集：
train_set、val_set、test_set 均為按照7：2：1劃分訓練集、驗證集、測試集，最后保存數據
上圖是數據的讀取形式以及預處理思路
2.2 數據預處理，時頻圖像變換
我們提供了馬爾可夫轉換場 MTF 、遞歸圖 RP 、格拉姆矩陣GAF、連續小波變換CWT、短時傅里葉變換STFT五種時頻圖像變換方法，可靈活替換多模態特征中的時頻圖像類型！
本文采用馬爾可夫轉換場 MTF來作為時頻圖像變換的處理方法，生成的時頻圖像如下所示：
3.創新模型效果展示
（1）模型訓練可視化
（2）模型評估
50個epoch，準確率98%，用1D-GRU+2D-MTF-ResNet-CBAM網絡分類效果顯著，模型能夠充分提取軸承故障信號的空間和時序特征，收斂速度快，性能優越，精度高，效果明顯!
（3）混淆矩陣
其他可視化圖：
（1）原始數據 t-SNE特征可視化
（2）模型訓練后的 t-SNE特征可視化：
