案例使用的試驗數據來源于常見的凱斯西儲大學軸承數據中心，試驗臺采集的振動信號數據包括四種狀態，分別是健康狀態、內圈故障、滾動體故障、外圈故障。案例選擇驅動端振動傳感器采集的數據，采樣頻率為12000Hz，軸承信號為SKF6205。為簡化試驗，僅使用電動機負荷為0的振動信號，轉速為1797r/min。為便于對注意力的分布進行解釋，案例應用包絡譜作為模型的輸入。對于四種狀態的軸承數據，使用滑窗選取55段信號，每段信號包含12000個點，也就是1秒的數據。隨后計算段信號的包絡譜，并把0到2000Hz的頻率幅值作為樣本輸入到模型中進行訓練，即輸入維度為1×2000。80%的樣本被用作訓練集，其余樣本為測試集。案例使用的模型是基礎的Transformer網絡，其內部的自注意力機制針對振動信號具備良好的可解釋。

由于該數據集的四種故障是極易區分的，所以模型在測試集上的準確率為100%。本案例將注意力權重映射到輸入振動信號生成熱圖，解釋模型的決策依據。根據軸承關鍵頻率的計算公式，案例中的轉頻、內圈故障頻率、外圈故障頻率和滾動體故障頻率大致分別為30Hz、162Hz、108Hz和141Hz。

下圖為四種狀態的注意力熱圖，最右側是注意力權重的顏色條。在每張圖中，每段振動信號的顏色由注意力權重值決定。權重越高即對應振動信號顏色越深，表示越受模型關注。為便于展示，橫坐標設置為0到1000Hz，振動信號的幅值和注意力權重均被歸一化在0到1范圍內。對于正常信號，圖中標記了旋轉頻率及其倍頻的位置，而對于故障信號，圖中標記相應的故障頻率及其倍頻的位置。

                   外圈故障

可以發現，對于正常狀態的軸承，包絡譜中僅有明顯的轉頻，其無法作為區別四種故障類別的鑒別特征，因此模型選關注一些高頻的噪聲段。而對于故障狀態的軸承，高注意力權重大多集中在能反映故障類型的頻帶附近。至于滾動體故障，由于包絡譜相應的故障頻率不過明顯，模型不能完全關注相應頻帶，但仍然能關注附近的頻帶。綜合來看，自注意力機制能夠輔助模型學習可鑒別的故障特征，大致符合人對軸承故障狀態的判斷規律，增強了模型的可解釋性。

本文轉載自??高斯的手稿??