蔚來汽車深度學(xué)習(xí)算法實(shí)踐

作者：胥明鏡 2023-05-11 07:43:36

在設(shè)備健康運(yùn)維（PHM）領(lǐng)域，往往存在故障樣本少甚至無故障樣本的情況，因此，傳統(tǒng)的機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法很難起到良好的效果。本文分享兩種深度學(xué)習(xí)算法實(shí)踐。

一、NIO Power 業(yè)務(wù)背景

1、蔚來汽車能源服務(wù)體系

NIO Power 業(yè)務(wù)團(tuán)隊(duì)的目標(biāo)是構(gòu)建全球創(chuàng)新的智能能源服務(wù)體系，基于移動(dòng)互聯(lián)網(wǎng)的加電解決方案，擁有廣泛布局的充電換電設(shè)施網(wǎng)絡(luò)，依托蔚來云技術(shù)，搭建“可充可換可升級(jí)”的能源服務(wù)體系，為車主提供全場(chǎng)景化的加電服務(wù)。

2、設(shè)備運(yùn)維的挑戰(zhàn)

NIO Power 設(shè)備運(yùn)維服務(wù)主要包括蔚來換電站、蔚來超充樁、7KW 家充樁 2.0、20KW 家用快充樁等設(shè)備；該服務(wù)當(dāng)前面臨諸多挑戰(zhàn)，主要包括：

① 保障設(shè)備無安全隱患。

② 用戶投訴：加電體驗(yàn)不佳。

③ 因設(shè)備故障導(dǎo)致的充換電成功率降低。

④ 因設(shè)備故障導(dǎo)致的停機(jī)。

⑤ 運(yùn)維成本較高。

二、NIO Power 設(shè)備運(yùn)維解決方案

公司的 4 類主要充放電設(shè)備（換電站、超充樁、7KW 家充樁、20KW 家用快充樁）都包含大量傳感器，因此將傳感器實(shí)時(shí)采集的數(shù)據(jù)統(tǒng)一接入蔚來能源云進(jìn)行統(tǒng)一存儲(chǔ)和管理，并引入基于 PHM（故障預(yù)測(cè)與健康管理）預(yù)測(cè)性維護(hù)技術(shù)，通過一系列 AI 算法，例如：GAN（生成對(duì)抗網(wǎng)絡(luò)）和 Conceptor（概念器網(wǎng)絡(luò)），得到設(shè)備的異常檢測(cè)情況以及故障診斷情況，并根據(jù)該診斷預(yù)測(cè)結(jié)果為設(shè)備提供最優(yōu)的預(yù)測(cè)性維護(hù)決策方案，并下發(fā)相關(guān)運(yùn)維工單，實(shí)現(xiàn)：

① 消除設(shè)備安全隱患。

② 減少用戶對(duì)于加電體驗(yàn)不佳方面的投訴。

③ 提升充換電成功率。

④ 減少因設(shè)備故障導(dǎo)致的停機(jī)。

⑤ 降低運(yùn)維成本。

因此，PHM 技術(shù)和算法的引入，有效地幫助公司改善了智能能源服務(wù)體系，并形成閉環(huán)，從而提升和優(yōu)化 NIO Power 的服務(wù)能力。

三、PHM 技術(shù)面臨的挑戰(zhàn)

前沿的 PHM 技術(shù)都是基于數(shù)據(jù)驅(qū)動(dòng)的人工智能技術(shù)，“數(shù)據(jù)驅(qū)動(dòng)”依賴大量樣本和標(biāo)簽來構(gòu)建模型，而模型往往都是在理想的場(chǎng)景下構(gòu)建的，然而真實(shí)的場(chǎng)景往往并不理想。

從上圖可以看出，真實(shí)場(chǎng)景常具備以下特點(diǎn)：

① 故障樣本少。

② 故障樣本標(biāo)注困難。

由此帶來了該場(chǎng)景下面臨的兩類問題：一類是無監(jiān)督學(xué)習(xí)問題，另一類是小樣本學(xué)習(xí)問題。

四、PHM 前沿技術(shù)

針對(duì)真實(shí)場(chǎng)景下面臨的這兩類問題，我們提出了以下幾種 PHM 前沿技術(shù)，并應(yīng)用于 NIO Power 場(chǎng)景下。

1、基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的無監(jiān)督異常檢測(cè)

（1）GAN 結(jié)構(gòu)

生成式對(duì)抗網(wǎng)絡(luò)，于 2014 年提出，是一類基于深度學(xué)習(xí)的無監(jiān)督學(xué)習(xí)技術(shù)，主要由生成器和判別器這兩個(gè)子網(wǎng)絡(luò)構(gòu)成。

上圖中紅色 G 網(wǎng)絡(luò)即為生成器網(wǎng)絡(luò)，而藍(lán)色 D 網(wǎng)絡(luò)即為判別器網(wǎng)絡(luò)。

生成器網(wǎng)絡(luò)輸入隨機(jī)數(shù)分布（如高斯分布），輸出用戶指定的特定分布；從樣本的角度來看，將 100 個(gè)從隨機(jī)數(shù)分布中抽樣得到的數(shù)據(jù)輸入給 G 網(wǎng)絡(luò)，G 網(wǎng)絡(luò)會(huì)將這 100 個(gè)樣本映射到與真實(shí)數(shù)據(jù)一樣的空間中，形成分布 G(z)，并利用判別器網(wǎng)絡(luò)得到 G(z) 與真實(shí)數(shù)據(jù) X 這兩種分布的差異，隨后優(yōu)化 G 網(wǎng)絡(luò)直至 G(z) 分布接近真實(shí)數(shù)據(jù) X 分布。G 網(wǎng)絡(luò)會(huì)輸出這 100 個(gè)數(shù)據(jù)并形成一種特定的分布 G(z)。

判別器網(wǎng)絡(luò)的核心是構(gòu)建了 G(z) 分布與真實(shí)數(shù)據(jù) x 分布的近似 Jensen-Shanon 散度，以此來衡量生成的分布與真實(shí)的分布的差異。近似 Jensen-Shanon 散度通過標(biāo)準(zhǔn)的基于二項(xiàng)交叉熵的二分類網(wǎng)絡(luò)來實(shí)現(xiàn)，判別器網(wǎng)絡(luò)輸出是個(gè)從 0 到 1 的連續(xù)值。如果輸出為 1，則認(rèn)為輸入樣本 X 來源于真實(shí)的分布；如果輸出為 0，則認(rèn)為輸入樣本 X 是假的，是仿造的。

在 GAN 網(wǎng)絡(luò)的訓(xùn)練形式上，生成器生成的樣本嘗試與真實(shí)樣本的分布接近，而判別器嘗試區(qū)分出生成的樣本為假的，以此為生成器提供更準(zhǔn)確的 Jensen-Shanon 散度值的梯度，可以讓生成器朝著更優(yōu)的方向迭代。最終這兩種形成了對(duì)抗關(guān)系，生成器“拼命”生成假數(shù)據(jù)，判別器“拼命”對(duì)輸入數(shù)據(jù)進(jìn)行真假區(qū)分。GAN 網(wǎng)絡(luò)最終將達(dá)到一種均衡的狀態(tài)：生成得到的數(shù)據(jù)分布 G(z) 剛好完整覆蓋所有的真實(shí)樣本 X 的分布。

（2）GAN 損失函數(shù)

從數(shù)學(xué)的角度理解 GAN 網(wǎng)絡(luò)，可以從損失函數(shù)理解。損失函數(shù)可使用價(jià)值函數(shù) V(G，D)，通過常見的 minmax 優(yōu)化，同時(shí)優(yōu)化 G 網(wǎng)絡(luò)和 D 網(wǎng)絡(luò)的參數(shù)；對(duì)于給定的 G 網(wǎng)絡(luò)，優(yōu)化目標(biāo)就是最小化價(jià)值函數(shù)，如下公式所示：

公式中 JSD 為該損失函數(shù)最核心的優(yōu)化項(xiàng)，是兩種分布間差異性的一種度量方式。從公式中可以看出，該優(yōu)化的本質(zhì)就是最小化 X 和 G(z) 之間的分布差異；分布差異越小，說明 G 網(wǎng)絡(luò)訓(xùn)練得越成功。

（3）Auto-Encoder aided GAN for Anomaly Detection (AE-GAN)

基于 GAN 網(wǎng)絡(luò)，引入 Auto-Encoder 實(shí)現(xiàn)設(shè)備運(yùn)行數(shù)據(jù)的異常檢測(cè)。

具體實(shí)現(xiàn)方式是：

第一步，搭建 GAN 模型并訓(xùn)練得到一個(gè) G 網(wǎng)絡(luò)，該網(wǎng)絡(luò)剛好重構(gòu)了設(shè)備運(yùn)行數(shù)據(jù)的分布。

第二步，丟棄 GAN 網(wǎng)絡(luò)中的 D 網(wǎng)絡(luò)部分，固定 G 網(wǎng)絡(luò)參數(shù)并在 G 網(wǎng)絡(luò)之前引入Encoder網(wǎng)絡(luò)；這樣，Encoder 網(wǎng)絡(luò)和 G 網(wǎng)絡(luò)組合形成一套標(biāo)準(zhǔn)的 Auto-Encoder 網(wǎng)絡(luò)，該網(wǎng)絡(luò)的損失函數(shù)為重構(gòu)誤差。

這樣，我們通過優(yōu)化 Auto-Encoder 網(wǎng)絡(luò)，即可完成異常檢測(cè)，其背后的原理是：不管輸入樣本如何，通過 Auto-Encoder 網(wǎng)絡(luò)輸出的樣本都會(huì)處于正常樣本區(qū)間范圍內(nèi)。因此，如果輸入樣本為正常樣本，則生成樣本和原樣本同處于相同區(qū)間內(nèi)，因此重構(gòu)誤差會(huì)很小甚至接近 0；而如果輸入樣本為異常樣本，生成樣本仍在正常樣本區(qū)間范圍內(nèi)，這樣會(huì)導(dǎo)致重構(gòu)誤差較大；因此，通過重構(gòu)誤差可以判斷樣本是否正常。

第三步，通過一小批正常樣本來獲得一系列重構(gòu)誤差分?jǐn)?shù)，并以其最大值作為異常檢測(cè)的重構(gòu)誤差閾值。

這一原理已經(jīng)被完整論述在論文中，該論文于 2022 年發(fā)表在 IEEE in Transactions on Intelligent Transportation Systems 上，論文信息如下：

M. Xu, P. Baraldi, X. Lu and E. Zio, "Generative Adversarial Networks With AdaBoost Ensemble Learning for Anomaly Detection in High-Speed Train Automatic Doors," IEEE in Transactions on Intelligent Transportation Systems, 2022.

2、基于無監(jiān)督 RNN（Conceptor）的小樣本故障診斷

我們用到的第二類技術(shù)是一種無監(jiān)督 RNN（命名為概念器網(wǎng)絡(luò)：Conceptor）的小樣本故障診斷技術(shù)。

（1）無監(jiān)督 RNN

首先介紹該技術(shù)的背景——無監(jiān)督 RNN。無監(jiān)督 RNN 和普通 RNN 相比，最特別的一點(diǎn)在于該網(wǎng)絡(luò)輸入層神經(jīng)元的連接權(quán)重和隱藏層的連接權(quán)重是隨機(jī)初始化，并且在整個(gè)訓(xùn)練和推理的過程中是固定不變的。這就意味著，我們不需要對(duì)輸入層和隱藏層的權(quán)重參數(shù)進(jìn)行訓(xùn)練；因此，相比于普通 RNN 網(wǎng)絡(luò)，我們可以將隱藏層神經(jīng)元設(shè)置得非常大，這樣網(wǎng)絡(luò)的記憶周期和記憶容量會(huì)很大，對(duì)輸入的時(shí)間序列的記憶周期會(huì)更長久。這種特殊的無監(jiān)督 RNN 的隱藏層神經(jīng)元通常被稱為 Reservoir。

① Reservoir State Update

狀態(tài)更新方式和標(biāo)準(zhǔn) RNN 更新方式相同。

② Long-term temporal dependencies representation by Conceptor

基于這種無監(jiān)督 RNN 開發(fā)一種無監(jiān)督的表征學(xué)習(xí)方式，具體來說，輸入可變長度的多維時(shí)間序列，經(jīng)過 Reservoir 得到每個(gè)時(shí)間步的 RNN 隱藏神經(jīng)元狀態(tài)；使用 Conceptor 方法（上圖淺藍(lán)色方框所示），得到一個(gè) N×N 維度的概念矩陣。用線性代數(shù)的方式去理解，該矩陣的含義是：在處理時(shí)間序列的時(shí)候，對(duì)于每個(gè)時(shí)間步，將時(shí)間序列信號(hào)投射到 N 維空間（N 對(duì)應(yīng)隱藏神經(jīng)元的尺度）。

如果有 t_i個(gè)時(shí)間步長，則該 N 維空間內(nèi)的這 t_i 個(gè)點(diǎn)形成點(diǎn)云；這樣的點(diǎn)云橢球體可被解構(gòu)成 N 個(gè)相互正交的方向，并得到每個(gè)方向上的特征向量和特征值。

而 Conceptor 的作用就是捕捉特征值和特征向量，并對(duì)特征值進(jìn)行歸一化；對(duì)于這 N 個(gè)特征向量，可理解成是在時(shí)間序列中捕捉到的 N 種性質(zhì)（如周期性、趨勢(shì)性、波動(dòng)性等復(fù)雜時(shí)間序列特征），即隱式特征的提取；而所有被提取到的特征信息均被保留到這個(gè) N 維矩陣中（即 Conceptor 矩陣，上圖右側(cè)深藍(lán)色方框部分）。

③ Similarity measure of time series with variable length

根據(jù)矩陣的基本特性，將兩個(gè)時(shí)間序列的 Conceptor 矩陣相減，并提取 Frobenius 范數(shù)，即得到兩個(gè)時(shí)間序列的 Conceptor 距離；這個(gè)標(biāo)量可用來表征兩個(gè)時(shí)間序列的差異性。

（2）基于 Conceptor 的小樣本故障診斷

基于 Conceptor 的上述特性，可用來進(jìn)行小樣本故障診斷分析。

假如存在少量的實(shí)際故障樣本（比如只有不到 10 個(gè)故障樣本），將對(duì)應(yīng)的時(shí)間序列全部輸入到 Conceptor 網(wǎng)絡(luò)中，聚合形成相應(yīng)的概念矩陣，作為該類別故障模式的抽象表征；同樣，正常的樣本也會(huì)聚合成一個(gè)正常的概念矩陣。在測(cè)試的時(shí)候，對(duì)輸入的時(shí)間序列用相同的方法提取對(duì)應(yīng)的概念矩陣，并分別與正常樣本和異常樣本的概念矩陣進(jìn)行對(duì)比分析，計(jì)算對(duì)應(yīng)的概念差異。如果輸入樣本和某一特定故障模式的概念矩陣相似度很高，則可認(rèn)為該樣本屬于該種故障模式。

這一方法也被完整論述在下述論文中：

Mingjing Xu, Piero Baraldi, Zhe Yang, Enrico Zio, A two-stage estimation method based on Conceptors-aided unsupervised clustering and convolutional neural network classification for the estimation of the degradation level of industrial equipment, Expert Systems with Applications, Volume 213, Part B, 2023, 118962.

五、智能運(yùn)維PHM技術(shù)應(yīng)用案例

1、換電站電池倉鏈條松動(dòng)監(jiān)測(cè)

（1）背景

換電站電池倉的鏈條配合電池倉提升機(jī)，將入倉的電池提升至充電倉進(jìn)行充電。鏈條如果有故障會(huì)發(fā)生松動(dòng)甚至斷裂的情況，從而在運(yùn)送至充電倉的過程中會(huì)導(dǎo)致卡倉、無法入倉。此外，如果鏈條斷裂將導(dǎo)致電池墜落，從而引發(fā)電池?fù)p壞甚至火災(zāi)事故的發(fā)生。

因此，需要構(gòu)建模型提前檢測(cè)鏈條的松動(dòng)情況，提前杜絕相關(guān)安全事故的發(fā)生，將風(fēng)險(xiǎn)降到最低。

（2）問題設(shè)定

和鏈條松動(dòng)直接相關(guān)的變量主要是振動(dòng)相關(guān)信號(hào)，然而振動(dòng)數(shù)據(jù)的采集和存儲(chǔ)成本較高，因此大多數(shù)設(shè)備并未采集振動(dòng)相關(guān)的信號(hào)。

在振動(dòng)數(shù)據(jù)缺失的情況下，可以通過鏈條驅(qū)動(dòng)電機(jī)的扭矩、位置、速度等信號(hào)來檢測(cè)鏈條的松動(dòng)情況。

（3）工業(yè)機(jī)理分析

對(duì)比下圖中的鏈條松動(dòng)數(shù)據(jù)和鏈條正常數(shù)據(jù)，可以明顯看出，電池倉鏈條松動(dòng)會(huì)使得扭矩信號(hào)發(fā)生明顯的周期性波動(dòng)，并且波動(dòng)的幅度呈現(xiàn)衰減趨勢(shì)。

該故障的實(shí)際樣本數(shù)量很少，少于 20 個(gè)樣本；然而這類故障重要性很高，因此對(duì)預(yù)測(cè)模型的準(zhǔn)確率和召回率要求非常高。

（4）鏈條松動(dòng)檢測(cè)模型設(shè)計(jì)

① 首先對(duì)原始數(shù)據(jù)進(jìn)行時(shí)間序列分割，對(duì)長時(shí)間序列提取出勻速過程的扭矩?cái)?shù)據(jù)。

② 進(jìn)而進(jìn)行時(shí)間序列分解，僅保留時(shí)間序列的波動(dòng)特征。

③ 進(jìn)一步對(duì)序列進(jìn)行頻譜分析，最終得到頻譜特征。

然而，發(fā)生故障時(shí)刻的頻率波段不止一種，并且不同頻段下的振幅服從特定的分布，因此用傳統(tǒng)的方式去識(shí)別，準(zhǔn)確率較低，會(huì)造成較多的誤報(bào)警和漏報(bào)警。因此，選擇 AE-GAN 模型，更精準(zhǔn)地捕捉故障模式下特定的故障分布，最終得到設(shè)備異常分?jǐn)?shù)。

（5）鏈條松動(dòng)檢測(cè)數(shù)據(jù)與算法交互流程

松動(dòng)檢測(cè)數(shù)據(jù)和算法交互主要包括以下幾層：數(shù)倉，數(shù)據(jù)層，特征層，算法層以及模型層。

其中，特征層主要就是前文所述特征工程所涉及到的算法模塊；本案例中，算法層使用 AE-GAN 算法；基于算法層的異常分?jǐn)?shù)結(jié)果，以及特征層中特征表的數(shù)據(jù)記錄，在模型層中進(jìn)行進(jìn)一步判斷和決策；最后輸出工單下發(fā)給專員來處理。

基于上述流程，將傳統(tǒng)的專家經(jīng)驗(yàn)檢測(cè)升級(jí)成 AI 算法檢測(cè)，準(zhǔn)確率提升超過 30%。

2、超充樁槍頭劣化故障診斷

（1）工業(yè)機(jī)理分析

首先基于充電槍的充電電流、電壓、溫度等物理信號(hào)建立物理模型以得到槍頭的溫升系數(shù)物理量，并以此作為特征信號(hào)進(jìn)行進(jìn)一步的故障診斷。然而這種基于物理的特征工程，通常使用時(shí)間滑窗進(jìn)行特征生成，最終得到一個(gè)新的時(shí)間序列作為特征結(jié)果；這樣的特征序列往往噪聲較大。

以下圖為例，該項(xiàng)目通常選取一周或一月的數(shù)據(jù)作為時(shí)間窗口，得到類似下圖的特征時(shí)間序列。圖中可以看出，該序列的噪聲很大，很難直接分辨劣化樣本和正常樣本。

此外，實(shí)際故障樣本中，劣化槍頭樣本數(shù)往往小于 50。

基于以上兩點(diǎn)原因，引入 Conceptor 模型，擺脫人工經(jīng)驗(yàn)，通過模型自動(dòng)捕捉劣化樣本的時(shí)間序列特征。

（2）故障診斷流程

① 收集故障樣本數(shù)據(jù)

公司共投產(chǎn)數(shù)千個(gè)超充樁，其中僅數(shù)十個(gè)超充樁曾更換槍頭。
基于槍頭更換記錄匹配對(duì)應(yīng)時(shí)段的故障樣本數(shù)據(jù)，作為模型的訓(xùn)練集。
故障數(shù)據(jù)包含 6 維時(shí)間序列，且序列長度不一。

② 模型構(gòu)建

該故障背后蘊(yùn)含的物理機(jī)理較為復(fù)雜，因此基于先驗(yàn)知識(shí)、專家經(jīng)驗(yàn)以及物理機(jī)理進(jìn)行建模相對(duì)難以實(shí)現(xiàn)，且模型難以泛化。
而本文提到的 Conceptor 模型方法，基于純數(shù)據(jù)驅(qū)動(dòng)方法實(shí)現(xiàn)，未引入任何先驗(yàn)物理信息提取特征，可大大降低模型的復(fù)雜度，提升建模效率。
通過 Conceptor 模型方法，將異常時(shí)段的多維時(shí)序數(shù)據(jù)輸入模型中，得到對(duì)應(yīng)的概念表征矩陣。

a、假如輸入 50 個(gè)故障樣本，則會(huì)得到 50 個(gè)概念表征矩陣；

b、將這 50 個(gè)矩陣進(jìn)行均值聚合，并乘以故障模式的表征矩陣重心，得到該故障模式下的表征矩陣；

c、模型測(cè)試階段，對(duì)輸入測(cè)試數(shù)據(jù)計(jì)算概念矩陣，將其與故障模式的表征矩陣進(jìn)行對(duì)比，進(jìn)而得到異常分?jǐn)?shù)。

③ 模型預(yù)警

1）基于模型結(jié)果，根據(jù)提前劃分的 3 個(gè)不同等級(jí)的報(bào)警規(guī)則，按照不同的劣化程度進(jìn)行判斷，最終實(shí)現(xiàn)分級(jí)預(yù)警。

基于上述流程，將傳統(tǒng)的機(jī)理模型檢測(cè)方法升級(jí)成機(jī)理模型結(jié)合 AI 算法檢測(cè)方法，可將模型誤報(bào)警率減少至原來的 1/5。

六、問答環(huán)節(jié)

Q1：在 AE-GAN 模型中，如何區(qū)分正常樣本和異常樣本？

A1：對(duì)于訓(xùn)練好的 AE-GAN 模型，輸入一個(gè)樣本到 Auto-Encoder 中，得到樣本的重構(gòu)誤差即異常分?jǐn)?shù)；如果該分?jǐn)?shù)小于指定閾值，則認(rèn)為該樣本正常，反之則為異常樣本。這一方法的使用前提是，訓(xùn)練數(shù)據(jù)全部為正常樣本數(shù)據(jù)。

Q2：GAN 網(wǎng)絡(luò)訓(xùn)練時(shí)候，使用的是小樣本故障數(shù)據(jù)和正常數(shù)據(jù)的混合數(shù)據(jù)嗎？兩種數(shù)據(jù)如何平衡？

A2：GAN 網(wǎng)絡(luò)訓(xùn)練時(shí)，要么使用正常數(shù)據(jù)，要么使用某種特定模式下的異常數(shù)據(jù)，不會(huì)使用混合數(shù)據(jù)進(jìn)行訓(xùn)練，因此不會(huì)出現(xiàn)樣本不均衡這類問題。如果實(shí)際數(shù)據(jù)中兩類數(shù)據(jù)樣本懸殊，一般會(huì)針對(duì)正常樣本訓(xùn)練出一個(gè) GAN 網(wǎng)絡(luò) 1，再針對(duì)某種固定模式異常樣本訓(xùn)練出 GAN 網(wǎng)絡(luò) 2，并基于這兩種網(wǎng)絡(luò)的重構(gòu)誤差對(duì)測(cè)試樣本進(jìn)行最終判斷。

Q3：GAN 訓(xùn)練中會(huì)出現(xiàn)模式崩潰嗎？

A3：模式崩潰是 GAN 模型訓(xùn)練中遇到的最核心的問題。首先要理解模式崩潰，其次要關(guān)注 GAN 訓(xùn)練的核心任務(wù)。

模式崩潰，是生成器生成得到的數(shù)據(jù)聚焦于某個(gè)特定區(qū)域；出現(xiàn)這樣情況的原因是 GAN網(wǎng)絡(luò)中損失函數(shù)定義的忽略。GAN 網(wǎng)絡(luò)訓(xùn)練過程中，通常將 G 網(wǎng)絡(luò)的損失和 D 網(wǎng)絡(luò)的損失分開計(jì)算，而常常忽略兩個(gè)網(wǎng)絡(luò)的聯(lián)合損失函數(shù)（即公式中的 JSD 損失）。如果出現(xiàn)訓(xùn)練模式崩潰情況，往往 JSD 損失并未收斂；因此，在訓(xùn)練過程中將 JSD 損失進(jìn)行可視化，可有效避免模式崩潰情況發(fā)生。這也是近期很多改進(jìn)版的 GAN 模型能夠脫穎而出產(chǎn)生較好效果的原因；此外，在標(biāo)準(zhǔn) GAN 網(wǎng)絡(luò)中引入特定 trick，也可以達(dá)到類似的效果。

Q4：RNN 隱藏層隨機(jī)固定的優(yōu)勢(shì)是什么？

A4：對(duì)于正負(fù)樣本懸殊的場(chǎng)景，如果使用常用的 LSTM、RNN、GRNN 等模型，往往會(huì)面臨損失函數(shù)不收斂的問題；因此這類問題的處理思路，往往是從無監(jiān)督學(xué)習(xí)出發(fā)，隨機(jī)固定主網(wǎng)絡(luò)隱藏層的 weight，并使用特定方法對(duì)生成的概念矩陣的特征分量進(jìn)行正則化處理；雖然 weight 參數(shù)是隨機(jī)的，但是得到的表征分量可以反映出時(shí)間序列隱藏的特性，足以對(duì)小樣本場(chǎng)景加以區(qū)分，以上是 RNN 隱藏層隨機(jī)固定的優(yōu)勢(shì)。

Q5：介紹下 Conceptor 模型的網(wǎng)絡(luò)形態(tài)。

A5：該模型如下圖所示。

其中，Reservior 部分和普通 RNN 網(wǎng)絡(luò)基本相同，唯一的不同是 W_in和 W 是隨機(jī)設(shè)置的（注意只隨機(jī)生成一次）；后續(xù)對(duì)每個(gè)時(shí)間步長下的神經(jīng)元隱藏狀態(tài)進(jìn)行計(jì)算和更新，并得到對(duì)應(yīng)的概念矩陣。以上是 Conceptor 的完整版形態(tài)。

Q6：AE-GAN 中的 Encoder 網(wǎng)絡(luò)的訓(xùn)練過程是怎樣的？輸入和輸出分別是什么？

A6：下圖是 Encoder 網(wǎng)絡(luò)的訓(xùn)練過程。

首先會(huì)訓(xùn)練一個(gè)標(biāo)準(zhǔn) GAN，在此基礎(chǔ)上固定 G 網(wǎng)絡(luò)中隱藏層的參數(shù)；然后在 G 網(wǎng)絡(luò)前插入一個(gè) Encoder 網(wǎng)絡(luò)，將兩個(gè)網(wǎng)絡(luò)連接形成 Auto-Encoder 網(wǎng)絡(luò)。Auto-Encoder 網(wǎng)絡(luò)的輸入是原始的數(shù)據(jù)樣本，輸出是重構(gòu)的數(shù)據(jù)樣本；AE-GAN 網(wǎng)絡(luò)通過構(gòu)建重構(gòu)樣本進(jìn)而對(duì)異常數(shù)據(jù)進(jìn)行識(shí)別。

Q7：文中所述兩種方法，是否有論文及相關(guān)開源代碼？

A7：論文詳見文章正文相關(guān)章節(jié)，代碼暫未開源。

Q8：圖像領(lǐng)域可以使用 AE-GAN 進(jìn)行異常檢測(cè)嗎？

A8：可以使用。不過圖像領(lǐng)域相比普通的信號(hào)，其維度更高，數(shù)據(jù)分布更復(fù)雜，訓(xùn)練所需數(shù)據(jù)量更大。因此，如果用來作圖像分類，且數(shù)據(jù)樣本較少，模型效果會(huì)打折扣；如果用作異常檢測(cè)，效果還是不錯(cuò)的。

Q9：異常檢測(cè)的評(píng)價(jià)指標(biāo)如何？誤報(bào)和漏報(bào)，以及兩者一并評(píng)價(jià)。

A9：評(píng)價(jià)指標(biāo)最直觀的就是誤報(bào)率和漏報(bào)率，更科學(xué)的指標(biāo)包括查全率、查準(zhǔn)率、F-score 等。

Q10：如何匹配故障樣本特征？

A10：如果沒有更直接、更快捷的方法得到故障特征，一般采用純數(shù)據(jù)驅(qū)動(dòng)的方法進(jìn)行故障樣本特征挖掘，一般是構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)去學(xué)習(xí)故障樣本關(guān)鍵特征，并被表征為概念矩陣。

Q11：PHM 算法如何進(jìn)行模型選型？

A11：對(duì)于少量樣本，一般使用無監(jiān)督 RNN 方法勝場(chǎng)概念矩陣來表征數(shù)據(jù)特征；如果對(duì)于異常檢測(cè)問題，存在大量正常樣本，則可使用 AE-GAN 網(wǎng)絡(luò)來實(shí)現(xiàn)。

Q12：如何通過 RNN 輸出的兩類概念矩陣來識(shí)別異常？

A12：RNN 輸出的概念矩陣，可以理解成輸入的時(shí)間序列中所有特征的集合；由于相同狀態(tài)下數(shù)據(jù)的特征是相似的，因此將該狀態(tài)下所有樣本的概念矩陣作均值聚合，即抽象出該類狀態(tài)下的概念中心矩陣；對(duì)于未知狀態(tài)的輸入時(shí)間序列，通過計(jì)算其概念矩陣并和概念中心矩陣進(jìn)行比較，相似度最高的概念中心矩陣即為輸入數(shù)據(jù)對(duì)應(yīng)的類別。

Q13：AE-GAN 網(wǎng)絡(luò)中，異常閾值如何設(shè)定？

A13：完成網(wǎng)絡(luò)訓(xùn)練后，使用小批量正常樣本數(shù)據(jù)進(jìn)行重構(gòu)誤差的計(jì)算，取其中最大值作為閾值。

Q14：AE-GAN 網(wǎng)絡(luò)中的異常閾值會(huì)更新嗎？

A14：一般情況下不會(huì)更新，但是如果原始數(shù)據(jù)分布發(fā)生變化（如運(yùn)行工況發(fā)生變化），則可能需要重新訓(xùn)練閾值，甚至可能將遷移學(xué)習(xí)相關(guān)方法引入 GAN 網(wǎng)絡(luò)中，對(duì)閾值進(jìn)行微調(diào)。

Q15：GAN 是如何訓(xùn)練時(shí)間序列的？

A15：GAN 一般不是訓(xùn)練原始的時(shí)間序列，而是訓(xùn)練基于原始時(shí)間序列提取出的特征。

Q16：AE-GAN 和傳統(tǒng) GAN 相比，引入 GAN 的作用是什么？可獲得那些提升？

A16：傳統(tǒng) GAN 也經(jīng)常用來進(jìn)行異常檢測(cè)。AE-GAN 對(duì) GAN 的原理剖析更加深入，因此也能最大程度地避免模式坍塌等問題；而 Auto-Encoder 的引入，可確保異常檢測(cè)的原理被準(zhǔn)確無誤地執(zhí)行，從而減少誤報(bào)率。

Q17：充電樁的時(shí)序數(shù)據(jù)，是否會(huì)出現(xiàn)節(jié)假日整體抬升的情況？如何避免誤判？

A17：故障診斷模型劃分很多層級(jí)，模型層的結(jié)果僅為決策層的依據(jù)而并非最終結(jié)果，一般會(huì)結(jié)合其他業(yè)務(wù)邏輯輔助判斷。

Q18：模型上線后，無監(jiān)督異常檢測(cè)的應(yīng)用效果如何評(píng)估？

A18：一般基于異常檢測(cè)的結(jié)果，會(huì)指定技術(shù)專員到現(xiàn)場(chǎng)真實(shí)場(chǎng)景中進(jìn)行確認(rèn)。

Q19：是否使用文中提到的兩種方法，針對(duì)換電站中電池進(jìn)行異常檢測(cè)的嘗試？

A19：正在進(jìn)行相關(guān)的嘗試。

Q20：時(shí)序數(shù)據(jù)如何統(tǒng)一長度？用 0 填充會(huì)導(dǎo)致梯度不下降嗎？

A20：文中提到的 Conceptor 模型可以處理任意長度的時(shí)間序列，因此無需填充 0，同時(shí)也避免了參數(shù)“訓(xùn)練”過程，因此可以規(guī)避這類問題。

Q21：GAN 會(huì)出現(xiàn)過擬合的情況嗎？

A21：如果僅僅用于異常檢測(cè)領(lǐng)域，其實(shí)越“過擬合”則模型表現(xiàn)會(huì)越好。此外，由于 GAN 模型的 G 網(wǎng)絡(luò)在訓(xùn)練過程中存在較大的隨機(jī)性，因此一般不會(huì)發(fā)生過擬合的情況。

Q22：訓(xùn)練 GAN 模型，使用訓(xùn)練數(shù)據(jù)的數(shù)量級(jí)，一般設(shè)定為多少會(huì)達(dá)到較好的效果？

A22：這類問題一般取決于神經(jīng)網(wǎng)絡(luò)的規(guī)模，隱藏神經(jīng)元的維度等。一般來講，對(duì)于 2 層神經(jīng)網(wǎng)絡(luò)、每層 100 個(gè)神經(jīng)元這種規(guī)模的模型，訓(xùn)練數(shù)據(jù)的體量需要比隱藏層維度大 1-2 個(gè)數(shù)量級(jí)，才能達(dá)到較好的效果，同時(shí)還需要使用一些 trick 來避免模式坍塌的發(fā)生。

Q23：Conceptor 模型中的最小單元隱匿參數(shù)固定，是基于專家經(jīng)驗(yàn)設(shè)置嗎？和普通 RNN 相比，偏差如何？故障分析的標(biāo)簽量是多少？如何做到業(yè)務(wù)價(jià)值量化？

A23：目前上線的很多 Conceptor 模型都使用相同的一套經(jīng)驗(yàn)參數(shù)，沒有進(jìn)行進(jìn)一步調(diào)參；根據(jù)實(shí)踐經(jīng)驗(yàn)來看，相關(guān)參數(shù)設(shè)置從 10 到 100，對(duì)結(jié)果的影響差異很小，唯一的差別在于計(jì)算成本。如果故障數(shù)據(jù)的樣本量較小而希望結(jié)果更精準(zhǔn)，則可將參數(shù)設(shè)置成128、256 甚至更高，相應(yīng)地，計(jì)算成本也會(huì)更高。故障分析的標(biāo)簽量，一般在 1 到 10 之間。業(yè)務(wù)價(jià)值量化，一般用誤報(bào)警和漏報(bào)警來衡量，因?yàn)檎`報(bào)警和漏報(bào)警可以直接折算成定量的業(yè)務(wù)價(jià)值影響。

Q24：如何確定故障開始時(shí)間，以及查準(zhǔn)率查全率？

A24：可以采用 Conceptor 方法，利用時(shí)間增長窗口形成多個(gè)概念矩陣；并對(duì)概念矩陣進(jìn)行譜聚類，進(jìn)而確定故障發(fā)生時(shí)間。詳見 Conceptor 章節(jié)相關(guān)論文。

Q25：大量的正常數(shù)據(jù)是不是取值相同？這樣模型會(huì)不會(huì)重復(fù)學(xué)習(xí)相同的樣本？

A25：在真實(shí)的場(chǎng)景下，由于設(shè)備存在不同的運(yùn)行工況，正常的數(shù)據(jù)往往也是千差萬別的。

Q26：什么特征的故障適用 GAN，什么特征的故障適用 RNN？

A26：這兩種模型的具體使用場(chǎng)景很難進(jìn)行明確的劃分；一般來說，GAN 更擅長解決數(shù)據(jù)分布特殊、很難用分類網(wǎng)絡(luò)來刻畫的這類問題，而無監(jiān)督 RNN 更適合處理小樣本問題。

Q27：“人員違規(guī)行為檢測(cè)”這類特殊場(chǎng)景，能否使用本文提到的模型？

A27：對(duì)于領(lǐng)域特定場(chǎng)景，如能引入領(lǐng)域特定知識(shí)提取高階特征，則一般是可以的；如果僅僅使用圖像進(jìn)行檢測(cè)，如果圖像樣本量很大，且能夠表征正常行為，則可將問題轉(zhuǎn)化為 CV 領(lǐng)域細(xì)分場(chǎng)景檢測(cè)，可以使用本文提到的模型加以檢測(cè)。

Q28：Conceptor Distance 是相似度判斷嗎？是否是帶參數(shù)學(xué)習(xí)的？

A28：是無參數(shù)的。

Q29：每種故障都要訓(xùn)練一個(gè)模型嗎？

A29：要看具體的場(chǎng)景，包括模型的需求、故障的樣本量以及分布的復(fù)雜性等。如果兩種故障的時(shí)序波箱相似性很高，一般無需單獨(dú)訓(xùn)練模型，只需要構(gòu)建多分類模型確定分類邊界即可；而兩種故障模式的數(shù)據(jù)形態(tài)差異很大，則可借助 GAN 模型進(jìn)行更精準(zhǔn)的識(shí)別。

Q30：模型訓(xùn)練時(shí)間和訓(xùn)練成本如何？

A30：Conceptor 模型的訓(xùn)練成本很小，可用來提取特征；GAN 模型訓(xùn)練時(shí)間相對(duì)更長一些，不過對(duì)于常見的結(jié)構(gòu)化的表格數(shù)據(jù)，訓(xùn)練時(shí)間也不會(huì)太長。

Q31：模型訓(xùn)練時(shí)，正常樣本的訓(xùn)練集是什么樣的？時(shí)序滑窗切片時(shí)，每個(gè)時(shí)序子集的時(shí)間個(gè)數(shù)有最小個(gè)數(shù)建議嗎？

A31：兩種模型本身對(duì)正負(fù)樣本的數(shù)量都沒有要求；考慮到模型訓(xùn)練時(shí)間，一般近選取上千個(gè)具有代表性的樣本進(jìn)行訓(xùn)練。時(shí)序子集的時(shí)間個(gè)數(shù)一般沒有最小個(gè)數(shù)建議。

Q32：RNN 網(wǎng)絡(luò)得到的特征矩陣維度大概是多少？

A32：特征矩陣的維度和隱藏神經(jīng)元的個(gè)數(shù)直接相關(guān)，如果 N 個(gè)隱藏神經(jīng)元，則特征矩陣的維度為 N×N。考慮到模型的復(fù)雜度以及計(jì)算效率，一般不會(huì)將 N 設(shè)得太大，常用的設(shè)定值為 32。

Q33：為什么不使用 GAN 中的判別器作為分類器？判別器只學(xué)習(xí)正常數(shù)據(jù)，對(duì)異常數(shù)據(jù)會(huì)被劃分到虛假數(shù)據(jù)范疇。這個(gè)方法的缺點(diǎn)是什么？

A33：根據(jù) GAN 的原理，D 網(wǎng)絡(luò)用來區(qū)分正常樣本和偽造樣本；而偽造樣本如果訓(xùn)練成“完全體”狀態(tài)，會(huì)非常接近正常樣本，造成正常樣本和異常樣本之間難以區(qū)分；而 AE-GAN 網(wǎng)絡(luò)假定正常樣本和異常樣本具備一定的區(qū)分性，這是使用 AE-GAN 的理論基礎(chǔ)。

Q34：小樣本學(xué)習(xí)的模型如何保證泛化能力？

A34：模型的泛化能力，需要基于一個(gè)先驗(yàn)假設(shè)：所有同類型的故障，其數(shù)據(jù)分布也是相似的。如果同類故障數(shù)據(jù)分布差異較大，則一般需要對(duì)故障類別進(jìn)行進(jìn)一步的細(xì)分，才能保證模型的泛化能力。

Q35：輸入數(shù)據(jù)需要如何進(jìn)行數(shù)據(jù)預(yù)處理？

A35：對(duì)于文中提到的兩個(gè)模型，數(shù)據(jù)只需進(jìn)行歸一化即可。

Q36：GAN 和孤立森林、AE 等傳統(tǒng)的無監(jiān)督方向?qū)Ρ热绾危?/span>

A36：GAN 通過理論的完備性，更完善地描繪正常樣本數(shù)據(jù)的分布情況，由此構(gòu)建出更完整的決策邊界。而普通的 AE、孤立森林以及 One Class SVM 等方法不具備理論上的完備性，無法構(gòu)建更完整的決策邊界。

Q37：如果判別器在后期幾乎無法判別正常樣本和偽造樣本，那么 GAN 部分的意義就不大了，此時(shí) AE-GAN 會(huì)退化成 AE 嗎？

A37：如果判別器確實(shí)無法識(shí)別正常樣本和偽造樣本，從側(cè)面可以說明生成器的訓(xùn)練是很成功的；而在異常檢測(cè)階段，只用到生成器而沒有用到判別器。GAN 網(wǎng)絡(luò)中生成器的意義重大，因此 AE-GAN 不會(huì)退化成 AE，可將其理解成 AE 的升級(jí)版，是正則化的 AE。

Q38：有嘗試使用 Transformer 替代 RNN 嗎？

A38：在小樣本、可解釋性要求高的場(chǎng)景下，還沒有過這樣的嘗試，后期可能會(huì)進(jìn)行相關(guān)嘗試。

Q39：AE-GAN 和 VAE 的區(qū)別是什么？

A39：VAE 也是異常檢測(cè)常用的方法，VAE 在隱藏層使用了先驗(yàn)高斯分布，并對(duì)先驗(yàn)高斯分布改變形狀進(jìn)而擬合真實(shí)數(shù)據(jù)，使得兩個(gè)分布等價(jià)；然而 VAE 使用的損失函數(shù)是 KL 散度而不是 JSD 散度，而 KL 散度是不對(duì)稱的，因此在復(fù)雜樣例中可能效果不佳。