用光訓(xùn)練神經(jīng)網(wǎng)絡(luò)，清華成果最新登上了Nature！

無法應(yīng)用反向傳播算法怎么辦？

他們提出了一種全前向模式（Fully Forward Mode，F(xiàn)FM）的訓(xùn)練方法，在物理光學(xué)系統(tǒng)中直接執(zhí)行訓(xùn)練過程，克服了傳統(tǒng)基于數(shù)字計算機模擬的限制。

簡單點說，以前需要對物理系統(tǒng)進行詳細建模，然后在計算機上模擬這些模型來訓(xùn)練網(wǎng)絡(luò)。而FFM方法省去了建模過程，允許系統(tǒng)直接使用實驗數(shù)據(jù)進行學(xué)習(xí)和優(yōu)化。

這也意味著，訓(xùn)練不需要再從后向前檢查每一層（反向傳播），而是可以直接從前向后更新網(wǎng)絡(luò)的參數(shù)。

打個比方，就像拼圖一樣，反向傳播需要先看到最終圖片（輸出），然后逆向一塊塊檢查復(fù)原；而FFM方法更像手中已有部分完成的拼圖，只需按照一些光原理（對稱互易性）繼續(xù)填充，而無需回頭檢查之前的拼圖。

這樣下來，使用FFM優(yōu)勢也很明顯：

一是減少了對數(shù)學(xué)模型的依賴，可以避免模型不準(zhǔn)確帶來的問題；二是節(jié)省了時間（同時能耗更低），使用光學(xué)系統(tǒng)可以并行處理大量的數(shù)據(jù)和操作，消除反向傳播也減少了整個網(wǎng)絡(luò)中需要檢查和調(diào)整的步驟。

論文共同一作是來自清華的薛智威、周天貺，通訊作者是清華的方璐教授、戴瓊海院士。此外，清華電子系徐智昊、之江實驗室虞紹良也參與了這項研究。

消除反向傳播

一句話概括FFM原理：

將光學(xué)系統(tǒng)映射為參數(shù)化的現(xiàn)場神經(jīng)網(wǎng)絡(luò)，通過測量輸出光場來計算梯度，并使用梯度下降算法更新參數(shù)。

簡單說就是讓光學(xué)系統(tǒng)自學(xué)，通過觀察自己如何處理光線（即測量輸出光場）來了解自己的表現(xiàn)，然后利用這些信息來逐步調(diào)整自己的設(shè)置（參數(shù)）。

下圖展示了FFM在光學(xué)系統(tǒng)中的運行機制：

其中a為傳統(tǒng)設(shè)計方法的局限性；b為光學(xué)系統(tǒng)的組成；c為光學(xué)系統(tǒng)到神經(jīng)網(wǎng)絡(luò)的映射。

展開來說，一般的光學(xué)系統(tǒng)（b），包括自由空間透鏡光學(xué)和集成光子學(xué)，由調(diào)制區(qū)域（暗綠色）和傳播區(qū)域（淺綠色）組成。在這些區(qū)域中，調(diào)制區(qū)域的折射率是可調(diào)的，而傳播區(qū)域的折射率是固定的。

而這里的調(diào)制和傳播區(qū)域可以映射到神經(jīng)網(wǎng)絡(luò)中的權(quán)重和神經(jīng)元連接。

在神經(jīng)網(wǎng)絡(luò)中，這些可調(diào)整的部分就像是神經(jīng)元之間的連接點，可以改變它們的強度（權(quán)重）來學(xué)習(xí)。

利用空間對稱互易性原理，數(shù)據(jù)和誤差計算可以共享相同的前向物理傳播過程和測量方法。

這有點像鏡子里的反射，系統(tǒng)中的每個部分都能以相同的方式響應(yīng)光的傳播和錯誤反饋。這意味著無論光如何進入系統(tǒng)，系統(tǒng)都能以一致的方式處理它，并根據(jù)結(jié)果來調(diào)整自己。

這樣，可以在現(xiàn)場直接計算梯度，用于更新設(shè)計區(qū)域內(nèi)的折射率，從而優(yōu)化系統(tǒng)性能。

通過現(xiàn)場梯度下降方法，光學(xué)系統(tǒng)可以逐步調(diào)整其參數(shù)，直至達到最優(yōu)狀態(tài)。

原文將上述全前向模式的梯度下降方法（替代反向傳播）用方程最終表示為：

一種光學(xué)神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

作為一種光學(xué)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方法，F(xiàn)FM有以下優(yōu)勢：

與理想模型相當(dāng)?shù)臏?zhǔn)確率

使用FFM可以在自由空間光學(xué)神經(jīng)網(wǎng)絡(luò)（Optical Neural Network，ONN）上實現(xiàn)有效的自訓(xùn)練過程。

要說明這個結(jié)論，研究人員首先用一個單層的ONN在基準(zhǔn)數(shù)據(jù)集上進行了對象分類訓(xùn)練（a）。

具體來說，他們用了一些手寫數(shù)字的圖片（MNIST數(shù)據(jù)集）來訓(xùn)練這個系統(tǒng)，然后將結(jié)果進行了可視化（b）。

結(jié)果顯示，通過FFM學(xué)習(xí)訓(xùn)練的ONN在實驗光場與理論光場之間相似性極高（SSIM超過0.97）。

換句話說，它學(xué)習(xí)得非常好，幾乎能夠完美復(fù)制給它的示例。

不過研究人員也提醒：

由于系統(tǒng)存在的不完美之處，理論上計算出的光場和梯度無法完全準(zhǔn)確地反映實際物理現(xiàn)象。

接下來，研究人員用更復(fù)雜的圖片（Fashion-MNIST數(shù)據(jù)集）來訓(xùn)練系統(tǒng)識別不同的時尚物品。

一開始，當(dāng)層數(shù)從2層增加到8層，計算機訓(xùn)練網(wǎng)絡(luò)的平均準(zhǔn)確度幾乎只有理論準(zhǔn)確度的一半。

而通過FFM學(xué)習(xí)方法，系統(tǒng)的網(wǎng)絡(luò)準(zhǔn)確度提升到92.5%，接近理論值。

這表明了，隨著網(wǎng)絡(luò)層數(shù)的增加，傳統(tǒng)方法訓(xùn)練的網(wǎng)絡(luò)性能下降，而FFM學(xué)習(xí)能夠維持高精度。

同時，通過將非線性激活納入FFM學(xué)習(xí)，可以進一步提升ONN的性能。在實驗中，非線性FFM學(xué)習(xí)能夠?qū)⒎诸悳?zhǔn)確率從90.4%提高到93.0%。

研究進一步證明，通過批量訓(xùn)練非線性O(shè)NN，錯誤傳播過程可以被簡化，并且訓(xùn)練時間僅增加1到1.7倍。

高分辨率的聚焦能力

FFM在實際應(yīng)用中也能實現(xiàn)高質(zhì)量的成像，即使在復(fù)雜的散射環(huán)境中也能達到接近物理極限的分辨率。

首先，當(dāng)光波進入散射介質(zhì)（如霧、煙或生物組織等），聚焦會變得復(fù)雜，不過光波在介質(zhì)中的傳播往往保持一定的對稱性。

FFM就利用了這種對稱性，通過優(yōu)化光波的傳播路徑和相位，以減少散射效應(yīng)對聚焦的負面影響。

其效果也很顯著，圖b展示了FFM與PSO（粒子群優(yōu)化）這兩種優(yōu)化方法的對比。

具體來說，實驗采用了兩種散射介質(zhì)，一種是隨機相位板（Scatterer-I），另一種是透明膠帶（Scatterer-II）。

在這兩種介質(zhì)中，FFM僅經(jīng)過25次設(shè)計迭代就實現(xiàn)了收斂（更快找到優(yōu)化解），收斂損失值分別為1.84和2.07（越低性能越好）。

而PSO方法需要至少400次設(shè)計迭代才能達到收斂，且在最終收斂時的損失值為2.01和2.15。

同時，圖c展示了FFM能夠不斷自我優(yōu)化，它設(shè)計的焦點從最初的隨機分布逐漸演化和收斂到一個緊密的焦點。

在3.2 mm × 3.2 mm的設(shè)計區(qū)域內(nèi)，研究人員進一步對FFM和PSO優(yōu)化的焦點進行了均勻采樣，并比較了它們的FWHM（半峰全寬）和PSNR（峰值信噪比）。

結(jié)果顯示，F(xiàn)FM聚焦精度更高，成像質(zhì)量更好。

圖e進一步評估了設(shè)計的焦點陣列在掃描位于散射介質(zhì)后面的分辨率圖時的性能。

結(jié)果令人驚喜，F(xiàn)FM設(shè)計的焦點尺寸接近64.5 μm的衍射極限，這是光學(xué)成像理論上的最高分辨率標(biāo)準(zhǔn)。

能夠并行成像視線之外的物體

既然在散射介質(zhì)中如此厲害，研究人員又嘗試了非視距（NLOS）場景，即物體被隱藏在視線之外的地方。

FFM利用了從隱藏物體到觀察者之間光路的空間對稱性，這允許系統(tǒng)通過全光學(xué)的方式在現(xiàn)場重建和分析動態(tài)隱藏物體。

通過設(shè)計輸入波前，F(xiàn)FM能夠同時將物體中的所有網(wǎng)格投影到它們的目標(biāo)位置，實現(xiàn)隱藏物體的并行恢復(fù)。

實驗中使用了字母形狀的隱藏鉻靶“T”、“H”和“U”，并設(shè)置了曝光時間（1毫秒）和光功率（0.20 mW），以實現(xiàn)對這些動態(tài)目標(biāo)的快速成像。

結(jié)果顯示，沒有FFM設(shè)計的波前，圖像會嚴(yán)重扭曲。而FFM設(shè)計的波前能夠恢復(fù)所有三個字母的形狀，SSIM（結(jié)構(gòu)相似性指數(shù)）達到1.0，表明與原始圖像的高度相似性。

進一步，與人工神經(jīng)網(wǎng)絡(luò)（ANN）在光子效率和分類性能方面相比，F(xiàn)FM顯著優(yōu)于ANN，尤其是在低光子條件下。

具體而言，在光子數(shù)量受限的情況下（如許多反射或高度漫射的表面），F(xiàn)FM能夠自適應(yīng)地糾正波前畸變，并需要更少的光子來進行準(zhǔn)確分類。

在非Hermitian系統(tǒng)中自動搜索異常點

FFM方法不僅適用于自由空間光學(xué)系統(tǒng)，還可以擴展到集成光子系統(tǒng)的自我設(shè)計。

研究人員使用串聯(lián)和并聯(lián)配置的對稱光子核心，構(gòu)建了一個集成神經(jīng)網(wǎng)絡(luò)（a）。

實驗中，對稱核心通過不同水平的注入電流配置了可變光衰減器（VOA），實現(xiàn)了不同的衰減系數(shù)，以模擬不同的權(quán)重。

在圖c中，對稱核心中編程矩陣值的保真度非常高，時間漂移的標(biāo)準(zhǔn)偏差分別為0.012%，0.012%和0.010%，表明矩陣值非常穩(wěn)定。

并且，研究人員可視化了每層的誤差。對比實驗梯度與理論模擬值，其平均偏差為3.5%。

在大約100次迭代（epoch）后，網(wǎng)絡(luò)達到了收斂狀態(tài)。

實驗結(jié)果顯示，在三種不同的對稱比例配置下（1.0、0.75或0.5），網(wǎng)絡(luò)的分類準(zhǔn)確度分別為94.7%、89.2%和89.0%。

而使用FFM方法的神經(jīng)網(wǎng)絡(luò)，得到的分類準(zhǔn)確度為94.2%、89.2%和88.7%。

相比之下，如果使用傳統(tǒng)的計算機模擬方法來設(shè)計網(wǎng)絡(luò)，實驗的分類準(zhǔn)確度會低一些，分別為71.7%、65.8%和55.0%。

最后，研究人員還展示了FFM可以自我設(shè)計非厄米特系統(tǒng)，通過數(shù)值模擬，無需物理模型即可實現(xiàn)對特異點的遍歷。

非厄米特系統(tǒng)是物理學(xué)中的一個概念，它涉及到量子力學(xué)和光學(xué)等領(lǐng)域中的系統(tǒng)，這些系統(tǒng)不滿足厄米特性（Hermitian）條件。

厄米特性與系統(tǒng)的對稱性和能量的實數(shù)性有關(guān)，非厄米特系統(tǒng)則不滿足這些條件，它們可能具有一些特殊的物理現(xiàn)象，比如特異點（Exceptional Points），這是系統(tǒng)的動力學(xué)行為在某些點上會發(fā)生奇異變化的地方。

總結(jié)全文，F(xiàn)FM是一種在物理系統(tǒng)上實現(xiàn)計算密集型訓(xùn)練過程的方法，能夠高效并行執(zhí)行大多數(shù)機器學(xué)習(xí)操作。

更多詳細實驗設(shè)置、數(shù)據(jù)集準(zhǔn)備過程，歡迎查閱原文。

代碼：https://zenodo.org/records/10820584《Nature》原文：https://www.nature.com/articles/s41586-024-07687-4