RNN 用于生物醫學全息成像，速度加快50倍
數字全息成像是生物醫學成像中常用的顯微鏡技術。用于揭示樣本的豐富光學信息。常見的圖像傳感器只對入射光的強度做出響應。因此，重建涉及光學相位檢索的傳感器以數字方式記錄的全息圖的完整 3D 信息，一直是數字全息術中一項耗時且計算量大的挑戰性任務。
近日，加州大學洛杉磯分校的研究團隊開發出一種新的全息相位檢索技術，可以快速重建樣品的微觀圖像，與現有方法相比，可加速50倍。研究結果首次證明了使用循環神經網絡（RNN）進行全息成像和相位恢復，所提出的框架將廣泛適用于各種相干成像模式。
該研究于5月26 日以「使用循環神經網絡進行相位恢復和自動對焦的全息圖像重建」 (Holographic Image Reconstruction with Phase Recovery and Autofocusing Using Recurrent Neural Networks ) 為題發表在《ACS光子學》（ ACS Photonics ）雜志上。
全息術（holography）又稱全息照相術，指在照相膠片或干板上通過記錄光波的振幅和位相分布并再現物體三維圖像的技術。全息術作為一種強大的生物樣品成像工具，只需最少的樣品制備，無需染色、固定或標記。
過去幾十年，數字全息術取得了令人矚目的進步，尤其是在圖像重建和定量相位成像 (QPI) 方法方面。
最近，基于深度學習的相位檢索算法被證明可以使用訓練有素的神經網絡重建全息圖。此外，還通過端到端神經網絡推理過程直接在原始全息圖上實現了基于深度學習的相位檢索。與傳統的迭代相位恢復方法相比，基于深度學習的算法通過神經網絡在單次（即沒有迭代）傳遞中創建無斑點和雙圖像偽影的對象重建。
現在，研究人員提出了一種新的基于深度學習的全息圖像重建和相位檢索算法，該算法基于循環神經網絡 (RNN)，使用生成對抗神經網絡（GAN）進行訓練。
用于RH-M和RH-MD培訓的GAN框架
該技術利用深度學習訓練的循環神經網絡，并結合了多個全息圖的空間特征，以數字方式創建樣本的全息顯微鏡圖像，例如人體組織載玻片。提高了圖像質量、加快了重建速度，同時還增強了重建樣本的景深。
兩種方法
RH-M：循環全息 (recurrent holographic，RH) 成像框架使用多元 (multiple，M) 輸入全息圖，這些全息圖使用零相位反向傳播到公共軸平面上，在其輸出推斷中同時執行自動聚焦和相位檢索。
RH-MD：通過使用擴張 (dilated，D) 卷積核增強 RH-M，相同的自動聚焦和相位檢索性能，而無需任何自由空間反向傳播 (FSP) 步驟；也就是說，獲取的對象的原始全息圖直接用作訓練 RNN 輸入，用于在其輸出處進行對焦圖像重建，稱為 RH-MD。更適用于相對稀疏的樣本，巴氏 (Pap) 涂片樣本的全息成像證明了它的成功。
RH-M方法
RH-MD方法
與現有的相位檢索和全息圖像重建算法相比，RH-M 和 RH-MD 框架的優勢體現在：卓越的重建質量和速度，以及通過自動對焦功能擴展景深（DOF）。
研究表明，對于肺組織切片成像，相比現有的基于深度學習的全息重建方法，RH-M 在幅度均方根誤差(RMSE) 方面質量提高了 40%。與使用相同輸入全息圖的迭代相位檢索算法相比，RH-M 的推理速度快了 15 倍。
使用 RH-M 的全息成像
為了證明 RH-M 在相位恢復和自動聚焦方面的功效，研究人員使用人肺組織切片訓練和測試了 RNN，并使用無透鏡的在線全息顯微鏡對其進行成像。采用三張訓練載玻片和一張測試載玻片。（所有這些組織樣本均取自不同的患者）在訓練階段，RH-M隨機取M=2個輸入全息圖，隨機樣本到傳感器的距離范圍為350-550 μm；然后將這些隨機選擇的全息圖中的每一個傳播到 z2 = 450 μm。所得復雜場的實部和虛部用作 RH-M 模型的訓練輸入。
在盲測階段，為了證明訓練的 RNN 模型的可行性，在 423.7 μm 和 469.7 μm 的樣本到傳感器距離處捕獲了測試載玻片的 M = 2 個全息圖（來自不同的患者，未在訓練期間使用）。
肺組織切片的全息成像
為了進一步分析 RH-M 推理性能，研究人員在訓練后的RNN中輸入M = 2個不同散焦距離組合的全息圖（Δz2,1 和 Δz2,2），研究結果表明，首先，當 Δz2,1 = Δz2,2對應于兩個輸入全息圖相同的情況時，所提出的框架是成功的。其次，兩個輸入全息圖之間的軸向距離更有利于對RH-M進行更好的推斷。
超參數 M 是影響 RH-M 性能的關鍵因素之一。通常，具有較大 M 的網絡學習輸入全息圖的高階相關性以更好地重建樣本的復雜場，但也容易在小訓練數據集上過度擬合并收斂到局部最小值。總而言之，RH-M 受益于更高多樣性和更大 M 的訓練集。
使用 RH-MD 的全息成像
RH-MD擴大了神經網絡的感受野，RH-MD能夠在不增加可訓練參數數量的情況下處理更大范圍的衍射圖案，同時也開辟了直接從原始輸入全息圖進行相位恢復和自動聚焦的可能性。
為了證明這種能力，研究人員在相同的無透鏡全息顯微鏡平臺成像的巴氏涂片樣本上訓練和測試了 RH-MD 框架。結果表明：與 RH-M 不同的是，RH-MD 使用原始輸入全息圖，而無需在 
上進行任何自由空間反向傳播。
當在相同的高度(Δz2,1 = Δz2,2)獲得輸入全息圖時，RH-MD比RH-M更具魯棒性。
RH-M和RH-MD的巴氏涂片全息成像(M = 2)
值得注意的是，RH-MD 的這些優點是相對于較稀疏的樣本（例如此處報道的巴氏涂片載玻片）；然而，對于連接的組織切片，RH-MD 推理性能與 RH-M 相比顯著降低。因此，與 RH-M 不同，樣本稀疏性是使用 RH-MD 進行盲相位檢索、全息圖像重建和自動對焦的要求。
廣泛適用性
論文一作 Luzhe Huang表示：「我們的結果在圖像質量、自由度和推理速度方面優于現有的相位檢索和全息圖像重建方法。這種基于 RNN 的圖像重建方法為各種相干顯微鏡模式和相關應用開辟了新的機會。」
加州大學洛杉磯分校電子和計算機工程的校長教授、加州納米系統研究所的副主任、該研究的高級通訊作者 Aydogan Ozcan說：「該框架可廣泛適用于各種生物醫學成像模式，例如熒光顯微鏡，以有效利用一系列獲得的圖像來快速準確地創建樣本體積的 3D 重建。」
論文鏈接：https://pubs.acs.org/doi/10.1021/acsphotonics.1c00337
參考內容：https://techxplore.com/news/2021-06-faster-holographic-imaging-recurrent-neural.html
