本文作者是天津大學智能與計算學部張鵬教授及其碩士生趙佳銘，博士生喬文博、高琿。該項研究工作受到國家自然科學基金委、天津大學 - 中科聞歌聯合實驗室資助。

• 論文標題：Quantum Implicit Neural Representations
• 論文作者：Jiaming Zhao, Wenbo Qiao, Peng Zhang*, Hui Gao
• 論文鏈接：https://arxiv.org/abs/2406.03873

引言

天津大學量子智能與語言理解團隊創新性地將量子計算引入隱式神經表征領域，提出了量子隱式表征網絡（Quantum Implicit Representation Network, QIREN）。與經典神經網絡方法相比，該方法在理論上具有指數級強的信號表征能力。實驗結果也證實了 QIREN 的確表現出超越信號表示任務上 SOTA 模型的優異性能，在參數量更少的情況下，擬合誤差最多減少 35%。圖 1 中展示了本文的核心思想和主要結論。相關論文已經被機器學習領域最權威的會議之一 ICML 2024 接收。

圖 1. 經典傅立葉神經網絡與量子傅立葉神經網絡。

近年來，隱式神經表征作為一種新興的信號表征方式引起了廣泛關注。與傳統的離散網格表示（例如用像素網格表示的圖像）相比，隱式神經表征具有許多獨特的優勢。首先，它具備"無限分辨率"的能力，可以在任意空間分辨率下進行采樣。其次，隱式神經表征具有出色的存儲空間節省，為數據存儲提供了便利。正因為這些獨特的優勢，隱式神經表征迅速成為表示圖像、物體和3D場景等信號的主流范式。大多數關于隱式神經表征的早期研究都建立在基于ReLU的多層感知器（MLP）之上。然而，基于ReLU的MLP難以精確建模信號的高頻部分，如圖2所示。最近的研究已經開始探索使用傅立葉神經網絡（FNN）來克服這一限制。然而，面對現實應用中越來越復雜的擬合任務，經典傅立葉神經網絡也需要越來越多的訓練參數，這增加了對計算資源的需求。本文提出的量子隱式神經表征利用了量子優勢從而能夠減少參數和計算消耗，這種解決方案能夠給隱式神經表征甚至機器學習領域帶來新的啟發。

圖 2. 真實圖像的不同頻率分量（頂部）和基于 ReLU 的 MLP 擬合的圖像的不同頻率分量（底部）

模型

圖 3. 模型架構

模型整體架構

QIREN 的總體架構如圖 3 所示，由 N 個混合層和末端的線性層組成。該模型以坐標作為輸入并輸出信號值。數據最初進入混合層，從 Linear 層和 BatchNorm 層開始，得到：

然后被輸入到數據重新上傳量子電路 QC 中。在圖 2 (b) 和 (c) 中，我們給出了參數層和編碼層量子電路的具體實現。參數層由 K 個堆疊塊組成。每個塊包含應用于每個量子位的旋轉門，以及以循環方式連接的 CNOT 門。編碼層在每個量子位上應用門。最后，我們測量了量子態相對于可觀測量的期望值。量子電路的輸出由下式給出：

其中 O 表示任意可觀測量。第 n 個混合層的輸出將被用作第（n+1）層的輸入。最后，我們添加一個線性層以接收并輸出。我們使用均方誤差（MSE）作為損失函數來訓練模型：

模型理論分析

在一些先前的研究中，數據重上傳量子線路的數學性質已經被揭示，本質上數據重上傳量子線路是以傅立葉級數的形式擬合目標函數。但之前的工作只探索了多層單量子比特線路或單層多量子比特線路，并且沒有與經典方法進行比較，沒有找到數據重上傳量子線路的優勢。我們將研究擴展到多層多量子比特線路。此外，我們證明了在隱式神經表征領域，以數據重上傳量子線路為核心組件的混合量子神經網絡 QIREN 相比經典方法有著指數級優勢。我們分析了 QIREN 中的量子層和經典層的作用并將其歸納為以下三點：

1. 在最佳條件下，數據重上傳量子電路表示傅立葉級數的能力隨著電路的大小呈指數增長。

具體推導見論文 4.2 和 4.3 節。

2. 線性層的作用是進一步擴展頻譜和調整頻率，從而提高擬合性能。

在將數據上傳到量子電路之前應用線性層相當于調整編碼層哈密頓量的本征值，最終影響頻譜。這種方法有兩個優點。首先，它可以使頻譜更大。僅用門編碼時頻譜中會產生一些冗余項。這種冗余可以通過使用線性層來減少。其次，它使頻譜的覆蓋范圍可以調整，旨在覆蓋更重要的系數更大的頻率。因此，加入線性層可以進一步提高 QIREN 的擬合性能。

3. Batchnorm 層的作用是加速量子模型的收斂。

在前饋神經網絡中，數據通常在激活函數之前通過 BatchNorm 層，這有效地防止了消失梯度問題。類似地，在 QIREN 中，量子電路取代了激活函數，并在提供非線性方面發揮作用（量子電路本身是線性的，但將經典數據上傳到量子電路的過程是非線性的）。因此，我們在這里添加了 BatchNorm 層，目的是穩定和加速模型的收斂。

實驗結果

我們通過圖像表示和聲音表示任務驗證了 QIREN 在表示信號，特別是高頻信號方面的優越性能。實驗結果如表 1 所示。QIREN 和 SIREN 在聲音表示任務上表現出相似的表現。盡管這兩個模型的性能似乎是可比較的，但值得強調的是，我們的模型以最少的參數實現了 35.1% 的內存節省，并且 SIREN 的收斂需要設置合適的超參數，而我們的模型沒有這種限制。然后，我們從頻率的角度分析了模型的輸出。我們在圖 4 中可視化了模型輸出的頻譜。很明顯，模型輸出的低頻分布都接近真實情況。然而，當涉及到高頻分布時，QIREN 和 SIREN 都擬合得很好，其次是具有隨即傅立葉特征（RFF）的基于 ReLU 的 MLP。基于 ReLU 和基于 Tanh 的 MLP 甚至缺乏信號的高頻部分。

表 1. 模型在信號表示和圖像超分辨率任務上的 MSE（）。被認為是 SOTA 的模型標有 *。params 表示模型參數量，mem 表示與離散網格表示相比，模型節省的內存。

圖 4. 聲音表示任務中模型輸出的頻譜

QIREN 在圖像表示任務中用最少的參數實現了最佳性能，與 SOTA 模型相比，誤差最大減少了 34.8%。為了進一步探索模型的信號表示能力，我們使用濾波器來分離其輸出的高頻和低頻分量，并分別比較這兩個分量的擬合誤差，結果如圖 5 所示。QIREN 在擬合高頻和低頻分量時始終實現了最低的誤差。

圖 5. 與基于 Tanh 的 MLP 相比，每個模型的相對誤差。陰影區域表示低頻誤差，而非陰影區域表示高頻誤差。

最新的研究引入了一個突破性的框架將隱式神經表征擴展到圖像生成。更具體地說，該框架利用以隨機分布為輸入的超網絡來生成隱式表征網絡的參數。隨后，這些生成的參數被分配給隱式表征網絡。最后，隱式表征網絡以坐標為輸入生成圖像。采用對抗性方法來確保生成的圖像與我們期望的結果一致。在這項任務中，我們采用了這樣一個框架，并建立在 StyleGAN2 的基礎上。

實驗結果如表 2 所示。我們還進一步探索了 QIREN 生成器的一些令人興奮的特性，如圖 6 和 7 所示。

表 2. 模型在 FFHQ 和 CelebA-HQ 數據集上的 FID 得分。

圖 6. 開箱即用的超分辨率

圖 7. 有意義的圖像空間插值

總結

這項工作不僅將量子優勢融入到隱式神經表示中，而且為量子神經網絡開辟了一個有前景的應用方向 —— 隱式神經表征。值得強調的是，隱式神經表征還有許多其他潛在的應用，如表示場景或 3D 對象、時間序列預測和求解微分方程。對于一大類對連續信號建模的任務，我們都可以考慮引入隱式表征網絡作為基本組件。基于本文的理論和實驗基礎，我們可以在未來的工作中將 QIREN 擴展到這些應用中，并且 QIREN 有望在這些領域中以更少的參數產生更好的結果。同時，我們為量子機器學習找到了一個合適的應用場景。從而促進量子機器學習社區內進一步的實踐和創新研究。