近日，斯坦福大學Gordon Wetzstein教授團隊提出一種將反向設計的介質表面波導與人工智能驅動的全息顯示相結合的近眼顯示設計，能夠以緊湊的眼鏡形式呈現全彩色3D增強現實。 新興的空間計算系統能夠將數字信息無縫疊加在用戶所觀察到的物理環境上，為娛樂、教育、通信和培訓等各個領域提供變革性的體驗。然而，由于增強現實（AR）顯示器的光學投影部件龐大且無法準確呈現虛擬內容的三維深度線索等因素，其廣泛應用受到限制。為此，研究人員提出了一種全息增強現實系統，該系統利用反向設計的全彩色介質表面光柵、緊湊的色散補償波導幾何結構和人工智能驅動的全息算法克服了這些挑戰。這些元件經過共同設計，消除了空間光調制器和波導之間需要龐大準直光學元件的需求，并在緊湊的設備形態中呈現出鮮艷、全彩色的3D增強現實內容。為了在原型中提供前所未有的視覺質量，研究人員開發了一種創新的圖像形成模型，將物理準確的波導模型與使用相機反饋自動校準的學習組件相結合。獨特的納米光子介質表面波導和人工智能驅動的全息算法的共同設計，代表了在緊湊的可穿戴設備中創造引人注目的3D增強現實體驗的重大進展。

比較現有增強現實眼鏡

傳統的增強現實眼鏡使用振幅空間光調制器，例如有機發光二極管或微型發光二極管，需要一個投影器為基礎的光學引擎，其厚度通常至少與投影鏡頭的焦距相同。全息增強現實眼鏡設計使用相位空間光調制器，可以非常靠近入射光柵，從而使設備形態最小化。此外，與傳統的增強現實眼鏡不同，該全息設計可以為虛擬內容提供完整的三維深度線索。

反向設計的介質表面波導

該系統的波導幾何結構被設計成適應紅、綠、藍波前的不同傳播角度。具體而言，幾何結構被約束為保持全彩色3D全息圖所需的獨立自由度，通過將所有三種顏色的傳播波前耦合出來的方式實現。

該系統的介質表面光柵具有優化的納米尺度特征（如左圖所示），可以高效地將光散射進入和出離我們的波導。介質表面的周期（Λ）和高度（H）分別為384納米和220納米。右圖所示的歸一化磁場圖示出了紅色（638 nm）、綠色（521 nm）和藍色（445 nm）波長在出射耦合器處經由介質表面光柵的衍射情況。黑色箭頭表示入射和衍射光的波矢。比例尺：400 nm。

掃描電子顯微鏡圖像展示了介質表面設計的成功制造。比例尺：2 μm（左圖），200 nm（右圖）

學習的物理波導模型

研究人員構建了一個學習的物理波導模型，通過將波導的物理特性（綠色高亮顯示）與從相機反饋中學習得到的人工智能組件（橙色高亮顯示）相結合，準確預測系統的輸出。研究人員通過分析推導得到的物理項包括照明聚焦光照射空間光調制器和頻率相關系數，用于模擬波導內的傳播。該系統學習得到的組件包括參數化的空間映射，用于表征制造的介質表面光柵的衍射效率變化，以及用于建模內容相關的非理想特性的卷積神經網絡，例如空間上變化的空間光調制器的非線性響應。該模型是完全可微的，使得可以在運行時使用簡單的梯度下降計算全息計算機生成的相位圖案，以實現任意目標場景的渲染。

在這里，研究人員比較了使用傳統的自由空間傳播模型和學習得到的物理波導模型生成的相同場景的視頻全息圖像。這個比較展示了解析波導模型和人工智能算法混合的重要性，以實現高質量的全彩色全息圖像。

這個例子展示了增強現實眼鏡設計如何獨特地呈現全彩色的3D視頻全息圖像。在空間光調制器上顯示的相位調制圖案產生一個波前，通過波導傳播，重構出眼鏡中一個完整的3D場景視圖。

在這個3D增強現實場景中，虛擬機器人、魔方和自行車與真實的玩具鴨子和動作人物一起呈現。移動攝像機以聚焦不同的物體，以突出展示如何通過波導在不同深度呈現3D增強現實內容。

值得注意的是，用于生成這些全息圖像的我們全息增強現實眼鏡的組件可以適應可穿戴形態，正如下面的3D打印原型所示：

論文：https://www.nature.com/articles/s41586-024-07386-0

?源代碼：https://github.com/computational-imaging/holographic-AR-glasses

譯自（有刪改）：https://www.computationalimaging.org/publications/holographicar/

誰是Gordon Wetzstein？

Gordon Wetzstein是斯坦福大學電氣工程系副教授，兼任計算機科學系副教授。他是斯坦福計算成像實驗室的負責人，也是斯坦福圖像系統工程中心的教職人員聯合主任。Wetzstein教授的研究涉及計算機圖形學、視覺、人工智能、計算光學和應用視覺科學的交叉領域，其研究在下一代成像、可穿戴計算和神經渲染系統等方面具有廣泛的應用。Wetzstein教授是Optica的會士，并獲得了眾多獎項，包括IEEE VGTC虛擬現實技術成就獎、NSF CAREER獎、Alfred P. Sloan獎學金、ACM SIGGRAPH顯著新研究人員獎、總統早期科學家和工程師獎（PECASE）、SPIE早期職業成就獎、電子成像年度科學家獎、Alain Fournier博士學位論文獎，以及許多最佳論文和演示獎項。

本文轉載自公眾號AIGC最前線   

原文鏈接：???https://mp.weixin.qq.com/s/vsJwUBlDE33IDe4AHLBq7g???