一夜之間，機器夜間識別的難題就被攻克了！

一篇AI與熱物理學結合幫助機器在夜間成像的文章登上了Nature的封面。

文章的一作是畢業于浙江大學的Fanglin Bao，現在為普度大學研究員。

作者甚至認為，這項技術能夠加速第四次工業革命的進程！

這項名為HADAR的技術，由來自普度大學和密歇根州立大學的研究人員研發而出。

讓機器能像白天一樣識別周圍的環境，完成測距等一系列任務，對于自動駕駛等行業來說是革命性的突破。

長久以來，機器夜視很難做到像日天那樣清晰。

對于夜間機器感知問題的處理，最先進的辦法是利用熱成像技術來重現環境。

但是夜視攝像機成像一般是單色的，而使用熱成像技術拍攝，則會因為捕捉到太多不必要的熱信號，導致成像時出現許多「噪音」，導致物體「重影」。

具體來說，因為物體和環境不斷發射和散射熱輻射，場景的物理屬性，即溫度（T，物理狀態）、發射率（e，材料指紋）和紋理（X，表面幾何形狀）混合在光子流中而無法被清晰的識別。

這就是熱成像結果中缺乏紋理相關的重影效應「Ghost Effect」的來源。

以一個燈泡為例，人眼只有當燈泡關閉時才能看到燈泡表面的幾何紋理。

因為當燈泡打開時，反射所呈現的紋理在直接發射的光線中會完全消失，這是我們日常經驗中熟悉的場景。

TeX技術解決重影效應

研究團隊首先提出了一種被稱為「TeX分解」和「TeX視覺」的基礎技術來解決重影效應。

該方法能有效地從雜亂的熱信號中恢復紋理。

再訓練算法來識別已知材料（如玻璃、木材或織物）的獨特發射光譜。

通過識別場景中的這些已知特征，該算法可以表征它觀察到的對象。

然后，剩下的任務就是處理環境信號和「噪音」，不讓它們從目標物體上反射并進入相機。

再通過逆向工程來評估噪聲信號如何反射和散射，這個算法就可以填充有關每個對象紋理的信息，從而為圖像提供更高水平的細節。

具體的過程如下圖所示。

完成的效果和現有的熱能視覺解決方案一對比，不知道高到哪里去了。

HADAR系統

在TeX技術的基礎上，研究人員進一步研發出了熱輔助檢測和測距（HADAR）技術，基本上攻克了機器夜間識別的問題。

簡單來說，TeX技術主要是解決成像的問題，而HADAR是一個識別系統，在TeX優秀成像的基礎上更精確地完成復雜的識別，測距等任務。

HADAR是一種機器感知范式的徹底轉變， 它與之前的主動發出雷達、激光的成像手段不同。

它不主動發出任何信號，只接受來自環境中的熱信號。

大氣透射窗口（Atmospherical transmittance window）和場景溫度決定了HADAR的工作波長。

研究人員表示，HADAR可能代表了未來機器視覺技術的重要方向和特征。

因為隨著自動駕駛、無人機之類技術的發展，來自不同機器的信號可能會越來越多地相互干擾，而HADAR能夠非常好地解決這些問題。

此外，HADAR將熱光子流作為輸入，記錄高光譜熱立方體圖像，通過TeX分解處理重影，并生成TeX視覺以實現改進的檢測和測距。

研究團隊也在論文中分享了他們搭建的兩個原型系統作為實例：

第一個原型系統

低端HADAR原型基于商用FLIR熱成像相機，并配備了定制設計的光譜模塊（見下圖）。

他們在夜晚的戶外場景中放置了一輛汽車、一個人和一個愛因斯坦剪影（模擬一個幾何形狀的人），來說明HADAR如何解決幻影制動問題。

上圖顯示，RGB光學成像（a）和稀疏的LiDAR點云（c；Velodyne Puck VLP-16）都無法區分真實尺寸的愛因斯坦卡板。

此外，由于汽車反射率低，LiDAR難以檢測黑色汽車，而光學相機在黑暗中無法看到物體。

HADAR在相應的材料區域（皮膚-織物）檢測到人體，并清楚地將其與紙板區分開來，克服了幻影制動問題。

更多關于HADAR檢測和語義的詳細信息，見下圖。

HADAR利用物理背景進行真實世界感知的優勢將在自主導航和野生動物監測中得到充分利用。

因為除了視覺外，還需要識別多種物理屬性，以確保安全性或者用于科學研究的有效性。

第二個原型系統

研究人員的高端應用HADAR原型基于一臺推掃式高光譜成像儀。

他們使用越野場景來展示TeX視覺如何通過物理背景看到紋理，并且HADAR在夜晚的測距性能優于熱測距技術，其準確度可與白天的RGB立體視覺相媲美。

下圖展示了在夜晚的真實TeX視覺，包括材料識別和紋理恢復。

下圖顯示了夜晚TeX視覺、夜晚熱視覺和白天RGB視覺的立體視覺度量統計。

下圖b中基于RGB深度度量標準化的度量比較清楚地表明，HADAR夜晚測距技術優于熱測距技術，并與白天RGB立體視覺相匹配，可簡寫為「TeX_night > RGB_day > IR_night」。

有關通用HADAR測距技術，見下圖。

而業界對這個研究持非常樂觀的態度：

HADAR能夠確定場景中物體的組成，如果它能與傳統成像技術結合，那么，不論白天黑夜，它都可以為我們提供更多關于場景的獨特信息。

但要指出的是，這個研究目前僅在靜止的圖像上進行，需要進一步提升收集測量值速度，以及處理運動模糊問題。

想要將這個研究應用在現實中，還有很多挑戰。

華人作者介紹

Fanglin Bao

Fanglin Bao博士2011年6月在浙江大學獲得物理學學士學位，并于2016年6月在浙江大學獲得光學博士學位。目前研究的是張量網絡、神經網絡及其在量子物理中的應用。

Xueji Wang

Xueji Wang 就讀于美國普渡大學電氣與計算機工程學院，研究方向為熱輻射、光偏振表面態等，并在CLEO會議上發表了兩篇文章。

Liping Yang

Liping Yang是地理信息科學（GIScience）和地理空間人工智能（GeoAI）助理教授。現專注于技術圖表圖像分析的計算機視覺和機器學習算法開發。