北航的研究團(tuán)隊，用擴散模型“復(fù)刻”了一個地球？

在全球的任意位置，模型都能生成多種分辨率的遙感圖像，創(chuàng)造出豐富多樣的“平行場景”。

而且地形、氣候、植被等復(fù)雜的地理特征，也全都考慮到了。

受Google Earth啟發(fā)，北航的研究團(tuán)隊從俯拍視角出發(fā)，將整顆地球的衛(wèi)星遙感影像“裝進(jìn)”了深度神經(jīng)網(wǎng)絡(luò)。

基于這樣的網(wǎng)絡(luò)，團(tuán)隊構(gòu)建出了覆蓋全球的俯視視角視覺生成模型MetaEarth。

MetaEarth擁有6億參數(shù)，可實現(xiàn)多種分辨率、無界且覆蓋全球任意地理位置的遙感圖像生成。

覆蓋全球的遙感圖像生成模型

相比于此前的研究，構(gòu)建世界范圍的視覺生成基礎(chǔ)模型更具挑戰(zhàn)性，過程之中克服了多個難點。

首先是模型容量的挑戰(zhàn)，因為地球具有城市、森林、沙漠、海洋、冰川和雪地等廣泛的地理特征，需要模型能夠理解并表征。

即使是同一類型的人造地物，在不同的緯度、氣候和文化環(huán)境下，也會表現(xiàn)出巨大差異，這對生成模型的容量提出了很高的要求。

MetaEarth成功解決了這一困難，實現(xiàn)了不同地點、地貌的高分辨率、大范圍場景生成。

另外，實現(xiàn)分辨率可控的遙感圖像生成，同樣是一項挑戰(zhàn)。

因為在俯拍圖像成像過程中，地物特征的展現(xiàn)受分辨率影響很大，在不同圖像分辨率下具有明顯的差異，難以具備在指定分辨率（米/像素）下精準(zhǔn)生成的能力。

而在MetaEarth生成不同分辨率的圖像時，都能準(zhǔn)確合理地呈現(xiàn)地物特征，而且不同分辨率之間的關(guān)聯(lián)性也得到了精確對應(yīng)。

最后是無界圖像生成的挑戰(zhàn)——與日常自然圖像不同，遙感圖像具有超大幅寬的特性，邊長可能達(dá)到數(shù)萬像素，此前的方法都難以生成連續(xù)、任意大小的無界圖像。

但MetaEarth生成的連續(xù)無界場景，避開了這一缺陷，可以看到隨著“鏡頭”的平移圖像的移動十分絲滑。

此外，MetaEarth具有強大的泛化性能，能夠以未知場景作為條件輸入級聯(lián)生成多分辨率圖像。

例如，將GPT4-V生成的“潘多拉星球”作為初始條件輸入模型，MetaEarth仍然能夠生成具有合理地物分布和逼真細(xì)節(jié)的圖像。

下游任務(wù)上的驗證結(jié)果表明，MetaEarth作為一種全新的數(shù)據(jù)引擎，有望為地球觀測領(lǐng)域各類下游任務(wù)提供虛擬環(huán)境和訓(xùn)練數(shù)據(jù)支持。

實驗過程中，作者選擇了遙感圖像分類這一基礎(chǔ)任務(wù)進(jìn)行驗證，結(jié)果顯示，MetaEarth所生成的高質(zhì)量圖像的輔助下，下游任務(wù)分類精度有顯著提升。

作者認(rèn)為，MetaEarth有望為衛(wèi)星等空天無人系統(tǒng)平臺提供一個逼真的虛擬環(huán)境，并在城市規(guī)劃、環(huán)境監(jiān)測、災(zāi)害管理、農(nóng)業(yè)優(yōu)化等領(lǐng)域廣泛應(yīng)用；

除了作為數(shù)據(jù)引擎之外，MetaEarth在構(gòu)建生成式世界模型方面也具有巨大潛力，為未來的研究提供新的可能。。

那么，MetaEarth究竟是如何實現(xiàn)的呢？

6億參數(shù)擴散模型“復(fù)刻”地球

MetaEarth基于概率擴散模型構(gòu)建，具有超過六億的參數(shù)規(guī)模。

為支持模型訓(xùn)練，團(tuán)隊收集了一個大型遙感圖像數(shù)據(jù)集，包含覆蓋全球大多數(shù)地區(qū)的多個空間分辨率的圖像及其地理信息（緯度、經(jīng)度和分辨率）。

在本項研究中，作者提出了一種分辨率引導(dǎo)的自級聯(lián)生成框架。

△MetaEarth的整體框架

在該框架下，僅用單一模型即可實現(xiàn)給定地理位置的多分辨率圖像生成，并在每一級分辨率下創(chuàng)造出豐富多樣的“平行場景”。

具體來說，這是一種編解碼器結(jié)構(gòu)的去噪網(wǎng)絡(luò)，將低分辨率條件圖像和空間分辨率編碼后與去噪過程的時間步嵌入相結(jié)合，預(yù)測每個時間步的噪聲，實現(xiàn)圖像生成。

為了生成無界的任意大小圖像，作者還設(shè)計了一種內(nèi)存高效的滑動窗口生成方法和噪聲采樣策略。

該策略將生成的圖像切分成重疊的圖像塊作為條件，通過特定的噪聲采樣策略，使相鄰圖像塊的共享區(qū)域生成相似的內(nèi)容，從而避免拼接縫隙。

此外，這種噪聲采樣策略，也使得模型能在實現(xiàn)任意尺寸的無界圖像生成時，消耗更少的顯存資源。

團(tuán)隊簡介

本研究的作者來自北京航空航天大學(xué)的“學(xué)習(xí)、視覺與遙感實驗室”（LEarning, VIsion and Remote sensing laboratory，LEVIR Lab），實驗室由國家杰青史振威教授領(lǐng)導(dǎo)。

史振威教授曾經(jīng)的博士生、密歇根大學(xué)博士后，現(xiàn)任該實驗室成員的鄒征夏教授，是本文的通訊作者。

論文地址：https://arxiv.org/abs/2405.13570
項目主頁：https://jiupinjia.github.io/metaearth/