英偉達(dá)發(fā)布天氣模型CorrDiff，預(yù)測(cè)效率大漲
在全球極端天氣事件愈發(fā)頻繁的當(dāng)下，從暴雨洪澇引發(fā)的城市內(nèi)澇，到颶風(fēng)肆虐造成的巨大破壞，精準(zhǔn)的氣象預(yù)測(cè)成為了保障社會(huì)安全與經(jīng)濟(jì)穩(wěn)定發(fā)展的關(guān)鍵環(huán)節(jié)，也是AI應(yīng)用的重要領(lǐng)域之一。
所以，英偉達(dá)的研究人員發(fā)布了最新天氣預(yù)測(cè)模型CorrDiff，能將分辨率為25公里的大氣數(shù)據(jù)細(xì)化至2公里，大幅提升了氣象預(yù)測(cè)的精度，并且能預(yù)測(cè)輸入數(shù)據(jù)中未包含的相關(guān)變量，例如，雷達(dá)反射率，這對(duì)于判斷降雨位置和強(qiáng)度極為關(guān)鍵。
此外，相比傳統(tǒng)使用CPU進(jìn)行的高分辨率數(shù)值天氣模式相比，CorrDiff的能源效率提高了10000倍，預(yù)測(cè)效率提升500倍。
CorrDiff模型的核心之一是擴(kuò)散模型，通過得分匹配的概念學(xué)習(xí)隨機(jī)微分方程整個(gè)過程包括前向和后向兩個(gè)相互配合的過程。
在前向過程中，噪聲會(huì)逐漸添加到目標(biāo)數(shù)據(jù)中。隨著噪聲的不斷增加，信號(hào)會(huì)逐漸被噪聲淹沒，最終變得與噪聲難以區(qū)分。這一過程看似讓數(shù)據(jù)變得更加混亂，但實(shí)際上是為了模擬數(shù)據(jù)在真實(shí)環(huán)境中的不確定性和變化性，為后續(xù)的反向過程提供多樣化的起點(diǎn)。
后向過程則是利用專門的神經(jīng)網(wǎng)絡(luò)對(duì)添加噪聲后的樣本進(jìn)行去噪。在去噪過程中，神經(jīng)網(wǎng)絡(luò)會(huì)根據(jù)所學(xué)的隨機(jī)微分方程，逐步去除噪聲，使樣本逐漸恢復(fù)到接近原始目標(biāo)數(shù)據(jù)的狀態(tài)。
這個(gè)過程有點(diǎn)類似在迷霧中尋找正確的道路，神經(jīng)網(wǎng)絡(luò)通過不斷地學(xué)習(xí)和調(diào)整，引導(dǎo)樣本朝著準(zhǔn)確表示原始數(shù)據(jù)的方向迭代優(yōu)化。通過多次這樣的前向和后向過程，模型能夠逐漸生成高質(zhì)量的預(yù)測(cè)數(shù)據(jù)。
此外，CorrDiff還受物理啟發(fā)的兩步式“校正擴(kuò)散”，可同時(shí)實(shí)現(xiàn)多個(gè)變量在低分辨率和高分辨率氣象數(shù)據(jù)之間的高保真映射，并進(jìn)行新的通道合成。
第一步是回歸，使用UNet進(jìn)行預(yù)測(cè)，目的是近似條件均值。這一步就像是為后續(xù)的精確預(yù)測(cè)搭建了一個(gè)基礎(chǔ)框架，它利用低分辨率的輸入數(shù)據(jù)，通過UNet強(qiáng)大的特征提取和映射能力，初步預(yù)測(cè)出高分辨率數(shù)據(jù)的大致形態(tài)，為后續(xù)的精細(xì)化調(diào)整提供一個(gè)可靠的起始點(diǎn)。
第二步是生成，利用擴(kuò)散模型進(jìn)行校正。在這一步中，基于第一步得到的結(jié)果，擴(kuò)散模型進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行隨機(jī)校正。它通過學(xué)習(xí)隨機(jī)微分方程，在噪聲逐漸添加和去除的過程中，不斷優(yōu)化預(yù)測(cè)結(jié)果，從而生成更加精細(xì)的細(xì)節(jié)，使最終的預(yù)測(cè)數(shù)據(jù)更接近真實(shí)的高分辨率數(shù)據(jù)分布。
這種將預(yù)測(cè)過程分解為均值預(yù)測(cè)和隨機(jī)校正的方式，類似于流體動(dòng)力學(xué)和氣候數(shù)據(jù)分析中常用的將物理變量分解為均值和擾動(dòng)的方法，有效降低了學(xué)習(xí)高分辨率數(shù)據(jù)分布的難度。
訓(xùn)練數(shù)據(jù)方面，CorrDiff使用了來自25公里分辨率的全球再分析數(shù)據(jù)或氣象預(yù)報(bào)模型，如ERA5再分析數(shù)據(jù)。這些數(shù)據(jù)提供了大尺度的氣象背景信息，為模型的預(yù)測(cè)提供了基礎(chǔ)框架。
而目標(biāo)數(shù)據(jù)是基于天氣研究和預(yù)報(bào)（WRF）物理模擬器生成的高分辨率數(shù)據(jù)，分辨率達(dá)到2公里，比輸入數(shù)據(jù)高出12.5倍。WRF模型通過動(dòng)力降尺度的方式，結(jié)合地面降水雷達(dá)和其他傳感器的數(shù)據(jù)同化，能夠提供較為準(zhǔn)確的區(qū)域千米級(jí)大氣狀態(tài)估計(jì)，為CorrDiff模型的訓(xùn)練提供了高質(zhì)量的參考標(biāo)準(zhǔn)。
為了評(píng)估CorrDiff的性能，研究人員在多個(gè)氣象基準(zhǔn)上進(jìn)行了綜合測(cè)試。結(jié)果顯示，CorrDiff模型在各項(xiàng)指標(biāo)上表現(xiàn)出色。以雷達(dá)反射率預(yù)測(cè)為例，CorrDiff模型的CRPS得分為1.90，MAE得分為2.54；UNet的MAE為2.51，RF的MAE為3.56，ERA5由于沒有雷達(dá)反射率數(shù)據(jù)未參與此項(xiàng)對(duì)比。
在2米溫度、10米東向風(fēng)速和10米北向風(fēng)速的預(yù)測(cè)中，CorrDiff模型同樣展現(xiàn)出較高的技能水平，其CRPS得分均低于其他基線模型，MAE得分也與表現(xiàn)較好的UNet相當(dāng)或更優(yōu)。
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
