DeepMind大模型再登上Nature——

氣象預測大模型GenCast，8分鐘內完成15天的預測，而且不管常規還是極端天氣都能分析。

在97.2%的場景中，GenCast的表現都超過了全球頂尖的中期天氣預報系統ENS。

不同于DeepMind之前推出的GraphCast的確定性預測，GenCast關注的是各種天氣情況的概率。

和GraphCast一樣，GenCast也已經開源。

它基于擴散模型實現，分辨率為0.25度經度/緯度（在赤道處約為28×28公里），相當于將地球表面分割成了超過100萬個網格。

每個網格都涵蓋80多個地表和大氣變量，相當于每次預測都有數千萬甚至上億條數據生成。

測試結果表明，在1320種實驗條件中，GenCast在97.2%的任務中，都比ENS更準確。

對于GenCast的表現，論文作者、DeepMind研究人員Ilan Price表示：

我們確實取得了巨大的進步，通過機器學習趕上了并超越了基于物理的模型。

準確率超最強傳統方法

傳統天氣預報基于數值天氣預報（NWP）算法實現，核心是對模擬大氣動力學的方程求近似解。

不過，相比于單一確定性的預測，氣象機構越來越依賴集合預報，生成多個基于NWP的結果，對各種可能的情景進行建模。

GenCast做的也是集合式預報，當然基于的原理不是NWP而是AI。

開頭提到的ENS，就是目前最先進的集合預報系統，來自歐洲歐洲中期天氣預報中心（ECMWF），未來將被納入其確定性預報系統HRES。

但即便是這種最強的傳統方式，也無法戰勝AI系統。

在常規預報當中，DeepMind團隊利用訓練數據中未涵蓋的真實歷史（2019年）數據，設置了1320種實驗條件，涉及不同的物理變量、預報時長和垂直高度。

結果在97.2%的場景當中，GenCast的CRPS都顯著優于ENS，如果只看對36小時之后的預測，GenCast在99.6%的條件下都能勝出。

（CRPS衡量了預報與觀測值之間累積概率分布的差異，數值越小說明預報越準確）

對于高溫、大風等極端天氣事件（實驗中按發生概率分為1%/0.1%/0.01%三檔），除了在個別場景下，GenCast的預報的相對經濟價值（REV）顯著優于ENS。

（2t代表距離海平面2米高處溫度，10wind_speed代表10米處風速，msl代表平均海平面氣壓，藍線代表GenCast）

除了基礎的預測，在下游應用上GenCast也表現出了更強的預測能力。

DeepMind團隊測試了一款區域風電應用，使用全球發電廠數據庫中的5344個風電場位置和裝機容量信息，通過插值獲得各風電場位置的10米風速預報，并通過功率曲線轉換為風電功率。

在120公里、240公里、480公里三個空間聚合尺度上，GenCast的風電功率預報CRPS和REV在7天內都顯著優于ENS。

不僅精準性強，GenCast的預測速度也很快，完成一次15天的預測僅需約8分鐘，而ENS需要幾個小時。

用擴散模型預測天氣

不同于DeepMind去年在Science上發表的GraphCast（基于圖神經網絡GNN），GenCast基于擴散模型實現。

它以最近的X(t)和前一步天氣狀態X(t-1)的殘差Z(t)為采樣條件，經過去噪后得到預測結果，然后利用預測結果計算新的殘差作為新的輸入依據，將預測向更長時間延伸。

而具體的去噪過程，DeepMind又選擇了交給Transformer來完成。

Transformer編碼器首先將物理狀態場從經緯度網格表征映射到一個六次細化的二十面體網格上。

然后，在Transformer的自注意力機制中，網格上的每個節點都會關注其周圍32跳鄰域內的所有節點，從而有效捕捉局部和中等尺度的天氣特征。

最后，解碼器將結果映射回原始分辨率，得到去噪后的結果。

GenCast從公開的ERA5再分析數據集中，選取了1979至2018這40年的數據（間隔12小時，分辨率0.25°）對GenCast進行了訓練。

為了提高預訓練效率，數據首先被降采樣到1°分辨率，使用5次細化的二十面體網格進行學習。

這個階段需要200萬步，在32個TPUv5實例上運行約3.5天。

完成預訓練后，再用原始的0.25度分辨率數據和6次細化的二十面體網格，對模型進行高精度微調，共計64000步，需要約1.5天完成。

目前，像去年發布的確定性預測模型GraphCast一樣，GenCast也已經開源，代碼和模型權重均已發布。

DeepMind還表示，將會很快發布GenCast（和以前的模型）生成的實時和歷史預報結果，為其他研究者提供更多的研究資源。

論文地址：https://www.nature.com/articles/s41586-024-08252-9

參考鏈接：

[1]https://deepmind.google/discover/blog/gencast-predicts-weather-and-the-risks-of-extreme-conditions-with-sota-accuracy/。

[2]https://www.nature.com/articles/d41586-024-03957-3。