現代數值天氣預報（numerical weather prediction, NWP）可以追溯到 1920 年代。當今，數值天氣預報已經無處不在，并且為交通、物流、農業和能源生產等關鍵部門的經濟規劃做出了貢獻。準確的天氣預報通過提前通知極端事件挽救了無數人的生命。

過去幾十年，天氣預報的質量一直在穩步提高。最早的單點動態建模數值天氣預報是由英國科學家 Lewis Fry Richardson 在 1922 年使用計算尺和對數表計算得出的，并用六周時間計算出 6 小時（6-hour）的大氣預報。到了 1950 年代，早期的電子計算機極大地提高了預測速度，使得運行預測的計算速度足夠快，從而有助于未來天氣預測。除了更好的計算能力之外，通過更深入地了解小尺度過程的物理特性和更高質量的大氣觀測，來更好地參數化小尺度過程，從而改進天氣預報效果。

與 SOTA NWP 模型相比，數據驅動的深度學習模型在成本上低了數個量級，因此現在研究人員越來越有興趣開發這類方法來預測天氣。許多研究都試圖通過建立數據驅動的模型來預測大氣的規模環流，并且要么在氣候模型輸出、大氣環流模型（GCM）、再分析產品，或者結合氣候模型輸出和再分析產品進行訓練。數據驅動的模型通過克服 NWP 模型中存在的模型偏差，以及通過以較低的計算成本生成用于概率預測和數據同化的大型集合，因而在改進天氣預報方面具有巨大潛力。

大多數據驅動的天氣模型使用低分辨率數據來訓練，通常是 Rasp and Thuerey [2021b]中的 5.625° 分辨率或者 Weyn et al. [2020] 中的 2° 分辨率。這些先驗嘗試在預測一些粗粒度、低分辨率大氣變量方面取得了很好的效果。然而，粗化過程會導致關鍵的細粒度物理信息的丟失。要使數據驅動模型真正具有影響力，它們生成的預報的分辨率必須與當前 SOTA 數值天氣模型相同或更高，分辨率大約在 0.1°。

在近日的一篇論文中，英偉達、勞倫斯伯克利國家實驗室、密歇根大學安娜堡分校、萊斯大學等機構的研究者開發了一種基于傅里葉的神經網絡預測模型 FourCastNet，它能以 0.25° 的分辨率生成關鍵天氣變量的全球數據驅動預測，相當于赤道附近大約 30×30 km 的空間分辨率和 720×1440 像素的全球網格大小。這使得我們首次能夠與歐洲中期天氣預報中心（ECMWF）的高分辨率綜合預測系統（IFS）模型進行直接比較。

論文地址：
?https://arxiv.org/pdf/2202.11214.pdf?

FourCastNet 在節點小時（node-hour）基礎上比傳統 NWP 模型快約 45,000 倍。FourCastNet 這種數量級的加速以及在高分辨率下前所未有的準確性，使得它能夠以很低的成本生成超大規模集合預測。FourCastNet 極大地改善了概率天氣預報的效果，使用它可以在幾秒鐘內生成對颶風、大氣層河流和極端降水等事件的大規模集合預報，從而可以實現更及時、更明智的災難響應。

此外，FourCastNet 對近地表風速的可靠、快速和低廉預測可以改善陸海風電場的風能資源規劃。訓練 FourCastNet 所需的能量大約等于使用 IFS 模型生成 10 天預測所需的能量（50 個成員）。然而，一旦經過訓練，FourCastNet 生成預測所需的能量比 IFS 模型少 12,000 倍。研究者希望 FourCastNet 只訓練一次，并且后續微調的能耗可以忽略不計。

在實現技術上，FourCastNet 使用基于傅里葉變換的token混合方法 [Guibas et al., 2022] 和ViT骨干 [Dosovitskiy et al., 2021]。這一方法基于最近的的傅里葉神經算子，該算子以分辨率不變的方式學習，并在建模流體動力學等具有挑戰性的偏微分方程中取得了成功。此外，他們選擇 ViT 骨干的原因是它能夠很好地建模長程依賴。ViT 和基于傅里葉的 token 方法混合生成了 SOTA 高分辨率模型，它可以解析細粒度的特征，并能夠很好地隨分辨率和數據集大小擴展。研究者表示，這一方法能夠以真正前所未有的高分辨率訓練高保真數據驅動的模型。

訓練模型

歐洲中期天氣預報中心（ECMWF）提供了一個公開可用的綜合數據集 ERA5，該研究使用 ERA5 來訓練 FourCastNet。他們專注于兩個大氣變量，即（1）距離地球表面 10m 處的風速和（2）6 小時總降水量，除此以外，該研究還預測了其他幾個變量，包括幾個不同垂直高度的位勢高度、溫度、風速和相對濕度，一些近地表變量，如地面氣壓和平均海平面氣壓以等。

FourCastNet模型

為了生成高分辨率預測，研究采用自適應傅里葉神經算子 (Adaptive Fourier Neural Operator，AFNO) 模型。這種神經網絡架構專為高分辨率輸入而設計，并將深度學習（DL）最新關鍵進展綜合到一個模型中。也就是說，FourCastNet 結合了 傅里葉神經算子 (FNO) ，該方法已被證明在建模具有挑戰性的 PDE 系統方面表現良好，并且還具有強大的 ViT 主干。

目前，研究者已經提出了幾種降低計算復雜度的 ViT 變體，然而，AFNO 模型的獨特之處在于它將混合操作構建為連續的全局卷積，在傅里葉域中通過 FFT 有效實現，這允許靈活且可擴展地建模跨空間和通道維度的依賴關系。通過這樣的設計，空間混合復雜度降低到 O(N log N)，其中 N 是圖像 patch 或 token 的數量。這種縮放使 AFNO 模型非常適合 0.25° 分辨率的高分辨率數據，以及進行未來更高分辨率的研究。

模型的計算流程：首先將 720 × 1440 lat-lon 網格上的輸入變量投影到 patch 的 2D 網格 (h × w)（patch大小為 p × p，例如 p = 8），每個 patch 表示為一個 d 維 token。然后，將 patch 序列連同位置編碼一起饋送到一系列 AFNO 層。

訓練

該研究主要關注預測地表風速和降水，但復雜的大氣系統包含多個變量之間的強非線性相互作用，例如溫度、地面氣壓、濕度、從地球表面到平流層的水分含量等。為了模擬這些相互作用，該研究選擇了一些變量（表 1）來表示大氣的瞬時狀態。

該研究將 ERA5 數據集分為三組，即訓練、驗證和測試數據集。訓練數據集由 1979 年至 2015 年的數據組成，驗證數據集包含 2016 年和 2017 年的數據，測試數據集包含 2018 年及以后的數據。

該研究使用張量 X(k?t) 表示變量，其中k為時間指數，?t 為訓練數據集中連續快照之間的時間間隔，研究將 ERA5 數據集視為真值，用 X_true(k?t) 表示真值變量，?t 固定在 6 小時。訓練包括預訓練和微調兩個階段：

• 預訓練階段，采用訓練數據集以有監督的方式訓練 AFNO 模型，使其學習從 X(k) 到 X(k + 1) 的映射；
• 微調階段，該研究從之前訓練好的模型開始對模型進行優化，即模型首先從輸入 X(k) 生成輸出 X(k + 1)，然后模型使用輸出 X(k + 1) 作為輸入，并生成輸出 X(k + 2)。通過比較 X(k + 1) 和 X(k + 2) 與訓練數據中各自的真值來計算訓練損失，并使用這兩個訓練損失的總和來優化模型。

整個訓練過程是在 64 個 Nvidia A100 GPU 的集群上完成，端到端訓練大約需要 16 小時。

降水模型

ERA5 re-analysis 數據集中的總降水量（total precipitation，TP）是一個變量，表示通過降雨和降雪落到地球表面的累積液態和冰凍水。該研究將總降水量作為診斷變量，并用 p(kΔt) 表示。用于訓練主干模型的數據集（20 個變量）不包括總降水量這個變量。相反，研究者訓練一個單獨的 AFNO 模型 ，使用主干模型輸出來診斷 T P，如圖 2(c) 所示。這種方法將降水建模的困難與預測大氣狀態的一般任務脫離。此外，一旦經過訓練，診斷 TP 模型可能會與其他預測模型（傳統的 NWP 或數據驅動的預測）結合使用。

用于從主干輸出診斷降水的模型具有相同的基本 AFNO 架構，此外還具有額外的 2D 卷積層和 ReLU 激活，用于強制執行非負降水輸出。由于主干模型以 6 小時為增量進行預測，因此該研究訓練診斷降水模型來預測 6 小時累積的總降水量。

實驗結果

下圖1定性地展示了 FourCastNet 模型以 0.25°-lat-long 的分辨率預測全球地表風速的能力。其中，使用風速的緯向和經向分量計算地表風速的大小，即

。
下圖1顯示了使用FourCastNet生成的提前96小時的說明性全球近地表風速預測。研究者重點介紹了預測的已解析和準確跟蹤的關鍵高分辨率細節，包括超級臺風山竹（Mangkhut，2018年）和向美國東海岸進發的三個命名氣旋（Florence、Issac和Helene）。

其中，圖 1(a) 顯示了模型初始化時的風速。圖 1(b) 顯示了提前 96 小時的模型預測（上）和當時相應的真實風速（下）。可以看到，FourCastNet 模型能夠提前 96 個小時預測風速，并且具有出色的保真度和正確的精細尺度（fine-scale）特征。

值得注意的是，圖1說明了一個名為山竹的超級臺風的形成和軌跡的預測情況，該臺風在大約 10° N、210° W 的初始位置開始形成。該模型以驚人的保真度定性地預測了該臺風的增強及其在 4 天內的軌跡。這表明 FourCastNet 模型能夠很好地預測臺風等天氣現象的形成和移動軌跡。

該研究使用來自樣本外測試數據集的初始條件初始化 FourCastNet 模型。基于此初始條件，模型可以在推理模式下自由運行 16 個時間步長，如下圖 2(d) 所示。

相比于臺風，降水存在間歇性和隨機性，因此預測降水被認為是一項極其困難的任務。下圖 3 展示了 FourCastNet 模型預測全球總降水量的能力。圖 3(a) 為初始化的降水條件，圖 3(b) 是提前 36 個小時的模型預測和實際情況的對比。該圖以美國西海岸局部區域的降水為例，突出了 FourCastNet 模型以極高的精度解析和預測局部降水的能力。研究者觀察到 FourCastNet 在捕獲短期高分辨率降水特征方面性能出色，這對預測極端天氣事件具有重大意義。值得注意的是，這是第一次成功利用深度學習模型進行大規模降水預測。

接下來，研究者進一步探討了開發深度學習模型來預測颶風的潛在效用。颶風作為一種具有巨大破壞潛力的極端天氣事件。構建快速可用、計算成本低廉的大氣預警模型對于減輕生命和財產損失損失非常重要，同時這類模型也需要更嚴格的要求以避免錯誤預測。下圖 4 展示了 FourCastNet 在預測迅速多變的颶風方面的強大能力。

除了臺風和降水，FourCastNet 模型還能夠預測大氣層河流（ atmospheric river）的形成和演變。下圖5顯示了一個于 2018 年 4 月最終登陸北加州海岸線的大氣層河流的預測情況。

此外，FourCastNet 在量化技巧方面也有很大的優勢，比 IFS 更佳。對于 ACC 和 RMSE 兩項指標，FourCastNet 在更短的時間（約 48 小時或更短）內獲得了比 IFS 更好的性能。并且 FourCastNet 僅使用了 IFS 模型完整變量集的一部分，并且計算成本也低了很多。

集成是數值天氣預測的重要組成部分，FourCastNet 使用大型集成帶來的性能提升如下圖所示。

感興趣的讀者可以閱讀論文原文，了解更多研究細節。