X 射線衍射（X-ray diffraction, XRD）的發(fā)現(xiàn)和應(yīng)用堪稱晶體學發(fā)展中的一個重要里程碑，因為該技術(shù)使得人們能夠深入了解晶體的微觀結(jié)構(gòu)，繼而帶動了材料學和整個人類文明的進步。然而，當傳統(tǒng)的方法與由微小顆粒組成的粉末狀納米晶體不期而遇時，理想的結(jié)果卻并未發(fā)生。

由于納米晶體尺寸有限（通常小于 1000 ?），其 X 射線衍射圖譜中布拉格峰會出現(xiàn)明顯展寬，導致結(jié)構(gòu)信息出現(xiàn)嚴重的實質(zhì)性退化，這為精確解析其晶體結(jié)構(gòu)帶來了巨大挑戰(zhàn)。除此之外，實際情況中難以獲取純單晶樣品會進一步加大結(jié)構(gòu)解析的難度，納米晶體結(jié)構(gòu)解析也成為了困擾材料科學界長達百年之久的「世紀難題」。

針對于此，哥倫比亞大學、斯坦福大學的研究人員提出了一種基于擴散模型的生成式人工智能結(jié)構(gòu)解析方法 PXRDnet。該模型利用已知的 45,229 個晶體結(jié)構(gòu)作為訓練數(shù)據(jù)，引入統(tǒng)計先驗知識。即便僅以化學式和信息稀缺的有限尺寸展寬粉末衍射圖為條件，PXRDnet 也能成功解析 200 種不同對稱性和復雜性的模擬納米晶體，涵蓋來自所有 7 個晶體系統(tǒng)的結(jié)構(gòu)，最小粒徑可至 10 ?。實驗結(jié)果表明，該模型可以成功并可驗證地確定 5 次中的 4 次結(jié)構(gòu)候選者，通過 rietveld 細化 r 因子測量后平均誤差僅為 7%。

相關(guān)研究以「Ab initio structure solutions from nanocrystalline powder diffraction data via diffusion models」為題，發(fā)表于 Nature Materials。

研究亮點：

* 該成果破解了長期困擾材料科學界的納米晶體結(jié)構(gòu)解析難題，并提供了一款高效的人工智能解析工具，有望推動納米技術(shù)、生物醫(yī)學、能源存儲、電子器件等多領(lǐng)域的創(chuàng)新應(yīng)用 

* 該方法顯著突破了傳統(tǒng)方法的適用邊界，并在多個案例中獲得接近真實結(jié)構(gòu)的候選解

* 研究提出了 MP-20-PXRD 基準數(shù)據(jù)集（包含 Materials Project 中 20 個原子以內(nèi)的穩(wěn)定材料及其模擬衍射數(shù)據(jù)），并公開了代碼和數(shù)據(jù)集，為后續(xù)研究提供了統(tǒng)一標準

論文地址：

??https://go.hyper.ai/r1K6b??

Materials Project 在線材料數(shù)據(jù)庫：
??https://go.hyper.ai/2gCe9??

數(shù)據(jù)集：提出 MP-20-PXRD 基準數(shù)據(jù)集

為了得到有效的模型，研究人員提供了一個名為 MP-20-PXRD 的基準數(shù)據(jù)集，用來對 PXRDnet 進行以端到端的訓練。

具體來說，研究人員采用了 Materials Project 的 MP-20 數(shù)據(jù)集，該數(shù)據(jù)集由從 Materials Project 數(shù)據(jù)庫中采樣的材料組成，其晶胞內(nèi)原子數(shù)量最多為 20 個。然后研究人員采用 pymatgen package 模擬 MP-20 中所有結(jié)構(gòu)的粉末衍射圖。

Materials Project 在線材料數(shù)據(jù)庫：
??https://go.hyper.ai/2gCe9??

模擬采用了 Cu Kα 輻射，且 Q 值范圍為 0-8.1568 ??1。

MP-20-PXRD 數(shù)據(jù)集包含 45,229 種材料，按照 90%、7.5%、2.5% 的比例用以訓練、驗證和測試。值得一提的是，MP-20-PXRD 數(shù)據(jù)集已被開源，研究人員希望以此激勵「后來者」進一步探索納米晶體結(jié)構(gòu)解析新方案。

模型架構(gòu)：基于 CDVAE 打造，引入 PXRD 回歸器

PXRDnet 模型基于 CDVAE 架構(gòu)設(shè)計，主要包含 3 個主要分支，即原子去噪聲分支、變分自編碼器（variational autoencoder, VAE）分支和 PXRD 回歸器，它們通過共享的高斯?jié)撛诖a相連接。該方法使得 PXRDnet 能夠在給定 PXRD 模式和化學式的情況下，準確生成符合要求的材料結(jié)構(gòu)候選，為納米材料結(jié)構(gòu)解析提供了新見解。

PXRDnet 訓練過程

基于 CDVAE 的骨架開發(fā)

介紹 PXRDnet，就不得不提到 CDVAE 模型，這是前者創(chuàng)建的基礎(chǔ)。

CDVAE 是一種材料結(jié)構(gòu)生成模型，其靈感來自于變分自編碼器和去噪擴散網(wǎng)絡(luò)，是一種學習從噪聲中解壓縮數(shù)據(jù)的生成模型。

為了理解 VAE 和擴散組件的分解，研究人員認識到材料的晶胞可以用 4 個組件來表示，即化學成分、原子數(shù)、晶格參數(shù)和原子坐標。

CDVAE 的第一個分支使用 VAE 處理前三個組件，編碼器為 DimeNet —— 一種 SE(3)- 不變圖神經(jīng)網(wǎng)絡(luò)（SE (3)-invariant Graph Neural Network），它可以將材料的圖表示映射為潛在表示 z。圖表示被修改為有向多重圖，以體現(xiàn)材料固有的周期性。然后研究人員通過 kullback-Leibler 散度損失，潛在表示 z 被正則化為多元高斯分布，接著從 z 解碼出化學成分、原子數(shù)和晶格參數(shù)。

每個預(yù)測都由一個單獨的晶體參數(shù)多層感知器（MLP）生成，該感知器接收潛在編碼 z。z 將在隨后模型的所有其他分支中用作材料表示。

CDVAE 的第二個分支通過噪聲條件評分網(wǎng)絡(luò)（noise-conditioned score network）利用去噪擴散來處理組件。它假設(shè)組件原子數(shù)和晶格參數(shù)是固定的，正向過程用多元高斯噪聲擾動原子坐標和原子種類；反向過程用 GemNet 參數(shù)化，這是一種 SE(3)- 等變圖神經(jīng)網(wǎng)絡(luò) （equivariant graph neural network）。該過程以上述潛在編碼 z 為條件，這是其正常工作的基礎(chǔ)。

值得一提的是，反向過程本質(zhì)上是預(yù)測如何通過 Langevin 動力學對受擾動的原子坐標和種類進行去噪，使它們移動到真實位置并恢復為真實種類。同樣輸出圖表示是一個有向多重圖，與材料的周期性兼容。

生成階段，CDVAE 首先從多元高斯分布中采樣一個潛在代碼 z ≈?N（0, I），利用晶體參數(shù)多層感知器對其進行解碼，獲得組件化學成分、原子數(shù)和晶格參數(shù)，這可用于初始化一個晶胞，其中原子位置同樣從 N（0, I）中隨機選擇，然后通過 Langevin 動力學 SE(3) 等變圖去噪過程對原子位置和種類進行優(yōu)化，其整個去噪過程中，晶格參數(shù)和原子數(shù)保持不變，最終得到生成材料。

專門設(shè)計的 PXRD 回歸器

此外，在本次研究中，粉末 X 射線衍射（PXRD）圖譜設(shè)定為期望預(yù)測的屬性，因此研究人員設(shè)計了一個 PXRD 回歸器 Fψ，它將 PXRDnet 的潛在材料表征 z∈R²⁵⁶ 映射到一個向量 y∈R⁵¹²，即材料 PXRD 圖譜的估計 Q 空間表征。

PXRD 回歸器由 DenseNet 啟發(fā)的架構(gòu)進行參數(shù)化，

該架構(gòu)擴展了傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)。回歸器基于 CrystalNet 的設(shè)計，具有一維輸入和輸出的密集連接架構(gòu)。具體來說，對于網(wǎng)絡(luò)中的給定深度，

DenseNet 將先前的中間數(shù)據(jù)表征聚合起來，作為下一個卷積層的輸入。如下圖所示。

PXRDnet 的 PXRD 回歸量可視化展示

研究表明，DenseNet 減少了梯度消失問題，并在標準計算機視覺基準測試中取得了出色的結(jié)果。

實驗結(jié)果：具備真實場景應(yīng)用潛力

通常，納米結(jié)構(gòu)被定義為尺寸小于 1000 ? 的晶體，但為了測試所提方法的有效性，研究人員將晶體的尺寸降低了兩個數(shù)量級，通過傅里葉分析的數(shù)學原理過濾方法，模擬了晶體尺寸為 10 ? 和 100 ? 的 PXRD 方法。如預(yù)期，10 ? 情況下比 100 ? 情況顯示了更多的峰展寬，代表信息退化更驗證。如下圖所示。

納米材料的 PXRD 圖譜

該圖展示了研究人員通過 sinc2 濾波模擬納米尺度收縮對 PXRD 峰的影響。其中，灰線代表了理想模式，紫線代表經(jīng)過處理后展寬的 PXRD 峰。為了提升模型性能，研究人員在 sinc 濾波后進一步應(yīng)用了一個額外高斯濾波器，雖然這會加大展寬衍射峰，但卻能有效消除由濾波引起的銳利波紋。橫軸表示散射矢量的大小為 ??1，縱軸為縮放后的衍射強度，其中 1 表示最大強度值。

接下來，研究人員展示了 PXRDnet 結(jié)構(gòu)預(yù)測，如下圖所示。其中最左邊的一欄為真實晶體結(jié)構(gòu)，其他列顯示了 PXRDnet 所模擬的直徑為 10 ? 和 100 ? 的納米晶體在 PXRD 模式中重建后晶體結(jié)構(gòu)，并經(jīng)過 Rietveld 精細化修正。

PXRDnet 結(jié)構(gòu)預(yù)測

結(jié)果顯示，PXRDnet 在對各種無機化學成分的材料結(jié)構(gòu)解析中表現(xiàn)出色，其中 100 ? 模擬晶體尺寸的性能略好，而更具挑戰(zhàn)的 10 ? 模擬晶體尺寸的情況下，依舊表現(xiàn)出色。例如，PXRDnet 可以成功捕獲 Cs?YCuCI? 和 SmMn?SiC 等材料的晶體形狀，還成功捕獲了 Cs?YCuCI? 和 BaSrMnWO? 等材料的對稱性。除此之外，即便在極端某些情況下，如 Li?Nb?Cu?O?? 或 Sb?F?? 等失效情況下，PXRDnet 依舊能夠為實驗提供有價值的參考。

下圖展示了真實 PXRD 模式、PXRDnet 原始預(yù)測模式和經(jīng)過 Rietveld 精修后模式的結(jié)果對比，展示了預(yù)測模型與真實數(shù)據(jù)之間的溫和程度，同時驗證了 Rietveld 的必要性，能夠有效提升模型預(yù)測精度。例如，在 100 ? 情況下，Sb?F?? 預(yù)測差值為 0.681，經(jīng)過精修后（AI+Rietveld）來到了 0.019。

真實 PXRD 模式、PXRDnet 原始預(yù)測模式和經(jīng)過 Rietveld 精修后模式的結(jié)果對比

以下表格展示了 PXRDnet 能夠成功重構(gòu) MP-20 中的材料，與 CDVAE-Search 基線相比，PXRDnet 的預(yù)測結(jié)果更加突出。

材料結(jié)構(gòu)重建情況

為了進一步改善結(jié)果，研究人員對 PXRDnet 解析的 20 種均勻選取的結(jié)構(gòu)進行了 Rietveld 精修，每個結(jié)構(gòu)選取排名最高的 10 個候選輸入。如下圖所示。

Rietveld 精修結(jié)果，a、b 分別為 10 ? 和 100 ? 納米晶體尺寸的結(jié)果

結(jié)果顯示，Rietveld 精修對于 100 ? 的測試非常有效，因為它們具有更清晰的 Bragg 峰值，在 20 個測試結(jié)構(gòu)中有 18 個的結(jié)果差值都將至 20% 以下，15 個將至 10% 以下。這表明盡管其中仍有一些小問題，但 PXRDnet 仍然能夠持續(xù)輸出接近真實結(jié)構(gòu)的結(jié)果，而在每個案例中加入適當人工干預(yù)就能得到正確結(jié)構(gòu)。

最后，研究人員通過實驗驗證了 PXRD 測試性能，數(shù)據(jù)來源于 IUCr 數(shù)據(jù)庫。如下圖所示。

實驗數(shù)據(jù)

最左列為基準結(jié)構(gòu)，基于 IUCr 數(shù)據(jù)庫獲取的實驗觀察 PXRD 模式，中間為 PXRDnet 預(yù)測結(jié)構(gòu)，右側(cè)為 TOPAS（v.7）模擬 PXRD 與實際實驗觀測 PXRD 的比較。結(jié)果顯示，PXRDnet 克服了模擬到實際的差距，其結(jié)果在視覺分析和定量指標上與從模擬數(shù)據(jù)中獲得的結(jié)果相當，顯示了所提模型在真實場景中應(yīng)用的潛力。

AI 與材料科學界交叉融合，解決百年難題

PXRDnet 的提出，解決了材料科學界長達一個世紀的難題。正如論文所說，該方法與任何結(jié)構(gòu)解決方案一樣，并非百分之百成功，但是卻為探索結(jié)構(gòu)解析提供了一個候選方法，從而打開了更多通向成功的大門。

當然，PXRDnet 的成功并非一蹴而就的，而是站在巨人的肩膀上不斷探索的。在人工智能與納米材料的交叉領(lǐng)域，有無數(shù)的科研人員不斷攻關(guān)。

比如麻省理工學院、斯坦福大學等團隊以「Crystal Structure Determination from Powder Diffraction Patterns with Generative Machine Learning」發(fā)表的研究，其中提出了一種開創(chuàng)新的生成式機器學習模型，能夠從真實實驗 PXRD 數(shù)據(jù)中求解晶體結(jié)構(gòu)。在實驗中，研究人員預(yù)測了來自 RRUFF 數(shù)據(jù)庫的 134 個實驗圖案和來自 Materials Project 的數(shù)千個模擬圖案的結(jié)構(gòu)，其模型匹配率分別達到了最先進的 42% 和 67%。
論文地址：

??https://pubs.acs.org/doi/10.1021/jacs.4c10244??

另外，來自中國科學院、上海交通大學、清華大學、中國人民大學的團隊也曾發(fā)表相關(guān)研究，提出了一個端到端神經(jīng)網(wǎng)絡(luò) PXRDGen，能夠通過學習實驗穩(wěn)定晶體及其 PXRD 的結(jié)構(gòu)分布來確定晶體結(jié)構(gòu)，并通過 PXRD 數(shù)據(jù)提煉出原子精度的結(jié)構(gòu)。該模型繼承了一個預(yù)訓練的 XRD 編碼器、一個基于擴散/flow-based 的結(jié)構(gòu)生成器和一個 Rietveld 細化模塊，僅需幾秒就能精確實現(xiàn)結(jié)構(gòu)解析。相關(guān)研究以「Powder Diffraction Crystal Structure Determination Using Generative Models」為題發(fā)表。
論文地址：

??https://arxiv.org/abs/2409.04727??

總而言之，PXRDnet 以及其他方法的探索，實現(xiàn)了材料科學界從傳統(tǒng)方法向著人工智能與材料科學交叉融合的方向前進，不僅實現(xiàn)了實質(zhì)性的突破，解決了材料科學界所面臨的難題，同時也為后續(xù)的研究提供了新的思路和方法，為今后材料學發(fā)展注入了新的活力。