谷歌DeepMind的人工智能模型AlphaFold 3兩個月前橫空出世，顛覆了生物學。

這個「值得獲得諾貝爾獎的發明」不僅在學術圈引起了巨震，還轟動了制藥界——它可能帶來數千億美元的商業價值，并對藥物研發產生深遠影響。

論文地址：https://www.nature.com/articles/s41586-024-07487-w

如此重要的AlphaFold3，其具體工作原理是什么？

因為AlphaFold3的結構非常復雜，論文有相當高的閱讀門檻，讓人望而卻步。兩位斯坦福大學的兩位博士生制作了一個論文的「圖解版」，比論文閱讀起來友好多了，而且還很詳盡！

每一位機器學習工程師都不應該錯過這篇圖文并茂的文章——

博客地址：https://elanapearl.github.io/blog/2024/the-illustrated-alphafold/

此前已經有很多關于蛋白質結構預測的研究動機、CASP競賽、模型失效模式、關于評估的爭論、對生物技術的影響等主題的文章，因此以上內容都不是這篇博文關注的重點。

這篇博文關注的重點在于AlphaFold3（以下簡稱AF3）是如何在技術上實現的：分子在模型中被如何表示，它們又是如何被轉換成預測結構的？

架構概述

AlphaFold3和前代模型最大的不同點在于——預測目標不同。

AF3不僅預測單個蛋白質序列（AF2）或蛋白質復合物（AF-multimeter）的結構，還能預測蛋白質與其他蛋白質、核酸、小分子中的一種或多種物質的復合結構，而且僅根據序列信息。

因此，前代的AF模型只需表示標準的氨基酸序列，但AF3需要引入更復雜的輸入類型，因此設計了更復雜的特征表示和tokenization機制。

tokenization過程會在稍后單獨描述，目前我們只需要知道，token可能代表單個氨基酸（蛋白質）、核苷酸（DNA/RNA），或者單個原子（其他物質）。

模型主要由3部分組成：

- 輸入準備：給定輸入的分子序列，模型需要檢索一系列的結構相似的分子。這一步驟會識別出這些分子，并將其編碼為數值張量。

- 表征學習：給定上一步中創建的張量，使用注意力機制的多種變體來更新這些表征。

- 結構預測：基于第一部分創建的原始輸入以及第二部分改進后的表征，使用條件擴散進行結構預測。

在整個模型中，蛋白質復合物有兩種表示形式：單一表征（single representation）和配對表征（pair representation），這兩種表示都可以應用于token級別或原子級別。

前者僅僅表示復合物中的所有token或原子，后者則表征了物質中所有token/原子之間的關系（如距離、潛在相互作用等）。

為了簡單起見，下述的結構中忽略了大多數LayerNorm層，但其實它們無處不在。

輸入準備

用戶向AF3提供的實際輸入是一個蛋白質序列和可選的其他分子。

本節的目標是將這些序列轉換成一系列6個張量，這些張量將作為模型主干的輸入.

如圖所示，這6個張量分別是：

-s（token級單一表征）

-z（token級配對表征）

-q（原子級單一表征）

-p（原子級配對表征）

-m（MSA表征）

-t（模板表征）

本節包含5個步驟，分別是tokenization、檢索、創建原子級表征、更新原子級表征、原子級到token級集成。

tokenization

在AF2中，由于模型只表示具有固定氨基酸集的蛋白質，因此每個氨基酸都擁有自己的token。

AF3保留了這一點，但也引入了額外的token，以便處理其他分子類型：

-標準氨基酸：1個token（同AF2）

-標準核苷酸：1個token

-非標準氨基酸或核苷酸（甲基化核苷酸、翻譯后修飾的氨基酸等）：每個原子1個token

-其他分子：每個原子1個token

因此，我們可以認為某些token（如標準氨基酸/核苷酸）對應多個原子，而其他token （如配體中的原子）只對應單個原子。

比如，35個標準氨基酸的序列（可能大于600個原子）將由35個token來表示；同時，一個由35個原子組成的配體也同樣由35個token表示。

檢索

AF3的早期關鍵步驟之一類似于語言模型中的檢索增強生成（Retrieval Augmented Generation，RAG）。

模型會檢索到與與輸入序列相似的序列（收集到多序列比對中，即MSA），以及與這些序列相關的任何結構（稱為「模板」），將它們作為模型的附加輸入，分別寫作m和t。

與AF-multimer相比，這些檢索步驟中唯一的新內容是，除了蛋白質序列外，我們現在還對RNA序列進行檢索。

請注意，這在傳統上并不被稱為「檢索」，因為早在RAG這個術語出現之前，使用結構模板指導蛋白質結構建模就已經是同源建模領域的常見做法了。

不過，盡管AlphaFold沒有明確將這一過程稱為檢索，但它確實與現在流行的RAG非常相似。

那么，模板（templates，t）如何表征呢？

通過模板搜索，我們獲得了每個模板的三維結構，以及有關哪些token位于哪些鏈中的信息。

首先，計算給定模板中所有token對之間的歐氏距離。如果是對應多個原子token，則使用一個有代表性的「中心原子」來計算距離。

比如，對于氨基酸來說，中心原子是C_ɑ原子，而標準核苷酸的中心原子是C1'原子。

這會為每個模板生成一個N_token x N_token大小的矩陣。不過，距離并不是用數值來表示，而是將距離離散化為「距離直方圖」。

然后，我們向每個直方圖添加元數據，關于每個token屬于哪個鏈、該token是否在晶體結構中得到解析、以及每個氨基酸內部的局部距離信息。

然后，我們對這個矩陣進行掩碼，只查看每條鏈內部的距離（忽略鏈之間的距離）。根據論文的解釋，這樣做的原因是「并不嘗試選擇模板......以獲取鏈間交互的信息」。

創建原子級表征

為了創建q（原子級單一表征），我們需要提取所有原子級特征。

第一步是計算每個氨基酸、核苷酸和配體的「參考構象」（reference conformer）。雖然我們還不知道整個復合物的結構，但我們對每個單獨組件的局部結構有很多的先驗知識。

構象（構象異構體的簡稱）是分子中原子的三維排列，通過對單鍵的旋轉角度進行采樣而生成。

每種氨基酸都有一個「標準」構象，但這只是該氨基酸存在的低能量構象之一，可以通過查表找到。

不過，每個小分子都需要生成自己的構象，利用RDKit中的ETKDGv3算法，同時結合了實驗數據和扭轉角偏好來生成三維構象。

然后，我們將該構象信息（相對位置）與每個原子的電荷、原子序數和其他標識符連接起來。矩陣c存儲了序列中所有原子的這些信息。

然后，我們用c來初始化原子級別的配對表征p，以存儲原子間的相對距離。

由于我們只知道每個token內的參考距離，因此先使用掩碼機制（v）來確保這個初始距離矩陣只代表我們在構象生成過程中計算出的距離。

最后，我們將原子級別的單一表征復制一份，并將這個副本稱為q。這個矩陣q是我們接下來要更新的，但c確實會被保存并稍后使用。

原子Transformer

在生成了q（單個原子的表征）和 p（原子配對表征）之后，我們現在要根據附近的其他原子更新這些表征。

AF3使用一個名為原子Transformer的模塊，在原子級別應用注意力機制時

原子Transformer主要遵循標準的Transformer結構。不過，其具體步驟都經過了調整，以處理來自c和p的額外輸入。

原子級->token級

到目前為止，所有數據都是以原子級別存儲的，而AF3的表征學習部分則從這里開始以token級別運行。

為了創建token級表征，我們首先將原子級表征投影到一個更大的維度（c_atom=128，c_token=384）。然后對分配給同一token的所有原子取平均值。

請注意，這只適用于與標準氨基酸和核苷酸相關的原子，其余原子保持不變。

現在我們就從「原子空間」進入了「token空間」。

之后將token級特征和MSA中的統計信息連接起來，形成矩陣s^inputs并被向下投影到c_token，作為序列的起始表征s^init。

s^init將在表征學習部分中被更新，但s^inputs保持不變，用于結構預測部分。

表征學習

經過一系列輸入準備后，我們就來到了模型的主干部分，也是完成大部分計算量的部分。

這部分模型的學習目標是改進上述token級別的單一（s）或成對（z）張量的初始化表示，因此被稱為「表征學習」。

這部分主要包含三類步驟：

- 模板模塊（template module）：使用模板t更新張量z

- MSA模塊：更新MSA表征m，再將其引入token級別的張量z

- Pairformer：使用三角注意力更新張量s、z

以上步驟會重復運行多次，每次輸出結果后再將其反饋到自身繼續作為輸入，繼續進行計算（如上圖中藍色需先所示），這種做法被稱為「回收」（recycling）。

模板模塊

該模塊的計算流程如下圖所示（模板個數N_template=2）。

每個模板t和張量z經過線性投影后相加得到矩陣v，再經過一系列被稱作Pairformer Stack的操作（后文詳述）。

之后，N個模板被平均到一起，再通過另一個線性層和一次ReLU，得到最終結果。

有趣的是，這是AF3模型中唯二使用ReLU的地方之一，但論文中并沒有解釋為什么選擇ReLU而非其他非線性函數。

MSA模塊

AF3中的MSA與AF2中的Evoformer非常類似，都是在同時改進MSA表征和配對表征，對兩者分別獨立執行一系列操作后進行交互。

下采樣

處理MSA表征的第一步是下采樣，而非使用之前生成的MSA的所有行（最多可達 16k）。下采樣后，還要加入經過投影映射的單一表征s。

外積均值

之后，MSA表征m通過外積均值方法（outer product mean）被合并到配對表征中。

如下圖所示，比較MSA中的兩列揭示了有關序列中兩個位點之間的關系信息（比如進化過程中的相關性）。

對于每對標記索引i,j，我們迭代所有進化序列s，獲取 m_s,i和 m_s,j的外積，在所有進化序列中進行平均。

然后，我們壓平這個外部積并將其投影回去，最后將其添加至配對表征z_i,j 。

雖然每個外積僅對給定序列m_s內的值進行操作，但取平均值時會混合序列之間的信息。這是模型中唯一能在進化序列之間共享信息的機制。

這個方法是相對于AF2的重大改變，旨在降低Evoformer的計算復雜度。

行內自注意力

根據MSA更新配對表征后，模型接下來根據后者更新MSA，這種特定的更新模式是原子Transformer中所述的「具有配對偏差的自注意力」的簡化版本，被稱為「僅使用配對偏差的行內門控自注意力」（row-wise gated self-attention using only pair bias）。

這種方法受到注意力機制的啟發，但并不使用查詢和鍵計算，而是直接使用存儲在配對表征z中的token間關系。

如下圖所示，在張量z中，每個c_z維度的向量z_i,j都表示第i個和第j個token間的關系。將z線性投影到矩陣b后，每個z_i,j向量變為標量，就可以相當于「注意力分數」（attention score），用于加權平均。

最后，MSA通過一系列「三角更新」（triangle updates）和注意力機制來更新配對表征，其中「三角更新」與下面Pairformer的描述相同。

Pairformer

經過前兩個模塊后，模板t和MSA表征m的作用就結束了，只有單一表征z和經過更新的配對表征s進入Pairformer并用于相互更新。

Pairformer中值得注意的是「三角更新」和「三角自注意力」方法，它們首次在AF2模型中出現，并被保留在AF3中，而且正在被應用到越來越多的架構中。

為什么是「三角形」

這里的指導原則是三角形不等式的思想：「三角形任意兩邊之和大于或等于第三條邊。」

回想一下，張量z中的值z_i,j編碼序列中位置i和j之間的關系。雖然并沒有顯式地對token間的物理距離進行編碼，但的確包含了這層含義。

如果我們想象每個z_i,j代表兩個氨基酸之間的距離，并且有z_i,j=1和z_j,k=1。那么根據三角形不等式，z_i,k不能大于2。

「三角更新」和「三角形自注意力」的目標就是嘗試將這些幾何約束編碼到模型中，但并不會強制執行，而是鼓勵模型在每次更新z_i,j的值時考慮所有可能的三元組(i,j,k)。

此外，z不僅代表物理距離，還編碼了token之間復雜的物理關系，因此向量z_i,j是有方向的。

所以，如上圖所示，在對節點k進行「三角更新」和「三角自注意力」操作時，需要分別查看兩種有向路徑，出邊（outgoing edge）和入邊（incoming edges）。

三角更新

從圖論角度理解「三角」操作后，我們就能明白以下的張量更新和注意力機制是如何通過張量運算實現的。

使用出邊進行更新時，使用到了z的三個線性投影a、b和g。

為了更新z_i,j，需要對z_i,k和z_j,k進行操作，即對a中的第i行和b中的第j行進行逐元素（element-wise）乘法，之后對所有行（不同k值）求和，再用g進行門控。

入邊的操作與出邊類似，只是進行了行列翻轉。

為了更新z_i,j，需要對z_k,i和z_k,j進行操作，即對a中的第i列和b中的第j列進行逐元素乘法，再對所有行求和。

可以發現，出邊和入邊的「三角更新」操作與上面標出有向路徑的兩個紫色三角形完全對應。

三角自注意力

接下來，分別使用出邊和入邊的「三角自注意力」更新每個z_i,j值。AF3論文將這兩個過程分別稱為「圍繞起始節點」（around starting node）和「圍繞結束節點」（around ending node）。

回憶一下，典型的一維序列自注意力中，查詢、鍵和值都是原始一維序列的轉換。自注意力的二維變體——軸向注意力中，在二維矩陣的不同軸上（行，然后列）上獨立應用一維自注意力。

以此類推，「三角自注意力」在軸向注意力的基礎上添加了之前討論的「三角形不等式」，通過合并所有k值的z_i,k和z_j,k來更新z_i,j。

比如，在圍繞起始節點的情況中（下圖），為了計算注意力分數z_i,j，需要將q_i,j與k矩陣中第i行每個值相乘（以確定第j列受到其他列的影響），然后加上z_j,k的注意力偏置。

圍繞結束節點的情況同樣是行列對稱，為了計算z_i,j，需要將q_i,j與k矩陣中第i列每個值相乘，注意力偏置則來自第j列。

用四個與「三角」有關的步驟更新了配對表征z后，我們還希望用它來更新單一表征s，此處使用的方法是「帶有配對偏置的單一注意力」（single attention with pair bias，下圖）。

這個方法在輸入準備部分的原子Transformer中也被用到，區別只在于一個是token級別，一個是原子級別。

由于在token級別上運行，因此這里用到的是完全注意力，而非塊內稀疏模式。

以上是Pairformer的所有計算流程。經過48個塊的重復計算后，我們就得到了張量s^trunk和z^trunk。

結構預測

擴散模塊

每一個去噪擴散步驟都根據輸入序列的多個表征來調整預測。

AF3論文將其擴散過程分為3個步驟，包括從token到原子、回到token、再回到原子。

準備token級條件張量

為了初始化token級條件表征，我們將z^trunk與相對位置編碼拼接，然后將這個更大的表征向下投影，并通過幾個帶有殘差連接的轉換模塊。

同樣地，對于token級的單一表征，我們將模型的初始表征（s^inputs）和我們當前表征（s^trunk）拼接起來，然后投影回原始大小。

然后，我們根據當前的擴散時間步長創建一個傅立葉編碼模型，將其添加到單一表征中，并將該組合通過多個轉換模塊。

通過在這里的條件輸入中加入擴散時間步長，可以確保模型在進行去噪預測時能夠意識到擴散過程的時間步長，從而預測出該時間步長下需要消除噪聲的合適規模。

準備原子級張量，應用原子級注意力，并聚合回token級

此時，條件向量存儲的是每個token級別的信息，但我們還希望在原子級別上運行注意力。

為了解決這個問題，我們采用編碼部分（c 和 p）中創建的輸入的初始原子級表征，并根據當前的token級表征更新它們，以創建原子級條件張量。

接下來，使用數據方差來縮放原子的當前坐標（x），從而有效地創建出具有單位方差（稱為r）的「無量綱」坐標。

然后我們根據r更新q，這樣q就包含了原子的當前位置信息。最后，使用原子Transformer更新q，并將原子聚合為我們之前看到的token。

在token級應用注意力機制

這一步的目標是運用注意力機制更新原子坐標和序列信息的token級表征a。這一步使用的是輸入準備過程中可視化的擴散Transformer，它與原子Transformer相同，但針對token。

在原子級應用注意力機制來預測原子級噪聲更新

現在，我們回到原子空間，使用原子Transformer和經過更新的a來對q進行更新。

與上一步一樣，我們廣播token表征，使其與開始時的原子數量相匹配，然后運行原子Transformer。

最重要的是，最后一層線性層將原子級表征q映射回R。這是關鍵的一步：我們使用所有這些條件表征為所有原子生成坐標更新r^update。

由于是在「無量綱」空間r_l中生成這些更新的，因此需要進行重新縮放，將 r^update中的更新轉換為為非單位方差的形式x^update，再引入到x_l中。

至此，我們就完成了對AlphaFold 3主要架構的介紹！

此外，作者還提供了一些有關損失函數機器訓練細節的補充信息，好學的朋友可以去博文中一看究竟。

ML工程師眼中的AF3

在對AF3的架構及其與AF2的比較進行了如此詳盡的介紹之后，作者沒有止步于此，而是將之與更廣泛的機器學習趨勢相關聯，這一點很有意思。

作者提到了AF與檢索增強生成、Pair-Bias注意力機制、自監督訓練、分類與回歸、LSTM循環架構、交叉蒸餾之間的關系。

作者簡介

本文作者是來自斯坦福大學的兩位博士生Elana Simon和Jake Silberg。

Elana Simon本科從哈佛大學畢業并獲得計算機科學領域學士學位，曾在谷歌、Facebook等機構實習，并擔任過Reveries Labs的機器學習工程師。

她目前是博士二年級，由James Zou指導，從事機器學習和生物學（免疫學和基因學）交叉領域的研究。

Jake Silberg本科畢業于哈佛大學社會研究專業，輔修全球健康和衛生政策，碩士畢業于斯坦福大學統計系數據科學專業。

他曾在麥肯錫擔任高級業務分析師，目前在斯坦福大學攻讀生物醫學數據科學方面的博士學位，研究興趣包括主動學習、人機交互，以及Transformer在衛星和醫學圖像中的應用。