[[378224]]

今年開(kāi)始。圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks)成為研究者討論的焦點(diǎn)，作為該領(lǐng)域的研究人員，我甚是欣慰。記得大概三年前，圖神經(jīng)網(wǎng)絡(luò)那時(shí)還受到冷落，當(dāng)我和研究GAN和Transformers的同行交流時(shí)，他們認(rèn)為我的研究方向極其小眾。到了現(xiàn)在，這個(gè)領(lǐng)域終于守得云開(kāi)見(jiàn)月明。因此，我將在本文向大家介紹最近的GNNs應(yīng)用熱點(diǎn)。

推薦系統(tǒng)

在電子商務(wù)平臺(tái)中，用戶與產(chǎn)品的交互構(gòu)成圖結(jié)構(gòu)，因此許多公司使用圖神經(jīng)網(wǎng)絡(luò)進(jìn)行產(chǎn)品推薦。典型的做法是對(duì)用戶和商品的交互關(guān)系進(jìn)行建模，然后通過(guò)某種負(fù)采樣損失學(xué)習(xí)節(jié)點(diǎn)嵌入，并通過(guò)kNN實(shí)時(shí)推薦給用戶相似產(chǎn)品。Uber Eats 公司很早就通過(guò)這樣的方式進(jìn)行產(chǎn)品推薦，具體而言，他們使用圖神經(jīng)網(wǎng)絡(luò) GraphSage 為用戶推薦食品和餐廳。

在食品推薦中，由于地理位置的限制，使用的圖結(jié)構(gòu)比較小。在一些包含數(shù)10億節(jié)點(diǎn)的大規(guī)模圖上，同樣也可以使用圖神經(jīng)網(wǎng)絡(luò)。使用傳統(tǒng)方法處理如此大規(guī)模的圖是非常困難的，阿里巴巴公司在包含數(shù)十億用戶和產(chǎn)品的網(wǎng)絡(luò)上研究圖嵌入和GNN，最近他們提出的Aligraph，僅需要五分鐘就可以構(gòu)建具有400M節(jié)點(diǎn)的圖。非常強(qiáng)大!此外，Aligraph還支持高效的分布式圖存儲(chǔ)，對(duì)采樣過(guò)程進(jìn)行了優(yōu)化，同時(shí)內(nèi)部集成了很多GNN模型。該框架已成功用于公司的多種產(chǎn)品推薦和個(gè)性化搜索任務(wù)。

Pinterest 提出了 PinSage 模型，該模型使用個(gè)性化PageRank對(duì)鄰域進(jìn)行高效采樣，并通過(guò)聚合鄰域更新節(jié)點(diǎn)嵌入。后續(xù)模型 PinnerSage 進(jìn)一步擴(kuò)展了該框架來(lái)處理不同用戶的多嵌入問(wèn)題。受限篇幅，本文僅列出GNN在推薦系統(tǒng)的部分應(yīng)用(其他案例還包括：Amazon在知識(shí)圖譜中應(yīng)用GNN或Fabula AI使用GNN檢測(cè)假新聞等)，但這些足以表明，如果用戶互動(dòng)的信息足夠豐富，那么GNNs將顯著推動(dòng)推薦系統(tǒng)中進(jìn)一步發(fā)展。

組合優(yōu)化

金融、物流、能源、生命科學(xué)和硬件設(shè)計(jì)等多個(gè)領(lǐng)域都面臨組合優(yōu)化(CO)問(wèn)題。這些問(wèn)題多數(shù)可以通過(guò)圖結(jié)構(gòu)進(jìn)行建模，因此，過(guò)去近一個(gè)世紀(jì)的研究工作都致力于從算法層面解決CO問(wèn)題。然而，機(jī)器學(xué)習(xí)的發(fā)展為CO問(wèn)題的解決提供了另外一種可能性。

Google Brain 團(tuán)隊(duì)將GNN成功用于硬件設(shè)計(jì)，如對(duì)Google TPU芯片塊的功耗、面積和性能的優(yōu)化。可以將計(jì)算機(jī)芯片視為由內(nèi)存和邏輯部件組成的圖，每個(gè)圖由其部件的坐標(biāo)和類型表示。電氣工程師的工作就是，在遵守密度和布線擁塞限制的同時(shí)，確定每個(gè)組件的位置。Google Brain團(tuán)隊(duì)結(jié)合GNN和策略/值RL實(shí)現(xiàn)對(duì)電路芯片布局的設(shè)計(jì)與優(yōu)化，其表現(xiàn)優(yōu)于人工設(shè)計(jì)的硬件布局。

此外，還可以將機(jī)器學(xué)習(xí)(ML)模型集成到現(xiàn)有求解器中。Gasse et al. 提出了一種用于學(xué)習(xí)分支定界變量選擇策略(混合整數(shù)線性程序MILP求解器的關(guān)鍵)的圖網(wǎng)，通過(guò)該方式能夠最小化求解器的運(yùn)行時(shí)間。同時(shí)論文表明，該方法既能保證推理時(shí)間，又能保證決策質(zhì)量。

在DeepMind和Google的最新工作中，圖網(wǎng)被用于MILP求解器的兩個(gè)關(guān)鍵子任務(wù)：聯(lián)合變量分配和目標(biāo)值定界。在Google生產(chǎn)包和規(guī)劃系統(tǒng)大規(guī)模數(shù)據(jù)集上，他們的神經(jīng)網(wǎng)絡(luò)方法比現(xiàn)有求解器快2–10倍。更多內(nèi)容請(qǐng)查閱相關(guān)綜述。

計(jì)算機(jī)視覺(jué)

由于世界上所有物體都是密切聯(lián)系的，因此可以將GNN用于物體圖像。通過(guò)場(chǎng)景圖可以感知圖像，即一組物體出現(xiàn)在同一場(chǎng)景中，那么它們之間存在聯(lián)系。場(chǎng)景圖已用在圖像檢，理解和推理，字幕生成，視覺(jué)問(wèn)答以及圖像生成等任務(wù)，從而大大提高模型的性能。

Facebook的一項(xiàng)研究表明，根據(jù)經(jīng)典CV數(shù)據(jù)集COCO中的物體形狀、位置和大小創(chuàng)建場(chǎng)景圖，然后使用GNN對(duì)圖中物體進(jìn)行嵌入，進(jìn)而結(jié)合CNN生成物體的遮罩，邊框和外。最終，通過(guò)GNN / CNN可以在用戶指定節(jié)點(diǎn)(確定節(jié)點(diǎn)的相對(duì)位置和大小)生成物體圖像。

對(duì)于CV的經(jīng)典任務(wù)——兩個(gè)相關(guān)圖像的匹配，之前的方法僅能通過(guò)人工實(shí)現(xiàn)。但現(xiàn)在，3D圖形公司Magic Leap開(kāi)發(fā)出名為SuperGlue的GNN架構(gòu)，該架構(gòu)可在實(shí)時(shí)視頻中執(zhí)行圖形匹配，以完成3D重建、位置識(shí)別、本地化和制圖(SLAM)等任務(wù)。SuperGlue由一個(gè)基于注意力的GNN組成，GNN學(xué)習(xí)圖像關(guān)鍵點(diǎn)的表示，然后在最佳傳輸層對(duì)這些關(guān)鍵點(diǎn)表示進(jìn)行匹配。模型可以在GPU上實(shí)現(xiàn)實(shí)時(shí)匹配，還能方便地集成到現(xiàn)有SLAM系統(tǒng)中。關(guān)于圖形與計(jì)算機(jī)視覺(jué)的更多研究和應(yīng)用，參見(jiàn)以下綜述文章。

物理/化學(xué)

根據(jù)粒子或分子之間的相互作用構(gòu)建圖，然后使用GNN預(yù)測(cè)系統(tǒng)屬性已逐漸成為生命科學(xué)中的重要研究方法。Facebook和CMU合作的Open Catalyst項(xiàng)目致力于找到新的方法來(lái)存儲(chǔ)可再生能源，例如太陽(yáng)能或風(fēng)能。可能的方案之一是通過(guò)化學(xué)反應(yīng)將這種能量轉(zhuǎn)換成其他燃料，如氫氣。然而，這需要發(fā)現(xiàn)新的、更高效的催化劑來(lái)加速化學(xué)反應(yīng)，且已知的DFT方法成本極高。Open Catalyst項(xiàng)目開(kāi)源了大規(guī)模催化劑數(shù)據(jù)集、DFT弛豫和GNN基準(zhǔn)方法，希望找到新的、高效的、低成本催化劑分子。

DeepMind的研究人員還使用GNN來(lái)模擬復(fù)雜粒子系統(tǒng)(例如水或沙子)的動(dòng)力學(xué)過(guò)程。通過(guò)逐步預(yù)測(cè)每個(gè)粒子的相對(duì)運(yùn)動(dòng)，可以合理重建整個(gè)系統(tǒng)的動(dòng)力學(xué)，了解控制運(yùn)動(dòng)的基本規(guī)律。這可用于了解玻璃化轉(zhuǎn)變——固態(tài)理論中最有趣的未決問(wèn)題之一。此外，使用GNN不僅可以模擬過(guò)渡中的動(dòng)力學(xué)，而且可以更好地了解粒子之間如何根據(jù)距離和時(shí)間產(chǎn)生相互影響。

此外，美國(guó)的物理實(shí)驗(yàn)室的Fermilab致力于應(yīng)用GNNs對(duì)CERN大型強(qiáng)子對(duì)撞機(jī)(LHC)的結(jié)果進(jìn)行分析，希望能夠?qū)?shù)百萬(wàn)圖像進(jìn)行處理，發(fā)現(xiàn)并選擇與新粒子相關(guān)的圖像。他們的任務(wù)是將GNN部署在FPGA，并將其與數(shù)據(jù)采集器集成在一起，這樣可以在全球范圍內(nèi)遠(yuǎn)程運(yùn)行GNN。有關(guān)GNNs在粒子物理學(xué)中的更多應(yīng)用，參見(jiàn)以下綜述文章。

藥物研發(fā)

制藥行業(yè)競(jìng)爭(zhēng)激烈，頭部公司每年都會(huì)投入數(shù)十億美元來(lái)開(kāi)研發(fā)新藥。在生物學(xué)中，圖可以表示不同尺度上的相互作用，如在分子水平，圖的邊緣可以是分子中原子之間的鍵或蛋白質(zhì)中氨基酸殘基之間的相互作用;在更大的尺度上，圖可以表示更復(fù)雜的結(jié)構(gòu)(例如蛋白質(zhì)，mRNA或代謝物)之間的相互作用。不同層次尺度中的圖可用于目標(biāo)識(shí)別，分子特性預(yù)測(cè)，高通量篩選，新型藥物設(shè)計(jì)，蛋白質(zhì)工程和藥物再利用等。

麻省理工學(xué)院的研究人員及其合作者在Cell(2020)上發(fā)表的文章表明，GNN有助于藥物研發(fā)。他們訓(xùn)練了名為Chemprop的深層GNN模型來(lái)預(yù)測(cè)分子是否具有抗生素特性，即對(duì)大腸桿菌的生長(zhǎng)抑制作用。在使用FDA批準(zhǔn)的藥物庫(kù)中的約2500個(gè)分子對(duì)其進(jìn)行訓(xùn)練后，Chemprop被應(yīng)用于更大的數(shù)據(jù)集，該數(shù)據(jù)集為包含Halicin分子的Drug Repurposing Hub，并根據(jù)《2001：太空漫游》電影中的HAL9000對(duì)其重命名。

需要說(shuō)明的是，由于Halicin分子結(jié)構(gòu)與已知的抗生素相差很大，因此先前的工作僅對(duì)該分子進(jìn)行研究。但是，體內(nèi)和體外臨床實(shí)驗(yàn)表明，Halicin是一種廣譜抗生素。相比NN模型進(jìn)行的廣泛基準(zhǔn)測(cè)試，應(yīng)用GNN發(fā)現(xiàn)Halicin更加顯示了GNN強(qiáng)大的學(xué)習(xí)表征能力。除此之外，Chemprop架構(gòu)也值得關(guān)注：不同于多數(shù)GNN模型，Chemprop有5層和1600隱藏層維數(shù)，遠(yuǎn)超其他GNN參數(shù)。以上介紹不過(guò)是GNN在新藥發(fā)現(xiàn)中的冰山一角，想要了解更多信息，請(qǐng)查閱該綜述和博客。

致謝

感謝Michael Bronstein，PetarVeličković，Andreas Loukas，Chaitanya Joshi，Vladimir Ivashkin，Boris Knyazev等人的反饋與建議。

本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。