本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

如何高效訓(xùn)練大規(guī)模數(shù)據(jù)，一直是機(jī)器學(xué)習(xí)系統(tǒng)面臨的重要挑戰(zhàn)。

當(dāng)下互聯(lián)網(wǎng)時(shí)代，數(shù)十億用戶每天生產(chǎn)著百億級(jí)規(guī)模的數(shù)據(jù)。作為AI煉丹的底層燃料，這些海量數(shù)據(jù)至關(guān)重要。然而，由于訓(xùn)練數(shù)據(jù)和模型規(guī)模的增大，機(jī)器之間的通信成本越高，機(jī)器學(xué)習(xí)系統(tǒng)經(jīng)常會(huì)出現(xiàn)高延遲、低負(fù)載的現(xiàn)象。

2004年，谷歌首次提出并行算法 Mapreduce，通過將大規(guī)模數(shù)據(jù)分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)，實(shí)現(xiàn)了1TB以上的運(yùn)算量。之后，AI科學(xué)家李沐又提出異步可擴(kuò)展的Parameter Server算法，基本上解決了大規(guī)模數(shù)據(jù)的分布式訓(xùn)練問題。

然而，近年來以  BERT 為代表預(yù)訓(xùn)練模型，其體積規(guī)模不斷突破極限。動(dòng)輒上百萬、甚至上億級(jí)參數(shù)量的超大模型，讓傳統(tǒng)分布式機(jī)器學(xué)習(xí)系統(tǒng)越來越難以高效運(yùn)轉(zhuǎn)。基于此，業(yè)內(nèi)普遍認(rèn)為，去中心化（Decentralized ）的分布式訓(xùn)練方法將成為下一個(gè)“最優(yōu)解”。

陸昱成向AI科技評(píng)論表示，隨著機(jī)器學(xué)習(xí)的應(yīng)用越來越多樣化，中心化分布式系統(tǒng)的局限性也會(huì)越來越明顯，比如“中心節(jié)點(diǎn)負(fù)載過大”，“容錯(cuò)性差”，“數(shù)據(jù)安全”等問題。如果設(shè)計(jì)好節(jié)點(diǎn)之間的協(xié)議，去中心化算法將有助于大幅提升系統(tǒng)的魯棒性。

陸昱成是康奈爾大學(xué)計(jì)算機(jī)系在讀博士，主要研究大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng)，側(cè)重于隨機(jī)和并行算法。近日，他發(fā)表的一篇名為《Optimal Complexity in Decentralized Training》的研究論文獲得了ICML 2021杰出論文榮譽(yù)提名獎(jiǎng)。

在這篇論文中，他主要研究了去中心化算法的理論極限，通過對(duì)D-PSGD（羅切斯特大學(xué)Ji Liu團(tuán)隊(duì)提出）和SGP（Facebook AI Lab提出）等經(jīng)典算法的系統(tǒng)性分析，推導(dǎo)出了隨機(jī)非凸環(huán)境下迭代復(fù)雜度的最優(yōu)下界，并進(jìn)一步提出DeTAG算法證明了該理論下界是可實(shí)現(xiàn)的。ICML組委會(huì)一致認(rèn)為，這項(xiàng)研究成果推動(dòng)了分布式機(jī)器學(xué)習(xí)系統(tǒng)在理論層面的發(fā)展。

1

去中心化：機(jī)器學(xué)習(xí)系統(tǒng)的最優(yōu)解

“雖不及熱門領(lǐng)域諸如NLP等備受媒體追捧，但在‘煉大模型’這股浪潮的驅(qū)動(dòng)下，去中心化已經(jīng)成為機(jī)器學(xué)習(xí)系統(tǒng)領(lǐng)域的熱門研究方向”。陸昱成表示。

去中心化并不是一個(gè)全新的概念，它在金融、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算等領(lǐng)域早已有了廣泛的應(yīng)用。只是最近五年來才逐漸部署到人工智能領(lǐng)域。例如，應(yīng)用于金融服務(wù)的區(qū)塊鏈技術(shù)，采用的是去中心化的理念；用于優(yōu)化計(jì)算機(jī)網(wǎng)絡(luò)負(fù)載和容量的點(diǎn)對(duì)點(diǎn)拓?fù)浣Y(jié)構(gòu)，依靠的也是去中心化的思想。

在機(jī)器學(xué)習(xí)系統(tǒng)中，中心化是指由一個(gè)節(jié)點(diǎn)管理所有計(jì)算機(jī)機(jī)器之間的數(shù)據(jù)交互與同步。而去中心化，則強(qiáng)調(diào)所有節(jié)點(diǎn)都是平等的，它不圍繞任何一個(gè)節(jié)點(diǎn)做中心化的設(shè)計(jì)。實(shí)驗(yàn)證明，不同節(jié)點(diǎn)之間的信息交互也可以達(dá)到與集中式交互類似的效果，甚至訓(xùn)練出無損的全局模型。

谷歌于2017年推出的FedAvg算法，是一種典型的去中心化聯(lián)邦學(xué)習(xí)架構(gòu)。它以中心節(jié)點(diǎn)為server（服務(wù)器），各分支節(jié)點(diǎn)為本地的client（設(shè)備）。其運(yùn)算模式是在各分支節(jié)點(diǎn)分別利用本地?cái)?shù)據(jù)訓(xùn)練模型，再將訓(xùn)練好的模型匯合到中心節(jié)點(diǎn)，獲得一個(gè)更好的全局模型。

在本地訓(xùn)練移動(dòng)端數(shù)據(jù)，而無需用戶向外發(fā)送信息，是數(shù)據(jù)層去中心化的一個(gè)典型應(yīng)用。分布式機(jī)器學(xué)習(xí)系統(tǒng)是可以看做一個(gè)棧式結(jié)構(gòu)，包括數(shù)據(jù)、應(yīng)用、協(xié)議、網(wǎng)絡(luò)拓?fù)涞炔煌膶印?/p>

這些層通過不同的去中心化設(shè)計(jì)，可以適應(yīng)不同的應(yīng)用場景。D-PSGD是擴(kuò)展隨機(jī)梯度下降（SGD）最基本算法之一，也是應(yīng)用于協(xié)議層的一種典型去中心化算法，可實(shí)現(xiàn)線性并行加速。

雖然學(xué)術(shù)界已有一些成熟的去中心化算法，但落地工業(yè)級(jí)別的去中心化系統(tǒng)仍處于初步階段。傳統(tǒng)的機(jī)器學(xué)習(xí)框架諸如Facebook的Pytorch，谷歌的TensorFlow，亞馬遜的MXNet仍采用的是Parameter Server或AllReduce等中心化解決方案；但一些初創(chuàng)公司如Openmined等則已將去中心化作為其機(jī)器學(xué)習(xí)系統(tǒng)的一部分。

陸昱成認(rèn)為，在接下來的幾年內(nèi)，不同層的去中心化設(shè)計(jì)會(huì)成為擴(kuò)展機(jī)器學(xué)習(xí)/深度學(xué)習(xí)在不同場景下應(yīng)用的關(guān)鍵因素。其原因在于三點(diǎn)：

1. 在數(shù)據(jù)中心和集群式的模型訓(xùn)練中，去中心化的設(shè)計(jì)提供了良好的容錯(cuò)性和魯棒性，并減少了不同機(jī)器間的帶寬需求；

2. 去中心化可以為更多場景下的AI落地提供可能，比如近年來不斷發(fā)展的終端設(shè)備學(xué)習(xí)就是應(yīng)用層去中心化的典型設(shè)計(jì)；

3、去中心化在分布式系統(tǒng)領(lǐng)域有大量關(guān)于協(xié)議層和安全性的研究，為其在機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展奠定了理論基礎(chǔ)。

從現(xiàn)有研究成果來看，陸昱成認(rèn)為，類似于D-PSGD的眾多分布式算法在收斂速度方面仍存在理論差距，尤其是在隨機(jī)非凸環(huán)境下，其迭代復(fù)雜度的極限仍是一個(gè)未知數(shù)。而關(guān)于這一問題的探討，讓他獲得了ICML 2021杰出論文提名獎(jiǎng)，并為機(jī)器學(xué)習(xí)系統(tǒng)的理論發(fā)展做出了貢獻(xiàn)。

2

理論下界：迭代復(fù)雜度的極限

論文地址：https://arxiv.org/abs/2006.08085

在這篇論文中，陸昱成團(tuán)隊(duì)提供了去中心化分布式系統(tǒng)的一個(gè)最優(yōu)的理論下界，并通過DeTAG和 DeFacto兩個(gè)算法證明了該下界是可實(shí)現(xiàn)的。

通信復(fù)雜度和網(wǎng)絡(luò)延遲是衡量機(jī)器學(xué)習(xí)模型在訓(xùn)練過程是否高效的重要指標(biāo)，二者展示了去中心化系統(tǒng)在運(yùn)算過程中，每個(gè)節(jié)點(diǎn)的迭代次數(shù)和收斂速度，而下界則代表了這種迭代復(fù)雜度的理論極限，即在處理任意一個(gè)任務(wù)時(shí)，去中心化系統(tǒng)所需要最低迭代次數(shù)。

在陸昱成看來，任何一個(gè)最優(yōu)算法的設(shè)計(jì)都需要理論下界的指導(dǎo)。“如果沒有下界的指導(dǎo)，我們其實(shí)并不知道現(xiàn)有算法的提升空間在哪里。只有明確一個(gè)極限，不斷趨近于極限，才能設(shè)計(jì)出接近最優(yōu)的算法”。也因如此，這篇研究論文更注重機(jī)器學(xué)習(xí)系統(tǒng)優(yōu)化的理論創(chuàng)新。

DeTAG算法是包含應(yīng)用層、協(xié)議層、網(wǎng)絡(luò)拓?fù)鋵拥臈Ｊ浇Y(jié)構(gòu)。陸昱成介紹稱，他們?cè)谒惴ㄔO(shè)計(jì)過程中使用了一些去中心化的常見技巧，比如梯度追蹤，階段式通信和加速化的Gossip協(xié)議。

基于這些技巧，他們最大貢獻(xiàn)就是發(fā)現(xiàn)了一個(gè)最優(yōu)的理論下界，并且提出了一個(gè)可以分析去中心化算法復(fù)雜度的理論框架。

實(shí)驗(yàn)證明，DeTAG算法只需一個(gè)對(duì)數(shù)間隔即可達(dá)到理論下限。在論文中，陸昱成團(tuán)隊(duì)將DeTAG與D-PSGD、D2、DSGT以及DeTAG等其他分布式算法在圖像分類任務(wù)上進(jìn)行了比較，結(jié)果表明，DeTAG比基線算法具有更快的收斂速度，尤其是在異質(zhì)數(shù)據(jù)和稀疏網(wǎng)絡(luò)中。

1、在異質(zhì)數(shù)據(jù)上的收斂性

在許多應(yīng)用場景中，節(jié)點(diǎn)間數(shù)據(jù)往往并不服從同一分布。在實(shí)驗(yàn)中，當(dāng)不同節(jié)點(diǎn)間數(shù)據(jù)完全同質(zhì)時(shí)，除了D-PSGD的收斂速度略慢外，其他算法幾乎相差不大；當(dāng)不同節(jié)點(diǎn)數(shù)據(jù)的同質(zhì)程度為50%-25%時(shí)，DeTAG算法的收斂速度最快，而D-PSGD即使微調(diào)的超參數(shù)也無法收斂；當(dāng)數(shù)據(jù)的同質(zhì)程度為零時(shí)，DSGT獲得了比D2更穩(wěn)定的性能。

圖注：0%、25%、50%、100%代表不同的同質(zhì)程度

2、在不同稀疏性通信網(wǎng)絡(luò)上的收斂性

與基線相比，在不同的控制參數(shù)（κ=1、0.1、0.05、0.01）下，DeTAG具有更快的收斂速度；此外，當(dāng)網(wǎng)絡(luò)變得稀疏，即參數(shù)K減小時(shí)，DeTAG具有更穩(wěn)健的收斂性。

陸昱成表示，DeTAG算法通過優(yōu)化不同節(jié)點(diǎn)之心的通信過程，在一定程度上實(shí)現(xiàn)了負(fù)載均衡，提高了系統(tǒng)的容錯(cuò)率。同時(shí)也驗(yàn)證了去中心化算法在優(yōu)化分布式機(jī)器學(xué)習(xí)系統(tǒng)方面的潛力——機(jī)器學(xué)習(xí)的范圍不再局限于云端，或者大規(guī)模集群，而是可以從更廣的范圍上擬合更多的終端數(shù)據(jù)。

3

ICML獲獎(jiǎng)?wù)?/span>

[[416203]]

陸昱成是康奈爾大學(xué)計(jì)算機(jī)科學(xué)系三年級(jí)博士生，師從 Chris De Sa.教授。主要研究如何優(yōu)化分布式機(jī)器學(xué)習(xí)系統(tǒng)，集中于系統(tǒng)性能，通信壓縮、去中心化、采樣算法等方向。

在博士期間獲得頂級(jí)學(xué)術(shù)會(huì)議獎(jiǎng)項(xiàng)的學(xué)生并不多見，尤其是ICML、CVPR、ACL等主流會(huì)議。作為機(jī)器學(xué)習(xí)領(lǐng)域的最熱門的頂會(huì)，ICML 2021共收到有效投稿5513篇，接受1184篇，接受率僅為21.48%。

這次大會(huì)頒發(fā)了一篇杰出論文獎(jiǎng)，四篇杰出論文榮譽(yù)提名獎(jiǎng)，其中陸昱成（第一作者）是唯一一位獲獎(jiǎng)的華人博士生。另外一位獲獎(jiǎng)的華人學(xué)者是Facebook AI 科學(xué)家田淵棟。

陸昱成本科就讀于上海交通大學(xué)，后來前往康奈爾大學(xué)攻讀博士。讀博后，他的研究方向開始聚焦于去中心化算法，并接觸一些更有挑戰(zhàn)性和影響力的課題。在微軟和AWS AI Lab 實(shí)習(xí)期間，他從采樣和通信壓縮的角度探討了如何優(yōu)化分布式訓(xùn)練算法。

通常來講，博士階段的研究更適合從小眾而具體的選題開始做起，以便培養(yǎng)科研信心，循序漸進(jìn)為之后的研究積累經(jīng)驗(yàn)。在談到為何一開始便選擇熱門的去中心化算法時(shí)，陸昱成表示，從個(gè)人角度來講，第一篇論文從簡單易出成果的研究入手，建立自信心是非常必要的，但同時(shí)我們也應(yīng)該有意識(shí)地為自己的研究逐級(jí)增加難度，擴(kuò)大問題的主線。

另外，不同于計(jì)算機(jī)視覺、自然語言處理等研究更偏向工業(yè)界，優(yōu)化算法領(lǐng)域的工作通常更注重基礎(chǔ)理論。工業(yè)界和學(xué)術(shù)界要的研究需求是不一樣的。除了理論層面外，也可以從非算法角度可以挖掘一些選題。