近日，字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)與香港大學(xué)聯(lián)合提出了ByteCheckpoint大模型Checkpointing系統(tǒng)，旨在提升大模型訓(xùn)練效率、減少訓(xùn)練進(jìn)度損失。

隨著訓(xùn)練規(guī)模與模型大小的日益增長，克服軟硬件故障，提高訓(xùn)練效率成為大模型迭代的重要影響要素。近期，Meta官方報(bào)告中披露的一組大模型萬卡集群訓(xùn)練故障率數(shù)據(jù)引起業(yè)內(nèi)廣泛關(guān)注，數(shù)據(jù)顯示：在 16384 塊 H100 80GB 訓(xùn)練集群上進(jìn)行 Llama3 405B 訓(xùn)練的故障率——短短 54 天，發(fā)生 419 次中斷，平均每三小時(shí)崩潰一次。該報(bào)告同時(shí)提到，為了對(duì)抗高故障率，需要在訓(xùn)練過程中頻繁地進(jìn)行 Checkpoint ，保存訓(xùn)練中的模型、優(yōu)化器、數(shù)據(jù)讀取器狀態(tài)，減少訓(xùn)練進(jìn)度損失。可以說Checkpoint 已成為訓(xùn)練提效關(guān)鍵。

然而，現(xiàn)有的 Checkpoint 相關(guān)技術(shù)存在諸多問題，如系統(tǒng)設(shè)計(jì)缺陷導(dǎo)致額外的 I/O 開銷增加、不同訓(xùn)練框架的 Checkpoint 模塊相互割裂等。

豆包大模型團(tuán)隊(duì)和香港大學(xué)此次聯(lián)合提出的ByteCheckpoint能有效解決上述問題。ByteCheckpoint為PyTorch 原生，能兼容多個(gè)訓(xùn)練框架，支持Checkpoint的高效讀寫和自動(dòng)重新切分。與基線方法相比，ByteCheckpoint 在 Checkpoint 保存上性能提升高達(dá) 529.22 倍，在加載上，性能提升高達(dá) 3.51 倍。極簡的用戶接口和 Checkpoint 自動(dòng)重新切分功能，顯著降低了用戶上手和使用成本，提高了系統(tǒng)的易用性。目前論文成果已公開：

·ByteCheckpoint: A Unified Checkpointing System for LLM Development

·論文鏈接：https://team.doubao.com/zh/publication/bytecheckpoint-a-unified-checkpointing-system-for-llm-development?view_from=research

字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)成立于2023年，致力于開發(fā)業(yè)界最先進(jìn)的AI大模型技術(shù)，成為世界一流的研究團(tuán)隊(duì)，為科技和社會(huì)發(fā)展作出貢獻(xiàn)。目前，豆包大模型團(tuán)隊(duì)正在持續(xù)吸引優(yōu)秀人才加入，希望與具備創(chuàng)新精神、責(zé)任心的技術(shù)人才一起，推進(jìn)大模型訓(xùn)練提效工作取得更多進(jìn)展和成果。

據(jù)了解，豆包大模型于2024年5月正式發(fā)布，現(xiàn)已通過字節(jié)跳動(dòng)旗下云服務(wù)平臺(tái)火山引擎面向企業(yè)提供服務(wù)。截至7月，豆包大模型日均Tokens使用量已超5000億，外部企業(yè)客戶日均Tokens使用量較5月15日模型發(fā)布時(shí)期增長22倍。基于豆包大模型打造的同名AI智能助手豆包，在各大應(yīng)用商店AI類產(chǎn)品的下載量排名第一。