11 月 16 日消息，業(yè)內(nèi)領(lǐng)先的科研機(jī)構(gòu)、美國(guó)國(guó)家超級(jí)計(jì)算中心和諸多 AI 領(lǐng)域龍頭公司，近日聯(lián)合組建了萬(wàn)億參數(shù)聯(lián)盟（Trillion Parameter Consortium，簡(jiǎn)稱 TPC）。

由 DALL-E 3 生成

IT之家從報(bào)道中獲悉，TPC 聯(lián)盟由來(lái)自全球?qū)嶒?yàn)室、科研機(jī)構(gòu)、學(xué)術(shù)界和工業(yè)界的科學(xué)家組成，目標(biāo)是共同推進(jìn)用于科學(xué)發(fā)現(xiàn)的 AI 模型，特別關(guān)注一萬(wàn)億或更多參數(shù)的巨型模型。

TPC 聯(lián)盟目前已經(jīng)正在開(kāi)發(fā)可擴(kuò)展模型架構(gòu)和訓(xùn)練策略，組織和整理用于模型訓(xùn)練的科學(xué)數(shù)據(jù)，為當(dāng)前和未來(lái)的百萬(wàn)兆次級(jí)計(jì)算平臺(tái)優(yōu)化 AI 庫(kù)。

TPC 旨在創(chuàng)建一個(gè)開(kāi)放的研究人員社區(qū)，為科學(xué)和工程問(wèn)題開(kāi)發(fā)大規(guī)模生成式 AI 模型，特別是，將啟動(dòng)聯(lián)合項(xiàng)目，以避免重復(fù)工作并共享方法、途徑、工具、知識(shí)和工作流程。通過(guò)這種方式，該聯(lián)盟希望最大限度地發(fā)揮這些項(xiàng)目對(duì)更廣泛的人工智能和科學(xué)界的影響。

TPC 還旨在創(chuàng)建一個(gè)由資源、數(shù)據(jù)和專業(yè)知識(shí)組成的全球網(wǎng)絡(luò)。自成立以來(lái)，該聯(lián)盟已經(jīng)建立了許多工作組，以解決構(gòu)建大規(guī)模人工智能模型的復(fù)雜性。

培訓(xùn)所需的百萬(wàn)兆次級(jí)計(jì)算資源將由美國(guó)能源部 （DOE） 的幾個(gè)國(guó)家實(shí)驗(yàn)室以及日本、歐洲和其他國(guó)家 / 地區(qū)的幾個(gè) TPC 創(chuàng)始合作伙伴提供。即使有這些資源，培訓(xùn)也需要幾個(gè)月的時(shí)間。

美國(guó)能源部阿貢國(guó)家實(shí)驗(yàn)室計(jì)算、環(huán)境和生命科學(xué)副主任、芝加哥大學(xué)計(jì)算機(jī)科學(xué)教授里克?史蒂文斯（Rick Stevens）說(shuō)：“在我們的實(shí)驗(yàn)室和世界各地越來(lái)越多的合作機(jī)構(gòu)中，團(tuán)隊(duì)開(kāi)始開(kāi)發(fā)用于科學(xué)用途的前沿人工智能模型，并正在準(zhǔn)備大量以前未開(kāi)發(fā)的科學(xué)數(shù)據(jù)進(jìn)行訓(xùn)練。