刷新世界記錄！40B模型+20萬億token，散戶組團挑戰算力霸權
互聯網上最大規模的預訓練來了！
Nous Research宣布正式推出Psyche網絡（Psyche Network），通過去中心化方式革新人工智能（AI）訓練。
Psyche網絡利用區塊鏈技術，匯聚全球計算資源，成功啟動了40B參數大語言模型Consilience的預訓練任務，總計20萬億token，創下了迄今為止互聯網上最大規模的預訓練紀錄。
大語言模型Consilience采用DeepSeek V3的多頭潛在注意力（MLA）架構，相較于Llama使用的GQA架構更具表達力，同時通過優化QKV投影矩陣減少計算開銷。
三種注意力的對比
Psyche利用全球閑置的計算資源（如4090、A100和H100等消費級GPU），大幅降低訓練成本。
通過并行實驗，Psyche鼓勵開源社區提出新的模型架構和訓練方法，未來可能催生更多創新。
Psyche網絡技術原理圖，核心在于DisTrO優化器與Solana區塊鏈
過去，人們總覺得「AI模型的去中心化訓練」不過是一種幻想，尤其在那些超越了愛好者規模的語言模型面前更是如此。
但幾項關鍵技術突破——尤其是并行化和強化學習——正在逐漸打破這種局限，讓除了OpenAI、Anthropic這類大公司之外的小型團隊也開始進入這個賽道。
現在看來，聰明的算法可以彌補基礎設施的不足，而像Nous Research這樣的去中心化參與者正希望抓住這個機會。
砸碎算力墻
近年來，AI模型的訓練逐漸被大型科技公司壟斷。
訓練一個前沿模型需要數千個高性能GPU和超高帶寬的集群，這使得普通研究者或小型團隊幾乎無法參與。
這種集中化趨勢不僅限制了創新，還可能導致少數科技去投壟斷甚至控制AI模型。
集中式AI，可能會少數科技巨頭「比你更了解你自己」。
Hermes系列中規模最大的模型——Hermes 3 405B，是在基礎的Llama 3.1模型上進行微調完成的。
整個訓練過程動用了128塊H100 GPU，耗時約16小時（總計約2,086GPU小時）。
從成本上看其實并不離譜——目前租用8塊H100的計算節點每小時大約在16到24美元之間，因此一次完整訓練的開銷大約在5,000美元左右。
圖片
作為Nous Research Hermes系列的最新迭代，Hermes 3 405B自Llama-3.1 405B的全參數微調模型，
但如果我們想更進一步，想得更大呢？
圖片
畢竟，Hermes目前還是依賴Llama作為基礎模型。
如果我們不再依賴已有的模型，而是從零開始構建自己的基礎模型，那我們就需要更龐大的“船”了。
要以更大規模、低成本地實現類似的訓練成果，確實面臨不少挑戰，尤其是當訓練從集中化的GPU集群轉向基于互聯網的去中心化網絡時。
Nous Research提出了Psyche網絡的解決方案：通過去中心化的方式，讓全球的計算資源參與AI模型訓練，降低進入門檻，推動AI發展的民主化。
圖片
Nous Research的Psyche網絡成功實現了去中心化的AI訓練，開創了一個全新的模式。
Psyche不僅降低了AI開發的門檻，還推動了全球協作和創新。
Consilience模型的預訓練只是起點，未來Psyche網絡有望成為AI民主化的重要基石，為開源社區和小型團隊提供與科技巨頭抗衡的機會。
用DisTrO解決帶寬瓶頸
在去中心化訓練中，網絡帶寬一直是最令人擔憂的問題之一。
在傳統的數據中心里，GPU之間通過極高帶寬的連接（如NVLink或InfiniBand）相連，帶寬可達每秒幾百Gb（千兆位）。
而相比之下，互聯網上的志愿者節點，往往只有幾十甚至幾百Mb（兆位）每秒的帶寬。
質疑者認為，這種高達100倍甚至1,000倍的帶寬差距，會讓跨互聯網的AI訓練變得無比緩慢、幾乎不可能。
畢竟，傳統的訓練方式需要GPU之間持續地交換更新信息，而如果試圖用普通家用網絡來完成這些通信，很可能會陷入「災難級」的訓練體驗。
在此前對DeMo（Decoupled Momentum Optimization）的研究基礎上，Nous推出的DisTrO技術，能夠讓所有訓練節點保持高度同步，同時將所需帶寬降低1,000到10,000倍。
圖片
2024年12月，Nous與多位合作伙伴一起，在封閉測試網中，訓練了一個150億參數的基礎模型，并成功驗證了多項理論設想：
- 首次將DisTrO優化器系列大規模應用于訓練任務
- 驗證了節點中途掉線和新增節點時的容錯能力
- 證明了增加訓練節點確實能提升整體訓練速度
這次實驗標志著分布式、去中心化訓練邁出了從理論走向現實的關鍵一步。
區塊鏈+AI
在硅谷的一些圈子里，「加密」這個詞幾乎成了貶義詞，而Nous一直努力保持與AI開發者之間的開放交流橋梁不被切斷。
也正因如此，他們這次將Psyche搭建在區塊鏈上，是一個值得關注的重要轉變。
Psyche將成為Nous用于預訓練、微調和部署下一代模型的平臺。
通過將技術棧遷移到Solana區塊鏈，Nous希望釋放區塊鏈的以下三大優勢：
- 無需許可：任何人都可以貢獻計算資源
- 彈性與高可用性：不再依賴中心化基礎設施
- 激勵機制：協調并獎勵為網絡作出貢獻的參與者
將這一協議向整個市場開放，意味著任何人都能擁有其中的一部分。而其潛在的擴展性之大，顯然已經讓不少極客興奮不已。
計劃概覽
Nous的初期目標是先上線一個封閉測試網（Phase 0），驗證是否能在Solana上運行一個更大規模、分布式、具備容錯能力的DisTrO系統。后續階段會逐步引入更高級的功能。
在Phase 0階段，貢獻者可以攜帶自己的GPU加入進來（明確提到支持4090、A100和H100等型號），并開始獲得獎勵。此階段會對參與者進行篩選，以防止惡意行為者加入。
圖片
一旦系統穩定運行，權限將逐步開放，允許不同類型的計算資源（無論是專業的還是消費級的）自由接入網絡，協助訓練Llama、Diffusion等不同類型的模型架構。
圖片
強化學習后訓練階段
強化學習（Reinforcement Learning，RL）不依賴于預先準備好的數據集，而是通過模型與環境直接互動來學習。
每個節點如果做出有助于模型進化的行為，就會獲得正反饋，反之則獲得負反饋。
由于這些節點可以異步運行，分布式訓練在強化學習框架下反而運行良好。
每個節點可以獨立行動，收集經驗，并定期與其他節點分享進展。
這極大緩解了傳統訓練中常見的「同步難題」，特別是在硬件能力和網絡延遲差異大的情況下。
通過RL，Psyche上的預訓練模型可以進一步學會推理能力和領域知識。
而每個Psyche節點在訓練過程中的表現都將影響它的獎勵：計算能力更強或使用了更先進訓練方法的節點，可能會獲得更多代幣激勵。
圖片
區塊鏈：回歸初心
在常常被斥為「過度炒作又頻頻令人失望」的區塊鏈生態中，能看到真正的創新成果，確實令人欣慰——簡直讓人「冷漠的靈魂也重新燃起了熱情」。
這一切，真的令人感到振奮。
Nous并不是一開始就擁抱區塊鏈技術的，相反，他們幾乎是被「拖著、踢著、喊著」走上了這條路——
但原因很簡單：區塊鏈確實是解決他們問題最合適的工具。
他們需要一種方式，不論對方來自哪里，都能吸引計算資源與人才并進行公平支付；區塊鏈，在這一點上表現得無比出色。
他們需要一種手段，能夠協調并擴展大規模訓練任務；而協調與擴展，正是區塊鏈技術的「第二天性」。
他們還需要一種不受停電、封禁、宕機等影響的托管機制，能讓項目「打不死」、無法被關閉；在這方面，區塊鏈（這次不再是諷刺）也的確提供了最可靠的保障。
而最值得欣慰的是：這一次，人們選擇區塊鏈，不是出于投機炒作，而是出于對實際問題的認真思考與真實需求的回應。
如果Psyche成功了，它不僅將證明去中心化訓練是切實可行的，更是回歸初心：為取代的集中化計算，提供了強有力的工具。
參考資料：
https://x.com/NousResearch/status/1922744483571171605
