如果AI系統能自己設計出更強大的AI，智能爆炸可能很快就要到來了！而人類，會被AI迅速甩在后面。

最近，硅谷投資人、EverFi CEO兼創始人Tom Davidson等人發表了一篇長文硬核博客，詳細討論了智能爆炸（Intelligence explosion, IE）的類型以及對應的發生概率。

這篇博文里，有許多非常炸裂的設想，但仔細一想，仿佛離變成現實并不遠了。

比如，AI會改進算法和軟件，提高AI芯片的質量，同時提高芯片的產量。

這些過程，會形成幾種循環，周期分別是3個月、數月，以及數年。相對應的，就是軟件大爆炸、AI技術大爆炸，和全棧大爆炸！

當反饋循環首次啟動，AI進步就有有一個初始的加速。

然后，作者通過計算給出了驚人的結論：在到達AI到達物理極限之前，這些反饋循環最終將導致有效計算能力增加13到33個數量級！

最終，爆炸性的結論來了——

AI在達到有效的物理極限之前，能進步到什么程度？

答案是，軟件效率可能提升大概13個數量級，也就是1000億倍；芯片技術可能提升100倍左右；芯片制造規模可能擴大1萬倍左右！

所以，哪個國家會率先實現全棧大爆炸？答案是——很大可能是中國。

AI給自己設計軟件，開啟進化之路

今天看起來像科幻的課題，可能會在十年內成為現實。

如何理解即將到來的變化？

通向繁榮未來的有哪些路徑？

Forethough是研究型非營利組織，專注于如何應對過渡到擁有超智能AI系統的世界。

該組織認為AI系統很快可能比人類更具能力，迅速推動技術發展。

一旦AI系統能自己設計、打造出更強大的AI系統，AI的發展速度就會加快，我們可能會見證一場智能爆炸（IE）。

AI的能力會飛速提升，遠超人類水平。

經典的智能爆炸，涉及一個反饋循環：AI設計出更好的軟件，這些軟件助力打造出更強大的AI，又能進一步改進軟件，形成持續的良性循環。

3種反饋，3種智能爆炸

AI開發過程中，有許多環節都能產生類似的正反饋，主要有以下三種：

• 軟件反饋循環：AI開發出更好的軟件，包括訓練算法、訓練后的增強、利用運行時計算的方法（如o3）、合成數據以及任何非計算改進。
• 芯片技術反饋循環：AI設計更好的芯片，包括NVIDIA、TSMC、ASML等半導體公司進行的前沿研究和設計工作。
• 芯片生產反饋循環：AI和機器人生產更多芯片。

      三種反饋循環

這些循環能引出三種智能爆炸：

一種是僅由軟件優化帶來的軟件智能爆炸；

一種是軟件和芯片技術共同改進引發的AI技術智能爆炸；

還有一種是軟件、芯片技術與芯片生產帶來的全棧智能爆炸。

三次智能爆炸

即使軟件智能爆炸未能實現，或者很快陷入瓶頸，AI技術和全棧智能爆炸仍然是可能的。

智能爆炸一開始可能較為平緩，但后續發展速度極有可能大幅加快。

研究顯示，每個反饋循環都能推動AI的加速進步。

在達到物理極限之前，有效算力有望提升20到30個數量級，使AI能力實現質的飛躍。

一般來說，軟件改進的時間延遲最短，接著是芯片技術改進，芯片制造的時間最長。

這些反饋循環可能推動三種不同類型的智能爆炸（IE）：

• 軟件IE：僅AI驅動的軟件改進，就足以推動AI快速且持續加速發展。
• AI技術IE：需要AI在軟件和芯片技術兩個方面同時改進，但無需在芯片生產環節進行優化。
• 全棧IE：要求在軟件、芯片技術和芯片生產三個方面均有所改進。

如果有效的物理極限還遠，IE的規模就會更大，速度也會更快。

預計在達到極限之前，軟件反饋循環能將有效算力提高大約13個數量級（OOMs），芯片技術循環還能提高6個數量級，芯片生產反饋循環能再提高5個數量級。

若能把太空中太陽的能量都利用起來，還能再提高9個數量級。

如果近期有效算力增加與AI能力提升之間的關系繼續成立，軟件將實現4個「GPT量級」的能力飛躍，即4個GPT-3到GPT-4的提升。

芯片技術方面可再實現約2個「GPT量級」的提升，芯片生產大約有2到5個「GPT量級」的提升。

這些智能爆炸，擁有不同的戰略意義。

比如軟件大爆炸，最有可能出現在美國，因為這些AI芯片和算法的所有者掌握著高度集中的權力。

AI技術爆炸，最有可能出現在美國和半導體供應鏈中的其他國家和地區，比如臺灣省、韓國、日本、荷蘭，而權力會更廣泛地分布在AI算法、AI芯片和半導體供應鏈所有者之間。

而全棧爆炸，更有可能發生在中國和海灣國家等擁有強大工業基礎的國家，這種爆炸也會將權力更廣泛地分布在整個工業基礎中。

三種反饋循環

1965年，數學家I. J. Good提出了智能爆炸的概念：

假設一臺超智能機器被定義為能遠遠超越最聰明人類的機器。由于設計機器屬于智力活動范疇，一臺超智能機器可以設計出更先進的機器，那么無疑會發生一場「智能爆炸」，人類的智力將被遠遠拋在后面。因此，第一臺超智能機器將是人類的最后一項發明。

一旦AI能自主設計和構建更強大的AI系統，就會形成反饋循環。

實際上，AI開發中有許多環節可能產生正反饋循環，其中有三個對IE有推動作用的關鍵反饋循環：

軟件反饋循環：AI對自身算法、數據、訓練后優化和其他軟件技術進行改進。典型例子是完全自動化AI開發實驗室的研究和工作。在這里，AI系統改進算法，這些算法用于開發更好的AI系統，進一步改進算法。

芯片技術反饋循環：AI改進AI芯片的質量。典型例子是NVIDIA、TSMC、ASML等半導體公司研發部門的自動化，能在不增加工廠的情況下，做出運算速度更快、性能更好的芯片。在這些芯片上訓練或推理，AI能力得到提升。

芯片生產反饋循環：AI增加AI芯片的產量。典型例子是機器人完全自動化芯片工廠從建設到運營的全過程，包括開采原材料、運輸、工廠建設和日常運轉。機器人建造更多的工廠、生產更多芯片，用于訓練更強的AI系統，然后設計更好的機器人去建更多的芯片工廠。

反饋循環需要多久

智能爆炸到底能多快發生呢？

智能爆炸不太可能一下子就發生，因為每個反饋循環都有時間延遲。

軟件反饋循環的時間最短，芯片生產反饋循環的時間最長：

• 訓練最先進的AI模型，大約需要3個月，這是軟件反饋循環里主要的時間延遲，不過微調等優化耗時少得多。
• 對于芯片技術反饋循環，將新技術集成到工廠并生產出新芯片，通常需要數月。
• 建設新的芯片制造廠，往往需要數年，這是芯片生產反饋循環所需的。

三種反饋循環，時間延遲用橙色表示

因此，軟件改進的時間最短，其次是芯片技術改進，芯片生產需要的時間最長。

進一步細分三個反饋循環，并將每個細分時間延遲的持續時間可視化

反饋循環的順序

理論上，IE可以由這三個反饋循環任意組合、按任意順序出現。

但實際上，軟件反饋循環很可能最先開始，然后是芯片技術，最后是芯片生產。

軟件是虛擬的，因此可能最先被自動化：

• AI實驗室可以自己生成自動化所需的所有數據。
• AI實驗室直接管自己的工作流程，這就更容易把軟件自動化。
• 和芯片技術、芯片生產反饋循環相比，軟件最初的反饋循環時間更短。

從定義來看，芯片技術也是虛擬的，但可能在軟件之后自動化：

• 芯片技術往往依賴研究人員的專業知識，且這些研究人員不在AI實驗室工作，因此更難獲取訓練數據。
• 芯片技術涉及的任務比軟件更多樣，自動化所有任務需要更長時間。
• 硬件研發實驗必須在現實世界中進行，很難自動判斷任務完成得好不好。

芯片生產涉及半導體供應鏈的各個環節，涉及廣泛的認知與物理任務，因此可能最后被自動化。

機器人技術一直是AI進步相對較慢的領域，而芯片生產需要先進的機器人技術。

首先，他們會優先考慮AI軟件，當軟件的潛力挖掘殆盡后，會將精力轉向芯片設計（比英偉達的硬件設計，無需改裝芯片工廠）。同時，還會想辦法研發更快建造芯片工廠的新技術，減少時間滯后。

三種智能爆炸

要是這些反饋循環足夠強，就會帶來智能爆炸，讓AI能力飛速提升！

有三種可能的類型：

• 軟件IE：只靠軟件反饋循環就能引發，最有可能突然發生。
• AI技術IE：軟件和芯片技術反饋循環共同作用，因為AI在改進軟件和芯片技術時，實現了認知工作自動化，但不需要物理自動化。和軟件相比，這種IE沒那么突然。
• 全棧IE：三個反饋循環一起發力，這種情況最不可能突然發生。

三種智能爆炸類型可能依次出現，也可能僅出現其中一種或兩種，甚至一種都不出現。

三個反饋循環與三次智能爆炸的關聯

智能爆炸呈現這種順序，很大程度上是由于相關反饋循環實現自動化的順序。

即使軟件和芯片技術反饋同時自動化，因為軟件循環的時間延遲更短，軟件IE仍會先于AI技術IE。

軟件智能大爆發

目前，AI技術IE和全棧IE尚未得到充分深入的研究分析。

三種反饋循環的分析

AI的發展，會隨著時間推移加速嗎？

除了時間延遲，還有個因素得考慮，就是這些反饋循環可能不夠強，反饋太弱不足以讓AI發展加速。

反饋循環剛自動啟動時，AI發展會提速。但如果循環不夠強，之后發展速度可能又會降下來。

一開始，是人類推動AI發展（上圖綠色部分）。

接著，改進AI的工作慢慢實現自動化（上圖橙色部分）。

最后，基本都是AI系統自我改進（上圖藍色部分）。

從實際經驗來看，在最后階段，AI發展開始會加速，直到最后趨于平緩。

反饋循環能不能讓發展加速，就看輸入翻倍的時候，輸出能增加多少：

要是輸出增加不止一倍，那發展就會加速，因為下一次輸入翻倍，能利用的輸出比上一次多，所以速度會更快。

研究改進AI軟件和硬件要付出的努力，的確能找到一些實際證據。

分析發現，要是沒有監管這類人為限制，軟件智能爆炸概率大約50%，AI技術智能爆炸大概65%，全棧智能爆炸可能性大概80%。

1. 軟件智能爆炸：很可能會加速，因為軟件反饋循環本身，就可能維持加速發展，可能性大概50%。

在各個AI領域，效率提升很明顯，研究投入翻倍，計算效率提升不止一倍（Epoch估計在多個領域，投入翻倍，輸出能增加0.8到3.5倍）。

考慮了效率之外的其他發展因素，再做些調整，加速發展好像挺合理。

而Davidson預計，每增加1倍的認知投入，輸出能增加1.2倍，范圍在0.4到3.6倍之間）

2. AI技術智能爆炸：加速的可能性也很大。只要芯片技術反饋循環，就足以維持加速發展，可能性大概65%。

如此看來，軟件和芯片技術反饋循環加起來，很可能推動加速發展，可能性大概75%。

從歷史數據看，硬件研發投入翻倍，每美元能換來的FLOP大概提升5倍。

要是只算認知投入，這個數字會降低，要是接近物理極限，也會降低，但投入翻倍，輸出增加一倍以上還是有可能的。

3. 全棧智能爆炸：極有可能加速。

芯片制造反饋循環本身，很可能維持加速發展，可能性大概80%。

和其他反饋循環一起，全棧智能爆炸加速的可能性大概90%。

要是能造出建造物理資本用的機器人和基礎設施，投入翻倍，產出基本也能翻倍。

因為不考慮資源限制，機器人多一倍，造出來的東西也能多一倍。

要是機器人還能自我改進，那投入翻倍，產出增加肯定不止一倍。

當然，要是稀缺自然資源開采越來越難，投入翻倍，產出增加可能不到一倍。

但從歷史經驗看，原材料稀缺的時候，創新一般能彌補這個問題。

不過要注意，把監管等人為限制考慮進去，總體加速發展的可能性會降低。

達到物理極限之前，AI能發展到何種程度？

除了發展速度會不會加快，還要考慮每個反饋循環在接近物理極限前，AI能有多大發展。

要是物理上限很高，那AI總體發展空間就大，而且有更多時間加速，發展的最快速度也就能更快。

現在，有效訓練計算大概每3個月翻倍一次。

而理論上，發展最快速度能達到近期速度的100倍，差不多是「有效訓練算力」每天翻倍。

但實際上，可能因為技術限制或者人為因素，到不了這么快，也可能還沒加速到速度上限，就達到物理極限了。

總的來說，很難準確估計最快速度，但至少看起來會非常快。

如果這些極限更高，那么不僅可以實現更多的總進展，且進展的最大速度（包括加速度）將更快

可以從有效計算的角度，來衡量離物理極限有多遠。

在達到物理極限前，估計軟件效率可能提升大概13個數量級，也就是10000億倍；芯片技術可能提升100倍左右；芯片制造規模可能擴大1萬倍左右。

1. 軟件：效率可能提升大概13個數量級，但不確定性很大。

要是一開始用1e29 FLOP訓練頂級AI，比人類學習（大概1e24 FLOP）效率低5個數量級左右。

和人腦相比，軟件估計還有大概8個數量級的提升空間，不確定性特別大（這里只算訓練效率，沒算軟件其他方面的發展）。

2. 芯片技術：在現在的技術模式下，可能提升2個數量級左右。

要是技術接近蘭道爾極限（不可逆計算在能量效率上的物理限制），總共可能提升6個數量級左右。

要是用可逆計算，可能提升空間更大。

3. 芯片制造：利用地球上的能量，規模可能擴大5個數量級左右。

要是用太空太陽能，把太陽發出的能量都收集起來，還能再擴大9個數量級左右。

每個反饋循環在達到物理限制之前，總共有多少改進空間的估計。

把這三個反饋循環的極限加起來，就能知道三種智能爆炸在達到物理極限前能發展到啥程度：

1. 軟件智能爆炸：有效算力可能提升13個數量級左右，甚至更多。

2. AI技術智能爆炸：有效算力可能提升19個數量級以上。

3. 全棧智能爆炸：利用地球上的能量，有效算力可能提升24個數量級左右；要是利用所有太陽能，可能提升33個數量級左右。

對每次智能爆炸在達到物理極限之前，總共有多少改進空間的估計。

智能爆炸的速度

下面是三種比較可能出現的情況：

1. 漸進情況：全棧智能爆炸慢慢發生。

光軟件和芯片技術反饋循環，推動AI加速發展。

因為時間延遲，全棧智能爆炸剛開始發展慢，和2020-2024年的速度差不多。

但隨著時間推移，它會加速，最后變得特別快，翻倍時間可能就幾個月，甚至更短，因為有效物理極限很高。

2. 波動情況：先是軟件智能爆炸，但提升3個數量級左右就慢下來了。之后，AI技術和（或）全棧智能爆炸開始，一開始速度比較慢，最后變得特別快。

3. 快速情況：軟件智能爆炸規模很大，能提升6個數量級以上，而且幾個月內就發生，而且物理極限還很高。

這讓技術有很大改進，大大縮短了芯片技術和芯片制造反饋循環的時間延遲。

所以，后面的AI技術和（或）全棧智能爆炸一開始就很快。

而且在軟件智能爆炸趨于平穩之前，不會明顯減速。

對于前兩種情況，也就是超級AI要過很久、等產業擴張后才出現的情況，現在還沒多少人從戰略角度好好思考過。