本年度科技圈這場里程碑級大戰，還在持續白熱化！

剛剛，Sam Altman罕見地發聲了，連發兩條推文。

在馬斯克鬧出起訴風波后，Altman一直保持緘默。因此，這兩條推文應該是全公司經過了深思熟慮的結果——

颶風已經愈來愈猛烈，但風暴中心卻仍然保持著平靜。

這一切都發生過，這一切都還將再次發生。

圖片

在Altman看來，目前發生的一切不過是新瓶裝舊酒，不斷在重演的故事罷了。

但傳聞中的Q*和AGI，已經讓全世界談之色變。

本案最大未解之謎：Ilya究竟看到了什么

在用ChatGPT和Sora在全世界掀起颶風之后，OpenAI真的能如Altman所說，在風暴中心保持平靜嗎？

恐怕潘多拉的魔盒已經打開，在我們看不到的角落里，蝴蝶效應已經產生。

馬斯克起訴OpenAI案最大的未解之謎就是——Ilya究竟看到了什么？

圖片

去年宮斗風波發生時，馬斯克就表示很擔心：Ilya是一個擁有良好道德的人，并不尋求權力。除非他認為有必要，否則絕不會采取如此過激的行動

讓我們把時間線倒回，好好復盤一下這樁起訴案發生之前，Altman的一言一行，都埋下了哪些線索。

在2023年11月，就在Altman被董事會解雇的前一天，他在APEC會議上曾有一次令人不寒而栗的發言，暗示了OpenAI已經開發出了比GPT-4更強大、更難以想象的東西，遠超人們的期待。

模型的能力將會有一個無人預料到的飛躍。與人們的預期不同，這個飛躍是驚人的！

現在正在發生的技術變革，將徹底改變我們生活方式、經濟和社會結構以及其他可能性限制……這在OpenAI的歷史上有四次 ，而最近一次，就是在過去幾周內。

在撥開無知的面紗和探索未知的邊界時，我有幸在場， 這是我職業生涯中的榮幸。

在給出這篇演講時，我們還對Q*一無所知。

緊接著第二天，OpenAI的宮斗風波震驚全世界，Altman被趕下臺，而Ilya「看到了一些東西」。

那幾天里，「Ilya究竟看到了什么」引起了全網的猜測和恐慌

宮斗風波第四天時，OpenAI秘密的AI模型突破Q*被泄露。據說OpenAI的兩位研究員Jakub Pachocki和Symon Sidor，利用Ilya的工作成果做出了Q*。

同時大家發現，在Altman被解雇之下，OpenAI的研究人員曾給董事會發出一封信，警告一項「可能威脅人類」的全新AI發現。

這封此前從未報道過的信，也是董事會最終罷免Altman的導火索之一

Ilya看到的，就是這項發現嗎？或者說，Ilya看到的，就是Q*嗎？

圖片

而到了2024年2月，馬斯克正式起訴OpenAI，這記回旋鏢正中眉心。

馬斯克認為，GPT-4是一個AGI算法，所以OpenAI已經實現了AGI，因此這超出了和微軟協議的范圍，這項協議僅適用于AGI出現之前的技術。

圖片

「基于所掌握的信息和相信為真的內容，OpenAI目前正在開發一種名為Q*的模型，該模型對AGI具有更強的主張」

起訴書中還說，看起來Q*很有可能會被OpenAI開發成一個AGI，更清晰、更引人注目。

圖片

Q*真的值得馬斯克如此大費周章、如臨大敵嗎？

根據目前泄露出來的信息，Q*的能力，是能夠解決小學階段的數學問題。

雖然在大多數人看來，這并不是什么令人印象深刻的事，但這的確是朝向AGI邁出的一大步，堪稱重要的技術里程碑。

因為Q*解決的，是以前從未見過的數學題。

Ilya做出的突破，使OpenAI不再受限于獲取足夠的高質量數據來訓練新模型，而這，正是開發下一代模型的主要障礙。

那幾周內，Q*的演示一直在OpenAI內部流傳，所有人都很震驚。

圖片

據悉，OpenAI的一些人認為Q*可能是OpenAI在AGI上取得的一個突破。AGI的定義是：「在最具經濟價值的任務中，超越人類的自主系統」

所以Q*會威脅人類嗎？

現在，公眾仍然不清楚細節，馬斯克似乎認為答案是肯定的，而「看到了什么」的Ilya，至今去向不明。

圖片

Ilya的社交媒體，至今還停留在這一條23年12月15日的推特，從此再無動態

網友：Ilya看到的東西，就是奧本海默時刻

現在，已經有人把「Ilya看到那個東西」的時刻，歸結為奧本海默時刻，并且，那個東西的危險和強大程度比原子彈還要高出數百萬倍。

圖片

Ilya看到的這個東西改變了游戲規則，級別在AGI和ASI之間，因為他太害怕了，所以踢出了Altman

網友們猜測，馬斯克現在下這一盤大棋，就是為了搞清Ilya究竟看到了什么，來感受一把真正的AGI。

圖片

Ilya看到了什么可怕的東西？

網友們一致認為，或許普通人看到的只是AI系統而已，但Ilya看到的，是AI的突破性發現。

圖片

很多人相信，就是Ilya看到的就是Q*，隨后有了一些新發現。

圖片

因為Ilya不是個關心政治的人，他肯定是看到了相當危險的東西，把董事會都給嚇到了。

圖片

或許他看到的只是Sora生成的視頻？但直覺告訴我們應該不只如此。

但是從此，OpenAI發生了一場大震蕩，削弱了GPT，削弱了未來推出的模型。

地下室里究竟有什么？！

圖片

Altman急澄清：AI是工具，不是新物種！

面對外界的這番恐慌情緒，Altman在最近接受《The Advocate》雜志采訪時急忙解釋道：很多人都對AI誤解了，他們甚至分不清AI到底是一種「生物」還是「工具」。

圖片

在他看來，將AI視為科幻電影中的生物角色確實更吸引人。但如果真的用了ChatGPT，就會明白它只是一個工具而已。

AI目前更多是一套基于數據和數學的系統，能夠產生統計上可能的結果，而不是「生物」這種全新的生命形態。

在目前全社會對OpenAI的擔憂情緒下，這種描述的確很應景。

不過，Altman以前可不是這么說的。

他曾預測道，AI很快就能替代中等水平的人類勞動者，導致大規模失業。能夠自主行動的AI智能體，下一步可能就是替代人類。

2027年構建AGI計劃推遲

同時，網上一份最新長達53頁的PDF，曝光了OpenAI預計在2027年前打造出人類級別AGI的計劃，或許能夠部分解答「地下室里有什么」的問題。

目前還不知這個透露可靠度有多高，不過文檔作者Jackson賬號注冊于2023年7月，目前就只發布了2條推文，都是昨天發布的。

而且，他主頁上的簽名是「jimmy apples竊取了我的信息」。（jimmy apples曾多次爆料關于OpenAI模型發布信息）。

圖片

Jackson表示，「自己將披露收集到的有關 OpenAI（已推遲）計劃在2027年之前創建人類級別AGI的信息」。

圖片

摘要中，具體介紹了OpenAI通往AGI的時間線：

OpenAI于2022年8月便開始訓練一個125萬億參數的多模態模型。

第一階段是Arrakis，也稱為Q*。模型于2023年12月完成訓練，但由于推理成本過高而取消發布。這就是原本計劃在2025年發布的GPT-5。Gobi（GPT-4.5）已更名為GPT-5，因為原GPT-5已被取消。

Q*的下一階段原為GPT-6，后更名為GPT-7（原計劃于2026年發布），但由于最近馬斯克的訴訟而被擱置。

Q* 2025（GPT-8）原計劃于2027年發布，旨在實現完全的AGI。

Q* 2023 = IQ達到48

Q* 2024 = IQ達到96（延遲）

Q* 2025 = IQ達到145（延遲）。

圖片

參數計數

「深度學習」這一概念基本上可以追溯到20世紀50年代AI研究的初期。

第一個神經網絡誕生于上世紀50年代，而現代神經網絡只是「更深」而已。

這意味著它們包含更多的層——它們要大得多，也要在更多的數據上進行訓練。

圖片

當今AI領域大多數主要技術都源20世紀50年代的基礎研究，并結合了一些工程解決方案，如「反向傳播算法」 和「Transformer模型」。

總的來說，AI研究70年來沒有發生根本性變化。因此，近來AI能力爆發的真正原因只有兩個：規模和數據。

越來越多的人開始相信，幾十年來我們早已解決了AGI的技術細節，只是在21世紀之前沒有足夠的算力和數據來構建AGI。

顯然，21世紀的計算機，要比上個世紀50年代的計算機強大得多。當然，互聯網數據來源也更加豐富。

那么，什么是參數呢？

它類似于生物大腦中的突觸，是神經元之間的連接。生物大腦中有1000個連接。顯然，數字神經網絡在概念上類似于生物大腦。

那么，人腦中有多少個突觸（或「參數」）呢？

最常引用的大腦突觸數量大約為100萬億個，這意味著每個神經元（人腦中約有1000億個神經元）大約有1000個連接。

如果大腦中每個神經元有1000個連接點，這意味著一只貓大約有2500億個突觸，一只狗有5300億個突觸。

一般來說，突觸數似乎預示著較高的智力，但也有少數例外：例如，從技術上講，大象的突觸數比人類高，但智力卻比人類低。

突觸數量越多，智力越低，最簡單的解釋就是高質量數據的數量越少。

從進化的角度來看，大腦是在數十億年的表觀遺傳數據的基礎上「訓練」出來的，人類的大腦是從比大象更高質量的社會化和交流數據中進化出來的，所以我們具備了卓越的推理能力。無論如何，突觸數量無疑是非常重要的。

同樣，自2010年以來，AI能力的爆炸式增長是，更強算力和更多數據的結果。

GPT-2有15億個連接，還不如一個小鼠的大腦（約100億個突觸）。GPT-3有1750億個連接，已經接近貓的大腦。

100萬億參數，AI即可達到人類水平

2020年，1750億參數的GPT-3發布后，許多人對一個比它大600倍、參數為100萬億模型（這一參數與人類大腦的突觸數相匹配）的潛在性能進行猜測——

圖片

正如Lanrian所解釋的，推斷結果表明，AI的性能似乎會莫名其妙地達到人類水平。

與此同時，人類水平的大腦大小也會與參數數量相匹配。

他計算的大腦突觸數量約是200萬億參數，而不是通常所說的100萬億參數——但這一觀點仍然成立，而且100萬億參數的性能非常接近最佳狀態。

那么，如果AI的性能是可以根據參數數量預測的，而且~100萬億參數足以達到人類水平，那么什么時候會發布100萬億參數的AI模型呢？

GPT-5在2023年末實現了最初的AGI，IQ達到48。

OpenAI新策略：Chinchilla縮放定律

100萬億參數模型實際上性能不是最優的，不過OpenAI正在使用一種新的縮放范式來彌補這一差距——基于一種叫做Chinchilla scaling laws（縮放定律）的方法。

Chinchilla是DeepMind在2022年初發布的AI模型。

圖片

論文地址：https://arxiv.org/pdf/2203.15556.pdf

這篇論文中，暗示了目前的模型明顯訓練不足，如果計算量（意味著更多數據）大大增加，無需增加參數就能大幅提升性能。

重點是，雖然一個訓練不足的100萬億參數模型不是最優的，但如果用更多的數據對其進行訓練，其性能就能輕松超越人類水平。

在ML領域，Chinchilla范式已被廣泛理解和接受。

但OpenAI總裁Greg Brockman在采訪中談到，OpenAI是如何意識到自己最初的scaling laws存在缺陷，并在此后進行調整，將Chinchilla納入考慮范圍。

地址：https://youtu.be/Rp3A5q9L_bg?t=1323

研究員Alberto Romero曾撰文介紹了的Chinchilla scaling突破。

Chinchilla表明，盡管它比GPT-3和DeepMind自家模型Gopher小得多，但由于在更多的數據上進行了訓練，它的性能超過了強大的模型。

盡管預測100萬億參數模型的性能不是最優，但OpenAI非常了解Chinchilla scaling laws。

他們正在將Q*訓練成一個100萬億參數的多模態模型，這個模型的計算能力是最優的，而且訓練的數據量遠遠超過了初衷。

圖片

Q*：125萬億參數巨獸？

最后，作者透露了一個令人難以置信的信息來源——來自著名的計算機科學家Scott Aaronson。

圖片

2022年夏天，他加入OpenAI后，從事了為期一年的AI安全方面的工作。他曾在博客上發表了一些非常有趣的言論。

這篇在2022年12月底的文章——「一封寫給11歲自己的信」，討論了一些實事和Scott在生活中取得的成就。

圖片

下半部分才是最可怕的部分...

有一家公司正在開發一種人工智能，它填滿了巨大的房間，耗費了整個城鎮的電力，最近還獲得了令人震驚的能力——能像人一樣交談。

它可以就任何主題寫論文、詩歌。它可以輕松通過大學水平的考試。它每天都在獲得新的能力，但負責AI的工程師們還不能公開談論。

不過，這些工程師會坐在公司食堂里，討論他們正在創造的東西的意義。

下周它會學會做什么？它可能會淘汰哪些工作？他們是否應該放慢速度或停下來，以免「怪獸」失控？

但是，這并非意味著其他人，可能是更沒有顧忌的人，不會最先喚醒「巨獸」嗎？是否有義務告訴世人更多關于這件事的信息？還是有義務少說一點？

我——現在的你——正在那家公司工作一年。我的工作是開發一個數學理論，以防止人工智能及其后繼者走向極端。其中「走向極端」可能意味著從加速宣傳和學術作弊，到提供生物恐怖主義建議，再到摧毀世界。

圖片

這里，Scott指的就是多模態大模型Q*，一個125萬億參數的巨獸。

圖片

爆火「Q*假說」牽出世界模型，全網AI大佬熱議

去年11月，Q*項目就曾引發這個AI社區熱議。

疑似接近AGI，因為巨大計算資源能解決某些數學問題，讓Sam Altman出局董事會的導火索，有毀滅人類風險……這些元素單拎出哪一個來，都足夠炸裂。

所以，Q*究竟是啥呢？

這要從一項1992年的技術Q-learning說起。

圖片

簡單來說，Q-learning是一種無模型的強化學習算法，旨在學習特定狀態下某個動作的價值。其最終目標是找到最佳策略，即在每個狀態下采取最佳動作，以最大化隨時間累積的獎勵。

斯坦福博士Silas Alberti由此猜測，Q*很可能是基于AlphaGo式蒙特卡羅樹搜索token軌跡。下一個合乎邏輯的步驟是以更有原則的方式搜索token樹。這在編碼和數學等環境中尤為合理。

圖片

隨后，更多人猜測，Q*指的就是A*算法和Q學習的結合！

圖片

甚至有人發現，Q-Learning竟然和ChatGPT成功秘訣之一的RLHF，有著千絲萬縷的聯系！

圖片

隨著幾位AI大佬的下場，大家的觀點，愈發不謀而合了。

AI2研究科學家Nathan激動地寫出一篇長文，猜測Q假說應該是關于思想樹+過程獎勵模型。并且認為Q*假說很可能和世界模型有關！

圖片

圖片

文章地址：https://www.interconnects.ai/p/q-star

他猜測，如果Q*（Q-Star）是真的，那么它顯然是RL文獻中的兩個核心主題的合成：Q值和A*（一種經典的圖搜索算法）。

圖片

A*算法的一個例子

英偉達高級科學家Jim Fan也認為，Q*令人贊嘆，可以和AlphaGo類比。

在我投身人工智能領域的十年中，我從來見過有這么多人對一個算法有如此多的想象！即使它只有一個名字，沒有任何論文、數據或產品。

圖片

其實，多年來Ilya一直在研究如何讓GPT-4解決涉及推理的任務，比如數學或科學問題。

此前，Ilya在這個方向就有多年積累。21年，他啟動了GPT-Zero項目，這是對DeepMind AlphaZero的致敬。

圖片

GPT-Zero可以下國際象棋、圍棋和將棋。而團隊假設，只要給大模型更多的時間和算力，假以時日，它們一定能達到新的學術突破。

而且在半年之前，就有硅谷大佬扒出，OpenAI很有可能會將「實時檢索」和模型能力結合起來，創造出難以想象的AI能力。

圖靈三巨頭LeCun則認為，Q*則很可能是OpenAI在規劃領域的嘗試，即利用規劃策略取代自回歸token預測。

隨后，更是有驚人消息曝出：Q*竟然能破解加密，AI自己在偷偷編程。而OpenAI曾試圖就此向NSA提出預警。

如果這個消息是真的，那我們無疑已經無限接近AGI。

參考資料：

https://x.com/vancouver1717/status/1764110695237390844?s=20

https://twitter.com/rowancheung/status/1764324891484938529

https://futurism.com/the-byte/sam-altman-openai-tool-creature