一個算法讓LLM創新能力暴增，原來是AI學會了進化
如果你讓當今的 LLM 給你生成一個創意時鐘設計，使用提示詞「a creative time display」，它可能會給出這樣的結果：
或許我們能在其中看到一些創新點，但整體來說這些設計并無特別出彩之處，依然還在預期之內。
但近日的一項研究成果卻可以讓 LLM 設計出下面這些讓人眼前一亮的時鐘，而使用的提示詞卻和上面的一樣：
這是怎么做到的呢？簡而言之：一種基于 LLM 的進化算法。
這種算法名為 Lluminate，來自洛克菲勒大學生物信息學研究者、生成式設計公司 Morphogen 創始人 Joel Simon。
Lluminate 將進化方法與原則性創造性思維策略結合到了一起。結果發現，通過將進化壓力與形式化的創意策略相結合，可以持續對隱含創造空間進行開放式探索。Joel Simon 將這個過程稱為 illumination，即啟迪。這也是該算法得名的由來。他表示：「這能為輔助式創造性探索提供新的可能性，對抗同質化，甚至可能發現新的想法。」
當然，這種算法不僅能用來創建創意時鐘和以上推文演示的紋理動畫，也可以用來生成前有未有的建筑風格。
提示詞：an architectural style that has never been seen before
這是基線生成結果：
而下面是應用了 Lluminate 算法之后的生成結果。看起來，至少在新穎性方面，Lluminate 確實帶來了非常顯著的提升。
Lluminate 算法
項目地址：https://github.com/joel-simon/lluminate
該算法結合了進化計算原理與大型語言模型。所有突變都發生在遺傳密碼上，并被渲染成了嵌入的表型。其執行過程如下所示：
- 摘要生成：創建當前種群的摘要，為后代提供上下文；
- 創意策略注入：隨機選擇并應用創造性思維策略來引導 LLM；
- 進化運算符：使用當前摘要和策略來提示模型，通過修改或組合現有 artifact 來創建新 artifact；
- 嵌入和新穎性計算：使用嵌入（與 k 個最近鄰的平均距離）測量每個 artifact 與其他 artifact 的差異；
- 種群管理：為下一代選擇最多樣化的 artifact。
「think step by step」這個著名提示詞可以提升語言模型解決邏輯問題的能力。為了測試提升創造性思維的能力如何，Joel Simon 的做法是通過提示詞讓推理模型在創建新的 artifact 之前先完成以下其中一種創意策略的步驟。
實驗結果
該研究者在紋理動畫和時鐘這兩個領域進行了實驗（使用了 p5.js 軟件庫）。模型是 OpenAI o3-mini。需要指出，余弦距離的微小變化可以會帶來較大的感知變化。他測試了兩種進化的提示詞模式，變化（variation）意味著一個隨機 artifac 發生變異，而創造（creation）的意思是基于當前種群摘要從頭開始創建一個全新的 artifact。
新穎性和長度比較
比較每個配置的最終種群新穎性和基因組長度（源代碼字符串長度）。每個都使用 OpenAI 的 o3-mini 模型運行。運行 30 代，種群規模為每代 20 和 10 個新子代。所有測試重復三次。新穎性是最終種群每個成員到 3 個最近鄰的平均距離。以上是隨機種群基線的倍數增加情況。
每個 artifact 都標有用于創建它的創意策略，這可讓我們比較每個策略的改進情況。以下是每種策略在種群中的使用百分比。
Website 和 ShaderArtifac 域中策略使用情況比較
散點圖展示了兩個域中不同創意策略的使用百分比，x 軸表示網站使用情況，y 軸表示 ShaderArtifact 使用情況。誤差線表示多次實驗運行的標準差。對角虛線表示兩個域中的使用情況相等。
該圖表明，跨域的策略使用模式之間沒有顯著相關性（r=-0.02，p=0.963），一些策略顯示出特定于域的偏好。值得注意的是，替換模板在 ShaderArtifact 生成中的使用率要高得多，而概念混合在網站生成中的使用率更高。其他策略，如 SCAMPER 變換、距離關聯、斜策略和假設反轉，在兩個域中的使用率都更加均衡。
獲得的洞察
該研究者也總結了從實驗中獲得的洞察：
- 創意策略可促進多樣性：與基線輸出相比，形式化的創造性思維策略顯著提高了新穎性指標。
- 變化勝過創造：修改現有 artifact 產生的結果比從頭開始生成新 artifact 產生的結果更加多樣化。
- 特定域某個域的有效性：替換模板在紋理動畫方面表現出色，而概念混合在網站上表現更好。
- 交叉會放大新穎性：將來自多個解決方案的元素組合在一起在實驗中產生了最高的新穎性分數，表明約束可以幫助抵消天生的懶惰。
- 新穎性-復雜性聯系：更復雜的 artifact（更長的代碼）在隱含空間中探索了更多新穎的領域。使用交叉和創造性策略的最多樣化運行產生的輸出平均長度幾乎是沒有交叉和創造性策略的運行的兩倍。
- 推理的收益遞減：更高的推理水平并沒有顯著增加多樣性，盡管它可能會提高質量。
- 上下文意識很重要：種群摘要可以持續提高性能，突出了進化上下文的重要性。
你對此研究有何看法？會嘗試使用該算法來生成創新性的視覺藝術嗎？
