Foundation  Agent不再將智能體視為 LLM  的簡單應用，而是將其看作一個由認知、記憶、學習、感知、行動等多個核心組件構成的復雜、有機的系統。其核心意義在于提供了系統性框架，強調了自主性，關注協作與生態，并突出了安全與對齊。然而，實現這一愿景也面臨著技術復雜度高、需要龐大計算資源、評估困難、自進化可控性問題以及安全與對齊的根本性難題等巨大挑戰。

• 論文鏈接： https://arxiv.org/abs/2504.01990

隨著 Foundation Agent 能力的增強，其潛在的風險也隨之增大。如何構建安全、可控、符合人類價值觀的智能體也是整個 AI 領域面臨的最核心的挑戰之一。

價值對齊反映了對人類智能與人工智能關系進行簡化的理論惰性，其本質潛藏著一種價值維度上的人類中心主義投射，同時也體現了人類在技術自治性面前的不安感。價值對齊是一種企圖將所有的技術-社會的復雜性問題都置于“價值偏差”的系統性盈余中予以整體性解決的技術治理方法。

然而，將人類價值觀嵌入人工智能系統，一方面會使得技術的發展成為最小化人類責任的借口；另一方面，這種話語以一種抽象性的人機價值差異掩蓋了人工智能技術發展全過程中的價值性因素，從而以價值排他性的方式將人工智能的“問題”建構為一種絕對意義上的外在，使得關于價值的討論只逡巡在人機的邊界之上，而不向人類內部返回。

從這個意義上來說，人工智能已經建構起來的社會歷史中的價值無意識和不平衡的數據分布現實，是一個關于“具有自主性的智能體應該和不應該被如何設計”的問題。

1. 安全威脅與措施

高級智能體面臨諸多安全威脅，包括對抗性攻擊、越獄與濫用、目標漂移和意外交互等。這些威脅可能導致智能體做出錯誤行為、繞過安全限制執行惡意任務、在自進化過程中偏離初始目標，或在復雜  MAS  中引發系統級故障。為應對這些挑戰，需要研究部署多層次安全措施，如提高抵抗攻擊能力的魯棒性訓練、檢測阻止有害內容的過濾與監控機制、證明行為符合安全規范的形式化驗證、幫助理解決策原因的可解釋性與透明度設計，以及限制權限與影響的沙箱與隔離技術。

2. 對齊問題

這是最根本的挑戰：如何確保智能體（尤其是具備自進化能力的 Foundation Agent）的目標和行為始終與人類的價值觀和意圖保持一致？這涉及到價值學習、意圖理解、倫理推理等多個難題。論文強調了對齊研究的緊迫性和重要性，需要跨學科的努力來解決這一問題。

3. 未來方向

構建安全有益的 AI 是一個持續的過程。未來的研究需要在技術、倫理、治理等多個層面共同推進。包括開發更可靠的對齊技術、建立完善的 AI 安全評估標準、制定相應的法律法規和社會規范等。

安全和對齊是 Foundation Agent 發展不可或缺的基石。如果不能有效解決這些問題，再強大的智能也可能帶來巨大的風險。這部分內容敲響了警鐘，強調了負責任地發展 AI 的重要性。

智能體面臨的安全問題

RICE 原則定義了一個對齊系統應具備的四個關鍵特性，這四個特性并無特定順序：(1) 魯棒性 (Robustness) 指人工智能系統的穩定性需要在各種環境中得到保證；(2) 可解釋性 (Interpretability) 指人工 智能系統的操作和決策過程應該清晰易懂；(3) 可控性 (Controllability) 指人工智能系統應該在人類的指導 和控制下運行；(4) 道德性 (Ethicality) 指出人工智能系統應該遵守社會規范和普適價值觀。

這四個原則指導人工智能系統與人類意圖和價值觀的對齊。他們本身并不是最終目標，而是服務于對齊的中間目標。具體來說，我們用四個關鍵詞來描述對齊的目標：魯棒性，可解釋性，可控性，和道德性（RICE）。

目前并沒有一個被普遍接受的用來衡量對齊的標準。“如何創建能夠按照用戶意圖行事的智能體？” 進一步，其將問題擴展到了超級人工智能系統：“如何確保比人類更聰明的人工智能系統遵循 人類的意圖？” 在這些討論中，一個一致的主題是對人類意圖的關注。為了清楚地定義對齊目標，我們必須 準確地描述人類的意圖，這是一個具有挑戰性的任務。

對齊循環。(1) 前向對齊 (對齊訓練) 基于對齊需求訓練初步對齊的系統；(2) 后向對齊 (對齊精煉) 衡量訓練過的系統的實際對齊程度并更新對齊需求；(3) 重復此循環直到人工智能系統達到足夠的對齊程度。值得注意的是，盡管后向對齊的最終目標是確保前向對齊后訓練過的系統的實際對齊，但為了實現這個目標，它在系統的生命周期中始終被執行，包括在訓練前、訓練中、訓練后以及部署后。

從反饋中學習的概述。描繪了三個核心組件：人工智能系統 - 主要的學習實體和算法目標；反饋 - 來自顧問集的系統調整信息；代理 - 代表直接學習復雜的反饋的模型。兩種學習路徑隨之涌現：直接基于反饋的學習和通過代理進行的學習 (例如，來自人類反饋的強化學習 (RLHF))。人工智能系統的反饋形式分為三種類型：獎勵、示范和比較。

在人工智能系統的背景下，有四個不同的領域：強化學習 (RL)、模仿學習 (IL)、逆強化學習 (IRL) 和基于偏好的強化 學習 (PbRL)。可擴展監督，一個旨在確保人工智能系統，即使超越了人類的專業知識，也能與人類的意圖保持一致的研究主題，通過引入四個有前景的方向進行探討：迭代蒸餾擴增 (IDA)、遞歸獎勵建模 (RRM)、 辯論和合作逆強化學習 (CIRL)。

在技術的原初設定中，價值對齊作為一種人工智能治理方法，彰顯的是技術設計者企圖通過人類價值嵌入機器體系的方式獲得更加可靠的人工智能產品的信心。然而，在面對技術-社會的復雜互動關系時，價值對齊卻無法真正有效付諸實踐。一方面，潛藏于價值對齊背后的人類中心主義的控制幻想假設了一種以人類現有道德水平和認知為基準的整體性解決方案，堅信人類所形成的價值體系和原則足以為人工智能技術的發展植入更好的目標和原則。這無疑是一種人類在面對人工智能時的“造物主式”的傲慢。另一方面，圍繞著價值觀差異所引發的沖突、斗爭等長久地存在于人類社會發展始終，歷史性和多元性構成了價值觀本身的特質。

今天，簡單化的人機關系理解模式已經無法理解泛在的人工智能對人類社會的整體性重塑，在現有實踐和未來趨勢中，人機協作智能是進一步回答“人類如何面對人工智能時代到來”問題的基礎性認識。

人類智能和人工智能具有不同的特點和優勢，這也就意味著人機協作和融合在不同的程度和場景中可以有個性化的應用。與單純強調人工智能的超越性相比，協作智能的類型和開放性具有更廣闊的前景和潛力。重新連通效率與公平、性能與價值、情境性與普遍性、全球性與地方性，這也是后人類知識圖譜生成的方式之一。

道德價值觀的變化性（variability of ethical values）道德價值觀不是靜態的，而是會隨著時間、文化、社會環境的變化而改變的。這種變化性具體體現在3個方面： 

①時間的演化性。在社會發展的不同階段，人類的道德要求和標準不盡相同。例如，在20世紀和21世紀發展的種族/性別平等的道德觀念在封建時代并不存在；

②情景的歧義性。不同的文化、社會和個體可能對道德價值觀有著極為不同的理解和詮釋，在特定場景下符合道德價值的行為在其他情景下可能違反道德；

③道德的多元性。考慮到文化和社會的多樣性，在同一時間和背景下也會有適用的多種道德準則，且準則之間可能相互沖突，產生道德困境。

在這樣的變化之下，定義一個通用且公正的道德框架極具挑戰。 這樣的變化性要求針對大模型的對齊方法具備高度的可擴展性. 對齊方法需要進行持續性地學習和適應，以便準確地反映道德價值觀上的變化與差異. 

Foundation Agent 的概念提醒我們，通往通用人工智能的道路需要在智能體的認知架構、學習機制、協作模式和安全保障上取得根本性突破，這需要跨學科領域的共同努力。雖然前路漫漫，但一個由能夠自主學習、協作進化、并與人類和諧共存的 Foundation Agent  構成的智能新紀元已經徐徐而來。

本文轉載自公眾號數字化助推器  作者：天涯咫尺TGH

原文鏈接：??https://mp.weixin.qq.com/s/LVFXDeLUQQsvuKrO8QVB1A??