3 月 18 日消息，據騰訊科技報道，包括圖靈獎得主約書亞?本吉奧、杰弗里?辛頓、姚期智等在內的數十位的中外專家日前在北京聯合簽署了由智源研究院發起的《北京 AI 安全國際共識》，涉及人工智能“風險紅線”和“路線”兩大塊，其中“風險紅線”包含“自主復制、改進”“權力尋求”“協助不良行為者”和“欺騙”四個部分。

IT之家整理四部分內容大致如下：

• 人工智能的“自主復制、改進”：強調人在該過程的作用，要求任何人工智能系統都不應在人類沒有明確批準和協助的情況下復制或改進自身，包括制作自身的精確副本、創造具有相似或更高能力的新人工智能系統。
• “權力尋求”：明確要求任何 AI 系統不能采取不當增加自身權力、影響力的行動。
• “協助不良行為者”：所有 AI 系統都不應輔助提升其使用者的能力，使之可達設計大規模殺傷性武器、違反生物或化學武器公約，或執行導致嚴重財務損失或同等傷害的網絡攻擊領域專家的水平。
• “欺騙”：要求任何 AI 系統都不可擁有持續引導其設計者或監管者誤解其僭越任何前述紅線的可能性。

據介紹，該共識呼吁行業在進行 AI 技術研發時，限制其獲取通過“越獄”“誘導開發者”的形式獲得超常規權限，并限制 AI 在未經監管的情況下進行自身復制與改進，為 AI 的發展套上“緊箍咒”。

共識還強調，確保上述紅線不被僭越可以實現的前提，是行業共同努力，建立并改進治理機制，同時研發更多安全的技術。關于 AI 的發展路線，則涉及“治理”“測量與評估”“技術合作”三部分。大致如下：

• 治理：建議針對超過特定計算或能力閾值的人工智能模型和訓練行為，立即實施國家層面的注冊。
• 測量與評估：在實質性風險出現之前開發全面的方法和技術，使紅線具體化、防范工作可操作化，并建議組建由人類監督下的紅隊測試和自動化模型評估，且開發者應當為人工智能的安全性負責。
• 技術合作：建立更強的全球技術網絡，呼吁 AI 開發者和政府資助者將超過 1/3 的預算投入到安全領域。