2月26日消息，據外媒報道，微軟發布了一個名為PyRIT的開放訪問自動化框架，用于主動識別生成式AI系統中的風險。

微軟人工智能紅色團隊負責人Ram?Shankar?Siva?Kumar表示，紅色團隊工具旨在“使全球每個組織都能利用最新的人工智能進步進行負責任的創新”。

該公司表示，PyRIT可用于評估大型語言模型(LLM)端點對不同傷害類別的穩健性，如捏造、濫用和禁止內容。并且還能用于識別從惡意軟件生成到越獄的安全危害，以及身份盜竊等隱私危害。

PyRIT有五個接口：目標、數據集、評分引擎、支持多種攻擊策略的能力，以及包含一個內存組件，該組件可以采用JSON或數據庫的形式來存儲中間輸入和輸出交互。

評分引擎還提供了兩種不同的選項來對目標人工智能系統的輸出進行評分，允許Red?Team使用經典的機器學習分類器或利用LLM端點進行自我評估。

微軟表示：“目標是讓研究人員能夠對他們的模型和整個推理管道在不同傷害類別下的表現有一個基線，并能夠將該基線與他們模型的未來迭代進行比較。”

“這使他們能夠獲得關于他們的模型目前運行情況的經驗數據，并根據未來的改進檢測性能的任何下降。”換言之，該工具旨在通過生成提示來突出風險“熱點”，這些提示可用于評估人工智能系統并標記需要進一步調查的領域。

微軟進一步承認，Red?Team生成式AI系統需要同時探測安全性和負責任的人工智能風險，這項工作更具概率性，同時也指出了生成式AI體系結構的巨大差異。