編輯 | 云昭

關于 Agentic AI，大多數團隊都做錯了！你的Agent評估方式可能完全是垃圾！

上周，麥肯錫團隊基于 50 多個自己牽頭的代理 AI 項目，以及市場上的數十個案例，發(fā)布了一份現實研究報告《通過代理AI一年實踐，總結出六大經驗教訓》，引起了圈內人士的積極圍觀和評論。

圖片

報告中指出：大多數團隊都做錯了，并給出了幾條避坑心得。

1.別急著造 Agent，先把工作流修好

最大錯誤是什么？沉迷于你那閃亮的新 AI Agent，卻沒有解決實際的業(yè)務問題。真正聰明的公司不會問“這個 Agent 有多酷？”而是會問：“Sarah 完成整個工作流能快多少？”

• 先繪制痛點圖：在寫任何一行代碼之前，把目標工作流的每個步驟梳理清楚，找出人類浪費時間的地方。
• 為協作而設計：你的 Agent 不是替代人類，而是讓人類在特定任務上變成“超人”。
• 編排思維：把 Agent 當作膠水，連接基于規(guī)則的系統、分析工具和生成式 AI，創(chuàng)造無縫體驗。

2.你的 Agent 評估方式可能完全是垃圾

“上線然后放任不管”只會讓用戶抱怨“AI 很爛”。把你的 Agent 當作新員工，需要持續(xù)的反饋和績效評估。

• 像命懸一線般構建評估體系：為任務成功率、準確率和偏差檢測創(chuàng)建詳細的評分標準。
• 讓專家參與：領域專家可以為復雜 Agent 寫下成千上萬條正確輸出。
• 監(jiān)控每個環(huán)節(jié)：不僅要跟蹤結果，還要跟蹤每個決策點，這樣才能快速調試失敗。

3.并不是所有場景都需要 Agent

在你“Agent 化”一切之前，先問自己：“這真的是一個高方差的多步驟決策問題嗎？”如果不是，你就是在過度工程化。

• 基于規(guī)則 + 結構化數據= 用自動化，不用 Agent
• 非結構化數據 + 簡單提取= 用通用 AI 或 NLP，不用 Agent
• 分類 / 預測= 用預測分析或通用 AI，不用 Agent
• 創(chuàng)造性綜合 + 判斷= 用通用 AI，不用 Agent

1. 多步驟決策 + 高方差= 這才需要 Agent

4.一次構建，永久復用

別再為每個任務造獨特的 Agent。聰明的團隊會構建模塊化 Agent 組件，處理通用操作（比如數據提取、搜索、分析），然后在不同工作流中混合復用。

領先公司會創(chuàng)建帶有驗證服務、可復用代碼模式和共享提示的集中平臺。這樣能減少 30-50% 的重復開發(fā)工作，讓團隊把精力放在真正推動業(yè)務的難題上。

5.人類依然在環(huán)中（只是角色改變了）

你的 Agent 會完成驚人的任務，但人類依然不可或缺：監(jiān)督、處理邊緣案例、做最終決策。關鍵在于明確人類判斷在哪些環(huán)節(jié)最有價值。

• 法務團隊依然需要批準 AI 生成的合同分析。
• 保險理賠員依然需要審核復雜的索賠。

魔力發(fā)生在你設計的工作流中：人類和 Agent 各自發(fā)揮優(yōu)勢，通過直觀的可視化界面實現無痛協作，而不是彼此拖累。

6.經濟可持續(xù)性

投資回報率必須可證明。如果沒有成本控制，試點項目消耗資金的速度將超過創(chuàng)造價值的速度。

參考鏈接：??https://x.com/aakashg0/status/1969597475762946483/photo/2??

本文轉載自??51CTO技術棧??，作者：云昭