在VB Transform 2025大會的第二天，行業領袖們分享了大規模部署智能體的寶貴經驗。本次小組討論由Foundation Capital的普通合伙人Joanne Chen主持，參與討論的嘉賓包括：Rocket Companies的首席技術官Shawn Malhotra，該公司在家居所有權旅程中，從抵押貸款審批到客戶聊天，都廣泛使用了智能體，Sendbird的產品負責人Shailesh Nalawadi，該公司為多個垂直行業的公司構建了自主式客戶服務體驗，以及Cognigy的AI轉型高級副總裁Thys Waanders，其平臺為大型企業聯絡中心自動化客戶體驗。

他們共同的發現是：那些首先構建評估和編排基礎設施的公司會取得成功，而那些急于用強大的模型投入生產的公司則會在大規模部署時失敗。

投資回報率(ROI)的現實：超越簡單的成本削減

成功打造智能體的一個關鍵部分是理解投資回報率，早期的智能體部署主要集中在降低成本上，雖然這仍然是關鍵因素之一，但企業領導者現在報告了更復雜的ROI模式，這需要不同的技術架構。

成本削減的成效

Malhotra分享了Rocket Companies最顯著的成本節約案例。“我們有一位工程師，在大約兩天的工作時間內，就構建了一個簡單的智能體來處理抵押貸款審批過程中一個非常專業的問題——‘過戶稅計算’，這兩天的努力，每年為我們節省了100萬美元的費用。”他說。

對于Cognigy而言，Waanders指出，每次通話的成本是一個關鍵指標。他說，如果使用智能體來自動化部分通話，就有可能減少每次通話的平均處理時間。

增加收入的方法

節約是一回事，增加收入則是另一回事。Malhotra報告說，他的團隊已經看到了轉化率的提升：隨著客戶更快地得到問題的答案，并獲得了良好的體驗，他們的轉化率更高了。

主動收入機會

Nalawadi強調了通過主動接觸客戶所帶來的全新收入能力。他的團隊實現了主動客戶服務，在客戶甚至意識到問題之前就主動聯系他們。

一個食品配送的例子完美地說明了這一點。“他們已經知道訂單何時會延遲，而不是等待客戶生氣并打電話給他們，他們意識到這是一個提前解決問題的機會。”他說。

智能體在生產中失敗的原因

盡管部署代理式AI的企業有堅實的ROI機會，但在生產部署中也面臨一些挑戰。

Nalawadi指出了核心的技術失敗原因：公司在沒有評估基礎設施的情況下就構建了智能體。

“在開始構建之前，你就應該有一個評估基礎設施，”Nalawadi說，“我們所有人都曾經是軟件工程師，沒有人會在不運行單元測試的情況下部署到生產環境。我認為，評估可以看作是你智能體系統的單元測試。”

傳統的軟件測試方法不適用于智能體。他指出，不可能預測每一個可能的輸入，也不可能為自然語言交互編寫全面的測試用例。Nalawadi的團隊在零售、食品配送和金融服務領域的客戶服務部署中吸取了這一教訓。標準的質量保證方法遺漏了生產環境中出現的邊緣情況。

AI測試AI：新的質量保證范式

鑒于AI測試的復雜性，組織應該怎么做呢?Waanders通過模擬解決了測試問題。

“我們即將發布的一個功能是關于模擬潛在對話的，”Waanders解釋說，“所以本質上就是智能體測試智能體。”

這種測試不僅僅是對話質量測試，而是大規模的行為分析，它能幫助理解智能體如何應對憤怒的客戶?如何處理多種語言?當客戶使用俚語時會發生什么?

“最大的挑戰是你不知道你不知道什么，”Waanders說，“它如何應對任何人可能提出的任何問題?你只能通過模擬對話，通過在數千種不同場景下測試它來發現。”

這種方法測試了人口統計學的變化、情緒狀態和邊緣情況，這些是人類QA團隊無法全面覆蓋的。

即將到來的復雜性爆炸

當前的智能體獨立處理單個任務。企業領導者需要為不同的現實做好準備：每個組織中有數百個智能體相互學習。

基礎設施的影響是巨大的，當智能體共享數據并協作時，故障模式會呈指數級增長，傳統的監控系統無法跟蹤這些交互。

公司現在必須為這種復雜性構建架構，事后為多智能體系統補建基礎設施的成本遠高于一開始就正確構建的成本。

“如果你向前展望理論上可能發生的情況，一個組織中可能會有數百個智能體，也許它們還會相互學習，”Chen說，“可能發生的事情數量會爆炸式增長，復雜性也會爆炸式增長。”