無論是作為一項技術，還是在使用方式上，AI都正處于轉型期。越來越多的公司將 AI 試點項目帶出測試實驗室，并進行大規模部署，一些公司因此看到了巨大的好處。盡管 AI 有不確定性，忽視其潛力都會導致公司以老舊方式開展業務并面臨破產的風險。

然而，對于許多公司來說，從 AI 中獲取價值可能是難以預測的。他們的模型可能沒有經過調整；訓練數據集可能還不夠大；客戶可能會心存疑慮，還有對偏見、道德和透明度的擔憂等等。在準備好將AI 計劃投入生產之前，或者在適當審查其結果之前，就將 AI 戰略提前可能會花費公司資金，或者更糟糕的是，將對業務發展不利。

那么如何知道，一個 AI 項目是否會改變或破壞公司呢？如果沒有直接的 ROI 數字，公司就必須通過創造性的方式來確定這一點。以下是 IT 領導者和業內人士如何衡量 AI 的價值。

 成熟與突破性技術

衡量任何計劃或技術的商業價值并不總是線性計算， AI 當然也不例外，尤其是考慮到成熟度和業務潛力時。經驗證實和預測的變量——如數據挖掘、節省成本和培訓、投資和促進新用途的能力——會影響可接受投資回報率的決策，但對技術給予一定程度的信任，無論是對新興還是對成熟技術，都至關重要。

美國宇航局（NASA）噴氣推進實驗室的 CTO 兼創新官 Chris Mattmann 說，一些 AI 的案例應用已經非常成熟。以自動化業務流程為例。

他說：“每家公司都有無聊的東西，我們也有。所以我們自動化了很多事情，比如處理票據、搜索、數據挖掘、使用 AI 查看合同和分包合同。”

JPL 通過使用已實現商業化的技術來做到這一點，包括 DataRobot 和 Google Cloud，Mattmann 說。為了確定一項特定技術是否值得投資，公司會考慮它是否會節省成本、時間和資源。 “它已經是成熟的，所以應該能夠證明這一點。”

對于處于中等成熟度的技術，JPL 著眼于該技術是否有實現新功能的能力以及成本如何。他說：“例如我們要去火星，有一個用于深空電信的細管道。而今天，有足夠的帶寬每天從火星向地球發送大約 200 張照片。

我們派出的那些出色的火星探測器有豌豆大小的大腦，他們正在運行 iPhone 1 處理器。我們只把經過輻射硬化的東西留的太空中，我們相信它們可以承受深空環境。我們知道性能良好的芯片是那些較舊的芯片，因此我們不在漫游車上進行高級 AI 或 ML。

但 Ingenuity 直升機最初只是作為技術演示而并非任務的核心，它搭載了高通驍龍處理器，即 AI 芯片。這向我們證明，有可能擁有更新的芯片并做更多的 AI。”

在這里， AI 將啟用目前無法實現的新用例。例如，漫游者無需每天發回 200 張圖像，而是可以使用 AI 分析圖像，向地球發送一百萬個文字說明；例如，在特定方向上有一個干涸的湖床，我們可以通過文本獲得比現階段更多的可見度。

最后，對于最前沿的實驗性 AI 技術，衡量成功的標準是它們是否允許完成新的科學，以及撰寫并發表新論文。

Mattmann 說：“訓練和建立模型是有成本的。像谷歌和微軟等公司可以隨時訪問海量的訓練數據，但在 JPL數據集很難獲取，需要博士級的專家進行分析和標記。在 NASA，我們訓練新 AI 模型的成本是商業行業的 10 到 20 倍。”

在這里，新技術的出現可以讓 NASA 用更少的人工標簽來創建 AI 模型。

 AI 測量及其影響范圍

當沒有直接的方法來衡量 AI 項目的業務影響時，公司會從相關的關鍵績效指標 (KPI) 中挖掘數據。這些代理變量通常與業務目標相關，其中包括客戶滿意度、上市時間或員工保留率。

Atlantic Health System 公司就是一個典型的例子。Sunil Dadlani 是該公司的高級副總裁兼 CIO，他認為在其公司病人是每個決策的核心。因此在許多方面， AI 投資的回報是通過觀察病人護理的改進來衡量的。他說，這些以病人為中心的指標包括縮短住院時間、加快治療時間、加快保險資格驗證以及更快的事先保險授權。

另一個項目涉及使用 AI 來支持放射科醫生檢查掃描結果。其中一個KPI 是放射科醫生對潛在異常發現的警報頻率。Dadlani 說：“截至 2022 年 4 月，我們 99% 的放射科醫生報告說使用 AI 分析了12,000 多份研究報告。并補充說這已經觸發近 600 次警報。因此醫生可以盡快解決潛在的嚴重問題。”

來自美國第五大會計師事務所 RSM 的管理咨詢、業務和技術轉型團隊的合伙人 Richard Davis 認為，在 RSM，AI 投資遵循兩條緊密相連的路徑：一是生產力和分析工具，可以幫助員工更好地工作；二是客戶使用相同或相似的工具。

例如，在與客戶合作時，可能會要求 RSM 從多個系統（會計、銷售和營銷、人力資源、物流）中提取數據，并將所有內容整合到一個窗格中。Davis 說， AI 可以幫助加快這一過程，然后 AI 可用于識別工作如何通過這些系統進行，以及潛在的挑戰和障礙可能在哪里。

那么公司如何知道其 AI 是否朝著正確的方向發展呢？

Davis 拒絕提供 RSM 在 AI 計劃或投資回報率方面的投資細節，但是他說：“第一，我們可以非常清楚地衡量工具的使用情況。隨著時間的推移，我們希望看到的是更有效地交付參與。”

他還表示，參與度的提高應該會提生生產力。因此，如果過去需要花一周才能完成某件事，那么現在的目標可能是將其縮短到一天。

專注于商業利益

衡量 AI 的成功也可能是主觀的。麻省理工學院的 AI 研究科學家兼零售行業的數據科學家 Eugenio Zuccarelli 說，評估一個 AI 項目就像開發 AI 本身一樣是一門藝術。

Zuccarelli 說，盡管如此，能夠解釋 AI 對業務的影響仍然很重要。 他說：“KPI 不應該圍繞模型本身設定，而應該圍繞業務和人員設置指標，這應該是項目的最終目標。”否則，選擇一個看似成功但實際上并不能轉化為對公司有效影響的技術指標太容易了。

Zuccarelli 還曾在寶馬和特斯拉等公司擔任過數據科學職位，他也警告過不要孤立地衡量進展。例如，如果一個 AI 項目旨在改進由于其他原因已經在改進的東西，那么需要一個對照組來確定實際上有多少改進是由 AI 引起的。

具有多年金融服務行業經驗的 Vladislav Shapiro 表示，AI 項目其他有價值的 KPI 可能是，減少錯誤警報或自動刪除過多的特權。Shapiro 是 Costidity 公司的創始人，一家專門從事 IT 的咨詢小組安全和身份治理管理的企業。

他說，在最近一次由 AI 驅動的安全部署中，誤報率降低了三倍，并且許多以前的人工流程都實現了自動化。

“當你向公司高級管理層展示這些數字時，他們就會明白，上述所有措施都降低了被泄露的風險，并增加了問責制和治理”他說。

漸進式衡量成功

全球專業服務公司 Genpact 的首席數字策略師 Sanjay Srivastava 表示，自動化導致成本降低是展示 AI 經濟效益最簡單、最清晰的方式。但 AI 也可以促進新的收入來源，甚至徹底改變一個公司的商業模式。

比如借助 AI ，一家飛機發動機制造商發現它可以更好地預測故障和改善物流，從而可以開始提供發動機服務。他說：“對于最終消費者來說，購買飛行里程比購買發動機本身更好。這是一種新的商業模式，它改變了公司的運營方式，因為有 AI 技術支持。與此同時，對業務的影響也很明顯”

因此，為了證明在那段時間內對 AI 的投資是合理的，這家特定的制造商需要這個長期目標，但將其轉化為可以通過其他方式衡量的短期項目。

他還說，“與其說十年后我們將改變行業，不如說在第一年，我們將開始研究需要儲備哪些零件。你還沒有改變這個行業的飛行里程，你只是說，我們需要數量達標的正確零件。這是個為期一年的項目，旨在優化倉庫系統并減少在庫存方面的投資。”

除了供應鏈優化外，其他短期進度衡量指標還包括客戶滿意度。

他說：“如果飛機在孟買停留了五天等待一個零件，客戶就會有不好的感受。”

與戰略愿景保持一致

還有一個現實是，在短期內，一些 AI 項目可能會影響虧損，但從長遠來看仍然是重要且有變革性的。例如，用機器人提供客戶服務的公司可以解決一些單調的任務。Gartner 分析師 Whit Andrews 表示：“但聊天機器人也可能會有弊端。因為有些人擅長追加銷售并希望與人互動，所以公司可能不希望用聊天機器人。”

這就回到了你想成為什么樣的公司。“在某些時候，你必須問自己的公司是否是這樣一家公司，比如，如果交付搞砸了，客戶可以打電話通過詢問到底哪里出了問題，然后你與他們直接互動，嘗試著在交付后每個月向他們推銷產品。”

如果公司致力于 AI 驅動的轉型，有可衡量的投資回報率的支持，并有一個以客戶為中心的愿景，那么它可能會忽略直接影響到收益指標，轉而關注其他潛在更有意義的指標。 

Andrews 說：“一個更自動化的公司可能會更成功，因為它正在增加市場份額。但是你可以開發你的數據，這樣你就可以在和他們關聯度更高時間觸達他們。如果有什么東西你可以指著它說，邏輯思考告訴我們，它能使我們的客戶更快樂，我們的員工更成功，那么就去實現它吧。”

來源：www.cio.com?