2024年11月，萊斯特德蒙福特大學網絡安全教授Eerke Boiten發表了一篇警示文章，題為「當前的AI是一條死胡同嗎」。

在這篇文章中，Boiten教授從軟件工程的角度出發，分析了當前AI技術在管理和控制方面的重大缺陷。

他表示，AI系統的本質問題在于它們無法與已有的軟件工程實踐有效結合，尤其是在復雜性管理和規模控制方面。盡管AI在諸如自動化、醫療、金融等領域取得了顯著成就，但其核心問題在于無法確保系統在規模化應用中的可控性與可靠性。

AI的復雜性管理問題

Boiten指出，目前的AI系統與傳統軟件開發標準存在嚴重的不匹配。

軟件工程的基本原則之一是，關鍵系統必須具備可管理性、透明性和問責制，而AI技術恰恰在這些方面存在缺陷。

例如，許多現代AI系統，尤其是基于深度學習的模型，在訓練和應用過程中缺乏透明的決策過程，且很難追溯和解釋其決策依據。

這種「黑箱」性質讓AI系統在關鍵任務中的應用充滿風險。尤其是在涉及人類生命健康、金融交易、網絡安全等領域時，無法控制的系統可能帶來災難性的后果。

正因如此，Boiten認為，當前AI的不可管理性本質上讓它無法在這些領域擔任核心角色。

缺少可靠性

此外，Boiten還強調了AI系統在可靠性方面的不足。

雖然AI的表現常常令人驚嘆，但其本身的可靠性依然遠未達到理想的水平。在進行高風險決策時，尤其是在醫療、司法、金融等領域，AI的錯誤率仍然不可忽視。

例如，AI在圖像識別中的誤差率可能較低，但在醫學診斷中，哪怕是極小的錯誤也可能帶來致命后果。

AI的在可靠性上的缺陷不僅僅體現在其技術能力上，更體現在其系統架構的可管理性上。

由于缺乏有效的監管和透明的設計，AI系統往往難以在嚴格的工程標準下工作。在面對不斷變化的現實情況時，AI的決策過程可能會出現不穩定和不可預測的情況，這就增加了在關鍵領域應用它們的風險。

「可解釋AI」并非終極答案

為了應對AI的復雜性問題，業界提出了「可解釋AI」的概念，試圖使AI的決策過程更加透明和易于理解。

這種方法看似解決了長久以來被詬病的「黑箱」問題，但Boiten指出，這一解決方案并不能根除問題。

他認為，「可解釋AI」并沒有改變AI在復雜應用場景中的根本缺陷，它只是嘗試解釋現有模型的內部工作方式來減少不確定性。然而，這并不意味著AI能夠在所有領域都能高效且可靠地運行。

因此，AI技術的進一步發展不能單純依賴于「可解釋性」，而應該更多地關注如何提升AI系統的可控性和安全性。對于AI的監管和標準化，目前還沒有形成統一且有效的行業規范，而這一缺失將導致其在未來面臨更大的挑戰。

數據責任：難以跨越的障礙

除了「可解釋性」和「可靠性」，Boiten還指出，AI技術面臨的另一個巨大挑戰是數據責任問題。

AI系統的決策質量，高度依賴于訓練數據的質量，但目前很難有效保證數據的公正性、完整性和代表性。

由于數據存在偏差，AI模型可能會產生帶有偏見的判斷，這在一些敏感領域尤為嚴重，如司法審判、招聘決策等。

盡管業界推出了多種方案來減少數據偏見，但Boiten稱，這些方案僅僅是隔靴搔癢，并未觸及問題的根本。

隨著AI技術的發展和應用場景的擴大，數據偏見和隱私問題將變得更加嚴重。如果得不到有效解決，我們將不可避免地面臨倫理和法律風險。

未來展望：潛力與挑戰并存

Boiten教授的警示并不是對AI技術的全盤否定，而是對其在關鍵應用中的風險進行了深刻反思。

他承認，AI在許多領域已經展現出了巨大的潛力，尤其是自動化和數據處理等方面。然而，更廣泛的應用必須在更加嚴格的工程標準下進行。對于那些影響人類安全和生活質量的領域，AI的使用需要更加謹慎和透明。

文章的最后，Boiten回答了開頭拋出的問題——AI的未來并非一條死路，但當前的技術瓶頸和管理難題確實需要引起足夠的重視。

如果業界能在提升可控性、透明度和可靠性方面取得突破，AI將能在更廣泛的領域內發揮其潛力。否則，上述這些挑戰足以限制AI在關鍵領域的落地，甚至讓我們走進「死胡同」。