人類通常很擅長識別何時出錯，但人工智能系統則不然。根據一項新的研究，由于存在百年歷史的數學悖論，人工智能通常會受到固有的限制。

像一些人一樣，人工智能系統的自信程度往往遠遠超過他們的實際能力。就像一個過度自信的人一樣，許多人工智能系統不知道自己什么時候犯了錯誤。有時，人工智能系統在犯錯時意識到比產生正確結果更困難。

劍橋大學和奧斯陸大學的研究人員表示，不穩定性是現代人工智能的致命弱點，一個數學悖論顯示了人工智能的局限性。神經網絡是人工智能中最先進的工具，大致模仿了大腦中神經元之間的聯系。研究人員表明，存在穩定和準確的神經網絡存在的問題，但沒有算法可以產生這樣的網絡。只有在特定情況下，算法才能計算出穩定準確的神經網絡。

研究人員提出了一種分類理論，描述了何時可以訓練神經網絡以在某些特定條件下提供可信賴的 AI 系統。他們的結果發表在《美國國家科學院院刊》上。

深度學習是用于模式識別的領先人工智能技術，一直是眾多令人窒息的頭條新聞的主題。示例包括比醫生更準確地診斷疾病或通過自動駕駛預防交通事故。然而，許多深度學習系統是不可信且容易被愚弄的。

劍橋大學應用數學和理論物理系的合著者安德斯·漢森(Anders Hansen)教授說：“許多人工智能系統不穩定，它正在成為一個主要問題，尤其是它們越來越多地用于疾病診斷或自動駕駛汽車等高風險領域。” . “如果人工智能系統被用于一旦出錯會造成真正傷害的領域，那么對這些系統的信任必須是重中之重。”

研究人員發現的悖論可以追溯到 20 世紀的兩位數學巨人：艾倫·圖靈和庫爾特·哥德爾。20世紀初，數學家試圖證明數學是科學的終極一致語言。然而，圖靈和哥德爾展示了數學核心的一個悖論：無法證明某些數學陳述是真還是假，一些計算問題無法用算法解決。而且，只要一個數學系統足夠豐富，可以描述我們在學校學習的算術，它就無法證明其自身的一致性。

幾十年后，數學家史蒂夫·斯梅爾(Steve Smale)提出了 21 世紀 18 個未解決的數學問題的清單。第 18個問題涉及人類和機器的智能極限。

“圖靈和哥德爾首先發現的悖論現在已經被 Smale 和其他人帶到了人工智能的世界，”應用數學和理論物理系的合著者 科爾布魯克(Matthew Colbrook) 博士說。“數學存在固有的基本限制，同樣，人工智能算法也無法解決某些問題。”

研究人員說，由于這個悖論，在某些情況下可以存在良好的神經網絡，但無法建立一個本質上值得信賴的神經網絡。“無論你的數據多么準確，你永遠無法獲得構建所需神經網絡的完美信息，”來自奧斯陸大學的合著者 Vegard Antun 博士說。

無論訓練數據量如何，都無法計算出良好的現有神經網絡。無論算法可以訪問多少數據，它都不會產生所需的網絡。“這類似于圖靈的論點：無論計算能力和運行時間如何，都存在無法解決的計算問題，”漢森說。

研究人員表示，并非所有人工智能都存在固有缺陷，但它僅在特定領域使用特定方法才可靠。“問題在于你需要保證的領域，因為許多人工智能系統都是一個黑匣子，”科爾布魯克說。“在某些情況下，人工智能犯錯是完全可以的，但它需要誠實地對待它。這不是我們在許多系統中看到的——沒有辦法知道他們什么時候更有信心或沒有信心決定。”

“目前，人工智能系統有時會對它們產生一些猜測，”漢森說。“你嘗試一些東西，如果它不起作用，你添加更多的東西，希望它能起作用。在某些時候，你會厭倦沒有得到你想要的東西，你會嘗試不同的方法。重要的是“了解不同方法的局限性。我們處于人工智能的實際成功遠遠領先于理論和理解的階段。需要一個理解人工智能計算基礎的程序來彌合這一差距。”

“當 20世紀的數學家發現不同的悖論時，他們并沒有停止研究數學。他們只需要找到新的路徑，因為他們了解局限性，”科爾布魯克說。“對于人工智能來說，可能需要改變路徑或開發新路徑，以構建能夠以可信賴和透明的方式解決問題的系統，同時了解它們的局限性。”

研究人員的下一個階段是結合近似理論、數值分析和計算基礎，以確定哪些神經網絡可以通過算法計算，哪些可以穩定可信。正如哥德爾和圖靈提出的關于數學和計算機局限性的悖論導致了豐富的基礎理論——描述了數學和計算的局限性和可能性——也許類似的基礎理論可能會在人工智能中開花結果。