譯者 | 李睿

審校 | 重樓

本文將探索生成式人工智能的指數級增長帶來的機遇和挑戰，以及充分發揮其潛力必須克服的挑戰。

雖然生成式人工智能提供了巨大的機遇，但也存在重大挑戰，例如開發或維護大型語言模型(LLM)的難度和成本，以及它們潛在的不準確性。

人工智能現在成為了各行業領域討論的一個熱門的話題。生成式人工智能也越來越受歡迎。當然，生成式人工智能技術并不是憑空產生的，特別是ChatGPT。早在2020年，一些專家就已經預測，生成式人工智能將成為下一代人工智能的重要支柱。

人工智能所有領域的最新工作都在為生成式人工智能加速發展提供幫助。新一代大型語言模型(LLM)已經在初創企業、科技巨頭和人工智能研究團隊中得到開發。

1、可以生成自己訓練數據的模型

人工智能研究的一個新途徑是探索大型語言模型(LLM)如何生成它們自己的訓練數據來提高表現。這個想法是從人們思考一個話題時自己學習的方式中汲取的靈感。谷歌公司已經建立了一個大型語言模型(LLM)，可以回答問題，生成答案，過濾高質量的結果，并優化選定的答案。

事實上，谷歌公司和伊利諾伊大學香檳分校 (UIUC)的研究人員已經引入了一種被稱為語言模型自我改進(LMSI)的方法，這種方法是關于使用模型本身創建的數據集對大型語言模型(LLM)進行微調。

大型語言模型(LLM)可以通過生成自己的自然語言指令并適應這些指令來提高性能。谷歌公司和卡內基梅隆大學的研究還表明，如果大型語言模型(LLM)在回答問題之前先背誦他們所知道的內容，就像人類在分享觀點之前思考的方式一樣，大型語言模型(LLM)可以提供更準確的答案。

語言建模方面的最新進展表明，使用大型語言模型(LLM)可以顯著提高自然語言處理(NLP)應用程序的性能。然而，這可能是一個挑戰，因為這個模型的尺寸很大，可能需要大量的內存和CPU進行訓練。

為了釋放語言建模的真正潛力，英偉達公司和微軟公司正在開發一種自動的自然語言處理(NLP)模型，其名稱為Megatron Turing自然語言生成(MT-NLG)。它由5300億個參數組成，比Open AI開發的GPT-3 NLP模型大出兩倍多。

雖然這個模型似乎克服了自動化自然語言處理(NLP)的一些障礙，但它仍然需要改進。英偉達公司和微軟公司指出，雖然這些大型語言模型(LLM)代表了語言生成的巨大飛躍，但它們仍然存在缺陷和偏見。研究人員的研究表明，該模型可以延續訓練數據中存在的刻板印象和偏見，這促進數據收集、分析、建模和監督訓練領域的發展。

2、能夠自行驗證事實的模型

生成式人工智能模型使用來自互聯網的數據來訓練模型，以根據用戶請求做出預測。然而，并不能保證預測是100%準確或公正的。此外，很難知道提供系統響應的信息來自哪里。

生成式人工智能的使用引發了道德、法律和倫理問題，這對業務有潛在的影響。人們擔心的是內容的所有權，或者僅僅是產生“虛構”答案的風險。因此，在短期內謹慎對待如何使用生成式人工智能產生的信息是明智的。

當前的大型語言模型(LLM)或對話應用程序語言模型 (LaMDA)可能產生不準確或錯誤的信息。以下是Google Bard關于韋伯望遠鏡問答的一個廣為人知的的錯誤論斷。

1.我能告訴我九歲的孩子詹姆斯·韋伯太空望遠鏡的哪些新發現?

2.Google Bard提供了韋伯太空望遠鏡拍攝的太陽系外行星的第一張照片，但這是其他的太空望遠鏡拍攝的。

因此，谷歌公司正在開發新的功能來解決這個問題。它包括大型語言模型(LLM)從外部來源提取信息并為其提供的信息提供參考的能力。例如，OpenAI WebGPT通過網頁瀏覽提高了語言模型的事實準確性。

微軟公司研究院和哥倫比亞大學聯合發布的《檢查事實并再次嘗試：利用外部知識和自動反饋改進大型語言模型》研究報告提出了一個名為LLM-AUGMENTER的系統。它有助于在任務關鍵型應用程序中使用大型語言模型。

該系統通過整合來自特定任務數據庫的外部知識，提高了大型語言模型生成響應的準確性。迭代快速修正可用于提高反應的準確性和可靠性。該系統已經在對話和問答場景中進行了測試，在不影響回答質量的情況下，它似乎可以減少虛假信息。

近年來，大型語言模型(LLM)的規模被認為以每年增加10倍的速度增長。好消息是，隨著這些模型的復雜性和規模的增長，它們的能力也在增長。然而，大型語言模型(LLM)的開發和維護既困難又成本昂貴。因此，如果要充分發揮其潛力，其成本和準確性是必須解決的主要挑戰。

3、結語

生成式人工智能專注于創造能夠生成自己內容的人工智能，這是一個快速發展的領域。人工智能所有領域的最新進展正在為生成式人工智能帶來有利的加速，包括能夠生成自己的訓練數據以提高其性能的模型的開發，以及能夠對事實進行自我驗證的模型。

大型語言模型(LLM)的開發和維護是復雜的，其成本和不準確性仍然是主要的挑戰。但毫無疑問，主要技術和研究參與者的努力將導致這些系統能力的提高，并將迅速發揮其潛力。

文章標題：The Exponential Growth of Generative AI: Opportunities and Challenges，作者：Frederic Jacquet

鏈接：https://dzone.com/articles/the-exponential-growth-of-generative-ai-opportunit