“創(chuàng)造神跡” -> “打造利器”：AI 從實驗室走向市場的五大障礙原創(chuàng) 精華

發(fā)布于 2024-9-5 10:03

瀏覽

0收藏

編者按： AI 能立即改變世界嗎？為何巨額投資卻難見成效？你是否也在思考：我們開發(fā)的 AI 產(chǎn)品真的解決了用戶的需求嗎？

面對這些問題，許多公司陷入了困境：要么過于專注模型開發(fā)而忽視實際應(yīng)用，要么盲目將 AI 融入產(chǎn)品而不考慮是否需要。這不僅導(dǎo)致資源浪費，更可能使我們錯失 AI 真正的價值所在。

本文深入剖析了 AI 從實驗室走向市場的五大障礙，包括使用成本、產(chǎn)品可靠性、隱私問題、產(chǎn)品安全和用戶界面。作者基于對 OpenAI、Google 等 AI 公司的觀察，認為 AI 公司正從追求創(chuàng)造"神跡"轉(zhuǎn)向?qū)Ｗ⒂跇?gòu)建實用產(chǎn)品，這是一個積極的轉(zhuǎn)變。

這篇文章為我們提供了一個清晰的視角，幫助我們理解 AI 行業(yè)面臨的實際挑戰(zhàn)。它提醒我們，盡管 AI 技術(shù)發(fā)展迅速，但將其轉(zhuǎn)化為成功的商業(yè)產(chǎn)品仍需要時間和大家的不懈努力。

作者 | Arvind Narayanan &?Sayash Kapoor

編譯?|?岳揚

AI 企業(yè)正集體計劃在硬件和數(shù)據(jù)中心上投入高達萬億美元[1]的資金，然而迄今為止，這些投入所帶來的成果卻相對較少。這一現(xiàn)象也引發(fā)了許多人的擔(dān)憂，他們懷疑 GenAI 是否只是一場泡沫[2]。我們不會對未來的事情做出任何預(yù)測，但我們認為，對于事情當(dāng)初是如何走到這一步的，我們已經(jīng)有了一個清晰的認識。

本文將探討 AI 企業(yè)所犯的那些錯誤，以及他們是如何努力糾正這些錯誤的。接下來我們將討論人工智能公司為了使 GenAI 在商業(yè)上取得足夠的成功，從而證明之前在硬件和數(shù)據(jù)中心上的巨額投資是合理的，它們還需要跨越的五大障礙。

01 產(chǎn)品與市場的契合點

ChatGPT 一經(jīng)推出，便被用戶們發(fā)掘出數(shù)種意想不到的用途，這讓 AI 開發(fā)者們激動不已。然而，他們并未準(zhǔn)確把握市場脈搏，忽視了概念驗證（POC）與可靠產(chǎn)品之間存在的巨大鴻溝。 這種市場誤判導(dǎo)致出現(xiàn)了兩種截然相反的大語言模型（LLMs）商業(yè)化方法，但兩者都存在缺陷。

OpenAI 和 Anthropic 專注于模型的構(gòu)建，對產(chǎn)品開發(fā)則顯得不夠重視。比如，OpenAI 花了 6 個月的時間才發(fā)布了 ChatGPT iOS App，而 Android App 更是又晚了 8 個月才面市！

與此同時，谷歌和微軟在競爭中慌不擇路，將 AI 技術(shù)匆忙植入各種產(chǎn)品，卻未深入思考哪些產(chǎn)品真正需要 AI 的加持，以及 AI 應(yīng)該如何與這些產(chǎn)品整合。

這兩家公司都忘記了 “打造用戶所需產(chǎn)品” 這一核心原則。 大語言模型的通用性讓開發(fā)者誤以為，他們可以不必尋找產(chǎn)品與市場的契合點，似乎只要讓模型執(zhí)行某個任務(wù)，就能取代之前精心設(shè)計的產(chǎn)品或功能。

OpenAI 和 Anthropic 采取的自主開發(fā)（DIY）方法導(dǎo)致出現(xiàn)了一個問題：早期使用大語言模型（LLMs）的用戶群體中，不能代表普遍的大模型使用者。因為這些人更愿意投入精力去研究如何利用這些新技術(shù)去實現(xiàn)自己的目的，而普通用戶則更傾向于使用簡單易用的產(chǎn)品。這種情況使得該技術(shù)的公眾形象產(chǎn)生了負面印象。1

與此同時，微軟和谷歌那種“強行植入 AI ”的做法，雖然偶爾能帶來便利，但更多時候卻讓用戶感到不勝其煩。 此外，由于測試工作沒做到位，還出現(xiàn)了許多本可避免的錯誤，比如微軟早期的 Sydney[3] 聊天機器人和谷歌的 Gemini[4] 圖像生成器。這些情況同樣引發(fā)了公眾的不滿和抵觸。

不過，這些公司現(xiàn)在正在調(diào)整運營策略。 OpenAI 似乎正在從專注于基礎(chǔ)研究和創(chuàng)新探索的領(lǐng)域轉(zhuǎn)型，更加傾向于開發(fā)和推動具體的產(chǎn)品與服務(wù)走向市場化。如果撇開 OpenAI 董事會內(nèi)部的戲劇性事件不談，其核心轉(zhuǎn)變是從追求創(chuàng)新神跡（creating gods）到專注于產(chǎn)品開發(fā)（building products）。Anthropic 則吸納了許多之前在 OpenAI 工作、更關(guān)注通用人工智能（AGI）研究的科研人員和開發(fā)人員，他們在 OpenAI 感到格格不入。盡管如此，Anthropic 也認識到了打造產(chǎn)品的必要性。

谷歌和微軟在這方面動作較慢，但我們推測蘋果可能會迫使它們做出改變。去年，蘋果[5]在 AI 領(lǐng)域似乎還處于落后狀態(tài)，但事后來看，蘋果在其全球開發(fā)者大會（WWDC）上所展示的那種謹(jǐn)慎而深思熟慮的 AI 發(fā)展策略，似乎更能夠贏得用戶的認可2。谷歌在其即將推出的新款 Pixel 手機[6]和新版本的 Android 操作系統(tǒng)中，對于如何整合 AI 似乎進行了更多的思考，比起在搜索功能上應(yīng)用 AI 要用心得多，不過它們還未上市，我們不妨拭目以待。

再來看看 Meta，其旨在利用人工智能在其依賴廣告收益的社交媒體平臺上創(chuàng)造內(nèi)容，并增強用戶的互動參與度。在一個充斥著 AIGC（人工智能生成內(nèi)容，Artificial Intelligence Generated Content）的世界，其社會影響無疑是復(fù)雜且具有兩面性的[7]。然而，從商業(yè)策略的角度來看，這一方針無疑是明智的。

02 基于 AI 的面向消費者型產(chǎn)品（consumer AI）需跨越的五大障礙

為了打造吸引人的基于 AI 的面向消費者型產(chǎn)品，開發(fā)人員需跨越大語言模型（LLMs）的五大障礙。3

2.1 產(chǎn)品成本

在眾多應(yīng)用場景中，模型的能力并非限制因素，成本才是。 即便是簡單的聊天應(yīng)用，成本也限制了 chatbot 能夠回溯的對話歷史長度 —— 隨著對話時間的延長，對整個對話歷史進行處理的成本會迅速飆升，變得令人難以承受。

大模型的成本已經(jīng)顯著下降 —— 過去 18 個月里，同等能力的模型成本降低了超過 100 倍。 4因此，有企業(yè)宣稱 LLMs 已達到或即將達到“便宜到微不足道”[8]的水平。不過，等他們免費開放 API 時，我們才會真正相信這一點。

我們認為成本問題仍將是一個關(guān)注點，因為在許多大模型應(yīng)用中，成本的降低直接意味著準(zhǔn)確性的提升。 這是因為 LLMs 存在隨機性，多次重復(fù)嘗試完成任務(wù)（十次、千次甚至百萬次）是一種提高成功率的有效方法。因此，在相同預(yù)算的情況下，模型越便宜，我們就能進行更多次嘗試。我們在近期一篇關(guān)于 AI Agents 的論文[9]中對此進行了量化分析。此后，也有多篇論文[10][11]提出了類似的觀點。

盡管如此，我們還是有理由相信，在不久之后我們將進入一個新階段，屆時在多數(shù)應(yīng)用場景中，成本的優(yōu)化（cost optimization）將不再是一個重要問題。

2.2 產(chǎn)品可靠性

產(chǎn)品的能力和可靠性在我們看來是兩個相對獨立的概念。如果一個 AI 系統(tǒng)有 90% 的概率正確完成一項任務(wù)，我們可以說它具備完成該任務(wù)的能力，但卻不能保證穩(wěn)定可靠地完成。那些讓我們達到 90% 正確率的技術(shù)，卻未必能幫助我們達到 100%。

對于基于統(tǒng)計學(xué)習(xí)的系統(tǒng)來說，追求完美的準(zhǔn)確性本身就是一項艱巨的任務(wù)。回想機器學(xué)習(xí)在廣告精準(zhǔn)定向、欺詐檢測，或是近期在天氣預(yù)報領(lǐng)域的成功案例，完美的準(zhǔn)確性并非目標(biāo) —— 只要系統(tǒng)的表現(xiàn)優(yōu)于現(xiàn)有技術(shù)水平，它就是有價值的。即便在醫(yī)療診斷和其它醫(yī)療健康領(lǐng)域，我們也能接受一定程度的誤差[12]。

然而，當(dāng) AI 被應(yīng)用于面向消費者型產(chǎn)品時，用戶期望它能像以前的傳統(tǒng)軟件一樣運行，即需要它們能夠穩(wěn)定無誤地工作。如果一款 AI travel agent 只有 90% 的幾率能正確預(yù)訂假期目的地，那它就不會成功。正如我們之前寫過的文章[13]，可靠性不足是近期一些基于 AI 的小工具失敗的原因之一。

AI 開發(fā)者們對此問題的認識相對較為遲緩，原因在于我們這些專家習(xí)慣于將 AI 看成與傳統(tǒng)軟件有本質(zhì)區(qū)別的東西。比如，我們倆在日常工作中對聊天機器人和 AI Agents 的使用頻率非常高，對于這些工具可能出現(xiàn)的幻覺和不可靠之處，我們幾乎能夠自動地進行規(guī)避。去年，AI 開發(fā)者們或許還寄希望于非專業(yè)用戶能夠?qū)W會適應(yīng) AI，但現(xiàn)在逐漸清楚的是，企業(yè)需要調(diào)整 AI 以符合用戶的期望，讓 AI 像傳統(tǒng)軟件一樣運行。

提高 AI 的可靠性是我們普林斯頓團隊的研究重點。目前，能否利用隨機性組件（LLMs）構(gòu)建出確定性系統(tǒng)，還是一個尚未解答的問題。有些公司宣稱已經(jīng)解決了可靠性問題 —— 比如，一些法律科技公司宣傳他們的系統(tǒng)“不會產(chǎn)生幻覺”。但事實證明，這些說法為時尚早[14]。

2.3 隱私問題

在機器學(xué)習(xí)的發(fā)展歷程來看，它通常依賴于包含敏感信息的數(shù)據(jù)源（data sources），比如利用歷史瀏覽記錄進行廣告定向推送或使用醫(yī)療記錄發(fā)展醫(yī)療健康科技[15]。然而，LLMs 在這方面顯得有些特立獨行，因為它們主要是通過公共資源（如網(wǎng)頁和書籍）來進行訓(xùn)練的。5

但隨著 AI assistants 的普及，隱私問題再次成為焦點。為了打造實用的 AI assistants，企業(yè)需要利用用戶的交互數(shù)據(jù)來訓(xùn)練系統(tǒng)。例如，如果想要 AI 在電子郵件這一使用場景表現(xiàn)優(yōu)異，那么就必須在電子郵件數(shù)據(jù)上進行訓(xùn)練[16]。不過，各大企業(yè)在隱私政策（privacy policies）上對此往往語焉不詳，目前尚不清楚這種情況的實際影響范圍。 6電子郵件、文檔和屏幕截圖等數(shù)據(jù)可能比聊天記錄更為敏感。

此外，還有一種與推理而非訓(xùn)練有關(guān)的隱私問題。AI assistants 要想為我們提供便利，就必須能夠訪問我們的個人數(shù)據(jù)。例如，微軟曾宣布要設(shè)計一項飽受爭議的功能，該功能將每隔幾秒鐘對用戶的電腦屏幕進行截圖，以便其 CoPilot AI 能夠?qū)τ脩舻男袨檫M行記憶、學(xué)習(xí)。但這一舉動引發(fā)了公眾的強烈抗議，微軟最終不得不放棄這一計劃[17]。

我們在這里提醒大家，不要僅僅從技術(shù)層面理解隱私問題，比如說“數(shù)據(jù)永遠不會離開設(shè)備”。Meredith Whittaker 指出[18]，設(shè)備上的欺詐行為檢測（fraud detection）可能會使持續(xù)監(jiān)控變得常態(tài)化，而且所構(gòu)建的這種基礎(chǔ)設(shè)施有可能被不良分子惡意利用。盡管如此，技術(shù)創(chuàng)新[19]確實能夠在一定程度上幫助我們保護隱私。

2.4 產(chǎn)品的安全問題

在產(chǎn)品安全方面，存在一系列相關(guān)的問題：例如 Gemini 的圖像生成功能存在偏見[20]等意外故障；例如聲音克隆或 deepfakes 等 AI 的濫用；以及如提示詞注入（prompt injection）等黑客攻擊，可能會泄露用戶數(shù)據(jù)或以其他方式損害用戶權(quán)益。

我們認為意外故障是可以修復(fù)的。至于大多數(shù)類型的濫用，我們的觀點是，無法創(chuàng)建[21]一個不會被濫用的模型，因此必須主要從下游進行防御。當(dāng)然，并非每個人都同意這種觀點，因此很多公司將繼續(xù)因為不可避免的濫用而不斷受到負面新聞的影響，但這些公司似乎已經(jīng)將這視為開展 AI 業(yè)務(wù)的一部分經(jīng)營成本??。

讓我們談?wù)劦谌?—— 黑客攻擊。據(jù)我們所知，這是大部分公司似乎最不關(guān)注的問題。至少從理論上講，災(zāi)難性的黑客攻擊[22]是有可能發(fā)生的，例如 AI worms（譯者注：比如電子郵件場景的 AI 蠕蟲病毒，黑客會精心構(gòu)建一個“有毒提示詞”，然后通過電子郵件發(fā)送給受害者A，受害者A可能并不知情，但是其 AI assistants 會查看這封“蠕蟲郵件”，然后執(zhí)行其中的命令，發(fā)送給更多人 B、C、D、E…）會在用戶之間傳播，誘騙這些用戶的 AI assistants 執(zhí)行有害行為（其中包括創(chuàng)建更多 worm 的副本）。

雖然已在許多概念驗證演示（proof-of-concept demonstrations）和漏洞賞金計劃[23][24]中發(fā)現(xiàn)了已部署產(chǎn)品中的這些漏洞，但我們還沒有看到這種類型的在野攻擊。我們不確定這是否是因為 AI assistants 的使用率較低導(dǎo)致的，還是因為市面上這些公司笨拙的防御措施[25]已被證明足夠有效，抑或是其他原因。時間會證明一切！

2.5 產(chǎn)品的用戶界面

因為大語言模型（LLMs）存在不確定性，所以在許多應(yīng)用場景中，如果機器人出現(xiàn)偏差，用戶需要能夠介入進行干預(yù)。在 chatbot 中，可能只是重新生成答案或顯示多個版本的答案，讓用戶自行選擇。但在錯誤成本較高的應(yīng)用場景中（例如預(yù)訂航班），如要確保充分的監(jiān)督便更加棘手了，系統(tǒng)必須避免頻繁打擾用戶，以免引起他們的不滿。

自然語言用戶界面的問題更為復(fù)雜，在這種用戶界面中，用戶與 AI assistants 進行對話， AI assistants 也會以自然語言回應(yīng)，這正是 GenAI 巨大潛力的體現(xiàn)所在。僅舉一個例子，如果人工智能能夠集成到智能眼鏡[26]中，并在你需要的時刻無需詢問便主動與你對話——比如檢測到你正在凝視一個外語標(biāo)志——這將是一種與目前完全不同的體驗。然而，受限的（譯者注：constrained，可能指的是那些不支持復(fù)雜交互或只提供有限操作選擇的界面。）用戶界面幾乎不允許出現(xiàn)錯誤或意外的行為。

03 Concluding thoughts

AI 的支持者經(jīng)常聲稱，由于 AI 能力的快速提升，我們應(yīng)該很快就能看到其對社會和經(jīng)濟產(chǎn)生的巨大影響。我們對當(dāng)前 AI 能力未來趨勢的預(yù)測和不嚴(yán)謹(jǐn)?shù)乃伎汲謶岩蓱B(tài)度[27]。更重要的是，即便 AI 能力確實迅速提升，開發(fā)者也需要跨越上文中的這些障礙。這些障礙涉及到社會和技術(shù)等方面的因素，而非純粹技術(shù)上的問題，因此進展會比較緩慢。即使這些障礙得到了解決，企業(yè)也需要將 AI 整合到現(xiàn)有產(chǎn)品和工作流中，并培訓(xùn)員工如何有效地使用 AI，同時避免其潛在的陷阱。我們預(yù)期這個過程應(yīng)該將在十年或更長時間內(nèi)而不是一兩年內(nèi)完成。

04 Further reading

Benedict Evans 曾撰文討論過[28][29]使用通用語言模型來構(gòu)建單一用途軟件（single-purpose software）的重要性。

腳注：

明確地說，我們并不認為限制對最先進模型的訪問就能減少濫用。但考慮到 LLMs（大語言模型）的濫用比合法使用更為容易（合法使用更需要經(jīng)過深思熟慮），因此濫用現(xiàn)象普遍存在并不令人意外。
AI 的整合速度是相對的。即便是蘋果在其產(chǎn)品中整合 AI 的方法，也受到了過于快速的批評。
這些因素都與用戶體驗息息相關(guān)；我們暫且不考慮環(huán)境成本（environmental costs）、版權(quán)問題（training on copyrighted data）等因素。
例如，GPT-3.5（text-davinci-003）API 每百萬個 token 的成本為 20 美元，而更強大的 gpt-4o-mini 的成本僅為 15 美分。
需要明確指出，數(shù)據(jù)源公開并不意味著沒有隱私問題。
例如，谷歌聲稱：“我們使用公開可用的信息來幫助訓(xùn)練谷歌的 AI 模型。”在其它場合，谷歌表示可能使用如電子郵件等私人數(shù)據(jù)來提供服務(wù)、維護和改善服務(wù)、提供個性化服務(wù)和開發(fā)新服務(wù)。與這些已披露信息一致的一種方法為，僅使用公共數(shù)據(jù)來預(yù)訓(xùn)練如 Gemini 這樣的模型，而使用私人數(shù)據(jù)來微調(diào)這些模型，以創(chuàng)建電子郵件自動回復(fù)機器人等應(yīng)用。Anthropic 是我們所知的唯一例外。它表示：“我們不會在未經(jīng)用戶明確許可的情況下使用用戶提交的數(shù)據(jù)來訓(xùn)練我們的生成模型。截至目前，我們尚未使用任何客戶或用戶提交的數(shù)據(jù)來訓(xùn)練我們的生成模型（generative models）。”盡管他們對保護用戶隱私的承諾令人欽佩，但我們預(yù)測，如果該公司想要進一步構(gòu)建產(chǎn)品，這將使該公司處于不利地位。

Thanks for reading!

Hope you have enjoyed and learned new things from this blog!

About the authors

Arvind Narayanan?is a professor of computer science at Princeton and the director of the Center for Information Technology Policy. He led the Princeton Web Transparency and Accountability Project to uncover how companies collect and use our personal information. His work was among the first to show how machine learning reflects cultural stereotypes. Narayanan is a recipient of the Presidential Early Career Award for Scientists and Engineers (PECASE).

Sayash Kapoor?is a computer science Ph.D. candidate at Princeton University’s Center for Information Technology Policy. His research focuses on the societal impact of AI. He previously worked on AI in the industry and academia at Facebook, Columbia University, and EPFL Switzerland. He is a recipient of a best paper award at ACM FAccT and an impact recognition award at ACM CSCW.

END