2025 年 AI 與數據工程領域十大趨勢前瞻 原創
編者按： 在這篇文章中，作者從行業趨勢剖析的視角指出：當前 AI 領域正處于一個轉折點，其發展雖然不如預期迅猛，但正在朝著更加務實和可持續的方向演進。
文章深入探討了 AI 和數據工程領域的十大關鍵趨勢：從 AI 推理能力的局限性，到流程重于工具的重要性；從 AI 投資回報率的現狀，到 AI 普及速度低于預期但領導者在靜待時機；從小模型和專有模型之爭，到分析師和工程師角色的融合；從合成數據的機遇與挑戰，到非結構化數據技術棧的崛起；從 Agentic AI 對話雖表現出色但部署成問題，到數據管道規模擴大導致的質量保障挑戰。
展望 2025 年，AI 技術的發展或將更加注重實際價值的創造。對于企業而言，如何在這個轉型期找準定位、把握機遇，將是決定成敗的關鍵因素。
作者 | Barr Moses
編譯 | 岳揚
Image credit: Monte Carlo
業內專家們曾預言，2024 年將成為生成式 AI 的里程碑之年。實際應用案例不斷涌現，技術進步使得進入該領域的門檻不斷降低，而通用人工智能似乎也近在咫尺。
那么，這些預測都實現了嗎？
部分實現了。站在 2024 年的尾聲，其中一些預測已經如火如荼地成為現實。而其他的，尤其是通用人工智能，還需要更多時間來孵化。
以下是著名未來學家兼投資者 Tomasz Tunguz 對 2024 年底數據工程和 AI 領域的看法，以及我個人的幾點預測。
2025 年的數據工程趨勢正迎面而來。
01 我們正處于一個缺乏邏輯推理的世界（Tomasz）
在人工智能敵托邦（AI dystopia）的第三個年頭，我們觀察到企業開始在預期的一些領域創造價值 —— 然而，并非全方位的突破。Tomasz 認為，當前 AI 可以分為三個主要類別。
- 預測：能夠補全句子、修正代碼錯誤等的 AI “copilots”。
- 搜索：利用大語料庫回答問題的工具。
- 推理：能夠處理復雜任務的多步驟操作流程。
盡管 AI “copilots” 和搜索功能取得了一定的成就（尤其是前者），但推理模型的發展似乎還跟不上步伐。Tomasz 指出，這其中有一個顯而易見的原因。
那就是模型的準確性。
Tomasz 解釋說，當前的模型很難有效地將任務分解成不同的步驟，除非它們已經多次遇到過相同的模式。而對于這些模型可能承擔的大部分工作來說，這種情況并不常見。
“目前，如果一個大模型被要求制作一份財務計劃與分析圖表，它能夠完成。但如果有任何實質性的變化 —— 比如，我們從按軟件計費轉變為按使用量計費，模型就會不知所措。”
因此，目前的情況是，AI copilots 和部分準確的搜索結果占據了上風。
02 流程 > 工具（Barr）
新工具的價值，取決于支撐它的流程是否得力。
隨著“現代數據技術棧”的逐年演變，數據團隊有時會發現自己永遠處于一種疲于奔命的狀態。他們過分關注平臺能做什么，卻忽略了如何高效使用這些功能這一更為關鍵的問題。
然而，隨著企業界逐漸邁向 production-ready AI（譯者注：“production-ready AI” 是指 AI 系統已經準備好在實際業務環境中投入使用，能夠為企業或用戶提供價值），如何將這些新工具投入使用變得尤為迫切。
以數據質量為例，2024 年 AI 所需數據的地位日益凸顯，數據質量也隨之成為焦點。面對即將到來的 production-ready AI，企業數據領導者無暇在數據質量菜單中挑挑揀揀——這里試試 dbt 測試，那里使用點解決方案。他們現在就需要交付價值，迫切需要能夠立即上線并有效部署的可信賴解決方案。
面對臨近的 production-ready AI，企業數據領導者沒有時間在數據質量菜單中挑三揀四。他們已經肩負著交付業務價值的重任，急需能夠立即上線并有效部署的可信賴解決方案。
現實情況是，即使你擁有市場上最尖端的數據質量平臺——最先進的 automations 技術，最優秀的 copilots 系統，最完美的集成（integrations），但如果不能迅速讓企業運轉起來，那么你所擁有的不過是預算表上的一個細列項目，以及桌面上一個新增的標簽頁而已。
在未來一年內，我預計數據團隊會更傾向于采用經過驗證的端到端解決方案，而不是零散的工具集，以便集中精力應對數據質量所有權、事件管理以及長期領域賦能等更關鍵的挑戰。
能夠滿足這些核心需求的解決方案，將在 AI 領域脫穎而出，贏得最終的勝利。
03 AI 正在提升投資回報率 —— 但并非直接增加收入（Tomasz）
與所有數據產品一樣，GenAI 的價值體現在降低成本或創造收入兩個方面。
在創造收入方面，可能會涉及到 AI SDRS、數據增強設備或是推薦系統等技術。Tomasz 指出，這些工具雖然能夠拓寬銷售渠道…… 但這個渠道的質量可能并不理想。因此，如果 AI 未能直接增加收入，那么它應當致力于降低成本 —— 在這一點上，AI 這項新興技術已經有所建樹。
“實際上，沒有多少公司因此而關閉業務。它主要的作用在于降低成本。例如，Klarna 裁減了三分之二的員工。微軟和 ServiceNow 的工程效率提升了50–75%。”
Tomasz 認為，AI 應用如果符合以下三個條件之一，就有可能實現成本降低：
- 工作內容重復性高
- 勞動力市場面臨挑戰
- 招聘需求迫切
Tomasz 提到的一個有效利用 AI 創造新收入的例子是 EvenUp —— 這是一家自動化處理需求函的法律公司。像 EvenUp 這樣支持模板化但提供高度定制化服務的公司，可能會在現有 AI 技術的幫助下，獲得顯著的效益提升。
04 AI 的普及速度低于預期 — 但領導者們正在靜待時機（Tomasz）
與去年紛紛提出“AI 戰略”的熱潮相比，如今的領導者們似乎對 AI 技術有了更為審慎的態度。
“去年曾出現過一股浪潮，人們為了一睹為快而嘗試推出各種軟件。他們的董事會都在詢問他們的人工智能戰略。但現在，那些早期的嘗試中有很多人已經放棄了。”
有些企業在初步嘗試中并未發現 AI 的價值，而有些則因為技術本身的迅速發展而感到力不從心。Tomasz 指出，這是投資 AI 公司面臨的最大挑戰之一。并非 AI 技術理論上沒有價值，而是企業尚未掌握如何在實踐中有效利用它。
Tomasz 相信，下一階段的 AI 普及將不同于第一波，因為領導者們將更明確自己的需求，以及如何滿足這些需求。
就像在大幕拉開前的最后一次彩排，團隊們已經知道他們在尋找什么，他們已經解決了與法律和采購相關的許多問題 —— 尤其是數據丟失和數據保護相關的問題，他們正蓄勢待發，只等合適的機會出現。
未來的挑戰將是什么？“如何更快地發掘并實現價值？”
05 Small data 是 AI 的未來（Tomasz）
開源（open source）與托管（managed）之爭是一個老生常談的話題，但當涉及到 AI 時，這個問題變得更加復雜。
在企業層面，這不僅僅關乎控制權或互操作性，盡管這些因素確實存在，但更關鍵的是運營成本。
Tomasz 認為，最大的 B2C 企業可能會直接使用現成的模型，而 B2B 企業則更傾向于開發自己的專有模型或采用開源模型。
“在 B2B 領域，你會看到整體上更小的模型，以及更多的開源模型。這是因為運行一個小的開源模型成本要低得多。”
但小模型的優勢不僅僅在于成本，它們也能提升性能。像 Google 的大模型被設計用于應對各種場景，用戶可以問大模型幾乎任何問題，因此這些模型需要在龐大的數據語料庫上進行訓練，以提供相關的回答，比如水球、中國歷史或法式吐司。
然而，模型訓練的主題越多，就越容易混淆不同的概念 —— 隨著時間的推移，輸出的錯誤也會越多。
“你可以使用像 llama 2 這樣擁有 80 億參數的模型，然后用 10,000 張 support tickets（譯者注：“10,000 support tickets” 指的是 10,000 張支持工單，指企業在客戶服務或技術支持過程中記錄的問題或請求。每張工單可能包含客戶遇到的問題、解決方案、溝通記錄等信息。） 對其進行微調，它的表現會顯著提升，”Tomasz 解釋道。
此外，ChatGPT 和其他托管解決方案頻繁面臨法律挑戰，原因是它們的創建者可能并未合法獲得用于訓練模型的數據。
在許多情況下，這種指控并非空穴來風。
除了成本和性能，這一問題可能會對專有模型的長期采用產生影響 —— 尤其是在高度監管的行業，但其具體影響程度仍不確定。
當然，專有模型并未坐以待斃，Sam Altman 肯定也不會輕言放棄。
專有模型已經在通過大幅降價來刺激需求。像 ChatGPT 這樣的模型已經將價格降低了約 50%，并預計在未來 6 個月內再降 50%。這種成本削減可能是 B2C 企業在 AI 軍備競賽中競爭的關鍵助力。
06 分析師和數據工程師的界限正在模糊（Barr）
在擴展數據管道生產時，數據團隊通常會面臨兩大挑戰：分析師的技術經驗不足，而數據工程師的時間有限。
這似乎是 AI 可以解決的問題。
在我們展望數據團隊可能如何發展時，我認為有兩個主要趨勢可能會在 2025 年推動工程（engineering）和分析（analytical）職責的整合：
- 需求增長—— 隨著業務領導者對數據和 AI 產品的需求不斷增加，數據團隊將不得不用更少的資源完成更多的任務。為了盡量減少瓶頸，領導者自然會授權原本專業化的團隊為其數據管道及其利益相關者承擔更多責任。
- 提高自動化水平—— 新需求總是會催生新創新。（在這種情況下，這意味著是 AI 驅動的數據管道。）隨著技術變得更加自動化，工程師將能夠用更少的資源完成更多工作，而分析師也將能夠獨立處理更多任務。
這一邏輯很簡單 —— 隨著需求的增長，數據管道自動化自然會隨之發展以滿足需求。隨著自動化技術的進步，創建和管理這些數據管道的門檻將降低。技能差距將縮小，而創造新價值的能力將提升。
向自助式（self-serve） AI 驅動的數據管道管理邁進，意味著每個人工作中最繁瑣的部分將被自動化取代 —— 而他們在這個過程中創造和展示新價值的能力將得到提升。這聽起來會是一個美好的未來。
07 合成數據很重要 —— 但它是有代價的（Tomasz）
你可能見過 “蛇吞象 ”的畫面。如果仔細觀察，會發現它與當代 AI 的發展有著驚人的相似之處。
目前互聯網上大約有 21–25 萬億個 token（單詞）。當前正在使用的 AI 模型已經消耗了所有這些數據。為了讓 AI 繼續進步，它需要在一個更大的數據語料庫上進行訓練。數據越多，輸出的上下文就越豐富，準確性也就越高。
那么，當 AI 研究人員用完了訓練數據時，他們會做什么呢？
他們會自己制造數據。
隨著訓練數據變得越來越稀缺，像 OpenAI 這樣的公司認為，合成數據將成為未來訓練模型的重要組成部分。在過去兩年里，整個行業已經圍繞這一愿景發展起來 —— 包括像 Tonic 這樣生成合成結構化數據的公司，以及 Gretel 這樣為金融和醫療保健等受監管行業創建合規數據的公司。
但合成數據是長期解決方案嗎？可能不是。
合成數據的工作原理是利用模型來創建人工數據集，這些數據集模擬了人們可能在自然環境中找到的數據，然后用這些新數據來訓練模型。在小范圍內，這確實很有意義。但正如俗話所說，“過猶不及”……
你可以將其類比為“上下文營養不良（contextual malnutrition）”。就像食物一樣，如果新鮮的有機數據是模型訓練中最有營養的，那么從現有數據集中提煉出來的數據，本質上一定比原始數據“營養”更少。
加一點人工調味料是可以的 —— 但如果長期依賴合成訓練數據，而沒有引入新的“天然”數據[1]，模型最終會失效（或者至少，其表現會明顯下降）。
這不是“是否”會發生的問題，而是“何時”會發生的問題。
根據 Tomasz 的說法，我們離模型崩潰還很遠。但隨著 AI 研究不斷將模型推向其功能極限，不難想象 AI 最終會達到其功能平臺極限 —— 可能比我們預期的更早。
08 非結構化數據技術棧將嶄露頭角（Barr）
在生產中利用非結構化數據的想法并不新鮮 —— 但在人工智能時代，非結構化數據已經扮演了全新的角色。
根據 IDC 的一份報告，目前只有大約一半的企業非結構化數據得到了分析[2]。
這一切即將改變。
說到生成式人工智能，企業的成功在很大程度上取決于用于訓練、微調和增強的大量非結構化數據。隨著越來越多的企業希望將人工智能應用于企業使用場景，對非結構化數據，以及新興的“非結構化數據技術棧[3]”的熱情將繼續增長。
一些團隊甚至正在探索如何使用額外的 LLMs（大語言模型）來為非結構化數據添加結構[4]，以擴展其在其他訓練和分析使用場景中的用途。
識別企業中存在的非結構化第一方數據，以及如何為利益相關者激活這些數據 —— 對于尋求展示數據平臺商業價值的數據領導者來說，是一個全新的機遇（并希望在此過程中為優先計劃爭取到一些額外的預算）。
如果說 2024 年是探索非結構化數據潛力的一年，那么 2025 年將完全是實現其價值的一年。問題是……哪些工具將脫穎而出？
09 Agentic AI 對話表現出色 —— 但部署卻成問題（Tomasz）
如果你最近在風投圈子里轉悠，可能會經常聽到兩個流行詞匯：“copilot”，這其實是指一種用于完成單個任務的 AI（比如“修正我那糟糕的代碼”），以及“agents”，這是一種能夠收集信息并據此執行多步驟任務的工作流程（例如“撰寫關于我那糟糕代碼的博客，并發布到我的 WordPress 上”）。
2024 年，AI copilots 確實取得了不小的成就（問問 Github、Snowflake、微軟的 paperclip 團隊就知道了），但 AI agents 的表現又如何呢？
盡管 Agentic AI 給客戶支持團隊帶來了不少樂趣，但看起來它在短期內也就只能做到這個程度。這些早期的 AI agents 雖然標志著我們向前邁出的重要一步，但其工作流程的準確性仍然不盡人意。
要知道，對于人工智能來說，75%-90% 的準確率已經是最先進的水平了，大多數 AI 的水平相當于高中生。如果三個步驟的準確率在 75–90%，那么最終的準確率可能只剩下 50% 左右。
我們訓練大象畫畫的準確率都比這高。
大多數 AI agents 如果以目前的性能投入生產，遠不能為企業帶來收益，很可能還會帶來負面影響。Tomasz 認為，我們需要先解決這個問題。
重要的是能夠談論這些 AI agents，還沒有人能夠在項目演示之外取得過任何成功。硅谷的人們或許喜歡談論 AI agents，但這種討論并不能轉化為實際的性能表現。
10 數據管道規模不斷擴大 —— 但質量保障并未同步提升（Tomasz）
“在一次與眾多 AI 領域領導者的晚宴上，我詢問了有多少人對輸出結果的質量感到滿意，結果無人響應。在確保輸出一致性方面，我們確實面臨著嚴峻的質量挑戰。”
Monte Carlo 每年都會調查[5]數據專家的真實數據質量狀況。今年，我們將焦點對準了 AI 的影響范圍，得到的信號非常明確。
數據質量風險正在演變，但數據質量管理卻未能跟上步伐。
“我們觀察到一些團隊正在大規模構建向量數據庫或嵌入模型，規模化應用 SQLLite，共計 1 億個小數據庫。它們開始在 CDN 層進行架構設計，以運行這些小型模型。iPhone 也將搭載機器學習模型。我們預計將看到數據管道總數的大幅增長，但每個管道處理的數據量會更小。”
微調模式將導致企業內部數據管道數量急劇增加。然而，數據管道規模越大，保證數據質量就越發困難。
數據質量與數據管道的數量和復雜度直接相關。數據管道越多（且越復雜），出現問題的幾率就越高，而及時發現問題的可能性就越小。
Thanks for reading!
Hope you have enjoyed and learned new things from this blog!
About the authors
Barr Moses
Co-Founder and CEO, Monte Carlo (??www.montecarlodata.com??).
@BM_DataDowntime #datadowntime
END
本期互動內容 ??
?在你的日常工作中，哪個趨勢已經開始顯現？歡迎分享你的觀察
??文中鏈接??
[2]??https://www.box.com/resources/unstructured-data-paper??
[3]??https://www.felicis.com/insight/unstructured-data-stack??
[4]??https://www.montecarlodata.com/blog-generative-ai-use-case-assurance/??
[5]??https://resources.montecarlodata.com/ebooks/data-quality-survey??
原文鏈接：
??https://towardsdatascience.com/top-10-data-ai-trends-for-2025-4ed785cafe16??
