譯者 | 布加迪

審校 | 重樓

LLM生態(tài)環(huán)境漸漸充斥著一群更小巧的專用模型。

AI大語言模型（LLM）市場已達(dá)到了成熟階段，即將通過碎片化迎來轉(zhuǎn)變。LLM時代以強大的海量數(shù)據(jù)處理能力而令人矚目，已帶領(lǐng)世界由前生成式AI（GenAI）時代邁入了生成式AI時代，并幫助個人和組織了解這項技術(shù)以及如何利用該技術(shù)為自己謀利。現(xiàn)在，更多的人希望將GenAI應(yīng)用于更多領(lǐng)域，以解決他們以前無法解決的問題。

如今我們正處于懸崖邊，這是新興技術(shù)生命周期中很自然的演變過程。LLM的規(guī)模已如此龐大，以至于它們已經(jīng)消耗了所有可用的訓(xùn)練數(shù)據(jù)，但它們?nèi)匀豢释@得更多的數(shù)據(jù)來持續(xù)創(chuàng)新。一些模型甚至在創(chuàng)建合成數(shù)據(jù)以供學(xué)習(xí)。雖然這些龐大的智能系統(tǒng)具有變革性，但最大最新的模型并不總是正確的解決方案。以一位遠(yuǎn)程維修新型飛機的飛機機械師為例——他們不需要LLM的全部能力，LLM會告訴他們莎士比亞如何編寫手冊；他們只需要圖像、視頻、操作說明，或許還有語言翻譯。他們可能還需要能夠在沒有互聯(lián)網(wǎng)連接的情況下通過手機訪問這些信息。

為了實現(xiàn)下一個演進(jìn)，LLM市場將效仿所有其他廣泛實施的技術(shù)，細(xì)分為一個由更專業(yè)化的模型組成的“xLM”市場，其中x代表各種模型。語言模型正部署在需求取決于具體的應(yīng)用和用例的更多地方，比如降低功耗或提高安全和保障措施。規(guī)模是另一個因素，但我們也將看到各種功能和模型，它們具有可移植性、遠(yuǎn)程性、混合性以及針對特定的領(lǐng)域和區(qū)域。伴隨這種發(fā)展，用例將更加靈活多樣，定價、安全和延遲方面會有更多的選擇。

重新構(gòu)思模型訓(xùn)練和數(shù)據(jù)管理

我們必須重新思考AI模型的訓(xùn)練方式，以便為xLM市場做好充分準(zhǔn)備并積極擁抱它。未來更具創(chuàng)新性的AI模型以及對通用人工智能的追求取決于高級推理能力（正如 OpenAI 的o3模型所展示的早期階段），但這需要重新構(gòu)建數(shù)據(jù)管理實踐。當(dāng)前的方法過于依賴靜態(tài)數(shù)據(jù)，限制了準(zhǔn)確性和實時響應(yīng)能力。

系統(tǒng)將被設(shè)計成能夠靈活地實時處理結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和流數(shù)據(jù)，同時遵守治理和安全政策。適應(yīng)性至關(guān)重要，因為隨著語言模型變得更復(fù)雜，它們將被嵌入到一些目前似乎沒有意義的功能中。因此，設(shè)計靈活的管道將減少未來重建平臺的需求。這可以通過利用獨特管理的數(shù)據(jù)的兩個領(lǐng)域來實現(xiàn)：符合法規(guī)的精選訓(xùn)練數(shù)據(jù)，以及針對穩(wěn)健性、成本、延遲和安全進(jìn)行優(yōu)化的實時數(shù)據(jù)。

應(yīng)對實時數(shù)據(jù)挑戰(zhàn)

為xLM時代準(zhǔn)備實時數(shù)據(jù)管道必然會增加數(shù)據(jù)工程資源的壓力，尤其是對于目前依賴靜態(tài)批量數(shù)據(jù)上傳和微調(diào)的組織而言。在過去，實時準(zhǔn)確性要求專業(yè)團隊在保持?jǐn)?shù)據(jù)準(zhǔn)確性的同時完成定期批量上傳，這帶來了成本和資源方面的障礙。隨著更多的組織力求獲得即時準(zhǔn)確性，數(shù)量有限的熟練工程師面臨的壓力隨之加大。然而目前有解決方案。

實時管道革命

隨著模型市場不斷發(fā)展，實時AI（Live AI）成了一項顛覆行業(yè)的創(chuàng)新。將批處理與實時數(shù)據(jù)連接器或基于API的數(shù)據(jù)源相結(jié)合的混合數(shù)據(jù)管道提高了模型準(zhǔn)確性，因為它們可以不斷學(xué)習(xí)和忘掉學(xué)習(xí)。這不僅改善了AI輸出，還減輕了數(shù)據(jù)工程負(fù)擔(dān)，因為他們不再需要準(zhǔn)備數(shù)據(jù)、不斷地連接管道。

未來，大多數(shù)數(shù)據(jù)管道都將成為AI管道，所有AI應(yīng)用系統(tǒng)都將含有實時要素。組織和數(shù)據(jù)團隊必須了解這一點，并為此做好準(zhǔn)備，以免日后重建平臺。管道必須從一開始就設(shè)計成能夠自動集成、轉(zhuǎn)換數(shù)據(jù)并將其饋入模型，無需持續(xù)的人工干預(yù)。越來越多的工具和數(shù)據(jù)基礎(chǔ)設(shè)施讓組織不需要大量的評估和訓(xùn)練周期，可以在短短數(shù)小時內(nèi)啟動并運行現(xiàn)代化的數(shù)據(jù)源，立即減少了對數(shù)據(jù)團隊的需求。這些更靈活的解決方案使試驗更容易實現(xiàn)，并鼓勵組織選擇能夠無縫適應(yīng)未來應(yīng)用和用例變化的工具。

采用支持自動化和智能數(shù)據(jù)管理的智能框架為更具創(chuàng)新性的模型奠定了基礎(chǔ)。當(dāng)數(shù)據(jù)工程團隊的工作量中不再含有重復(fù)且繁重的任務(wù)時，他們就可以探索新的模型，創(chuàng)造性地解決問題，并幫助領(lǐng)導(dǎo)者了解哪些類型的模型能夠提高效率，并擴大組織影響力。

為更智能的模型更新改造數(shù)據(jù)管理

邁向多元化的xLM市場將是AI發(fā)展的關(guān)鍵階段。擁抱這些更智能、更專業(yè)的模型，并更新改造其背后的數(shù)據(jù)基礎(chǔ)設(shè)施，將使AI生態(tài)系統(tǒng)在面臨當(dāng)前發(fā)展瓶頸的情況下蓬勃發(fā)展，開拓更多的用例，并激發(fā)徹底改變行業(yè)的創(chuàng)新。

原文標(biāo)題：The Rise of xLMs: Why One-Size-Fits-All AI Models Are Fading，作者：Victor Szczerba