小型語言模型與大型語言模型：2025年對(duì)企業(yè)的影響

作者：岱軍 2024-12-12 09:11:58

現(xiàn)在是組織擁抱生成式人工智能熱潮的時(shí)候了。通過積極參與這項(xiàng)變革性技術(shù)，同時(shí)警惕潛在的陷阱，公司可以有效地應(yīng)對(duì)人工智能采用的復(fù)雜性。

小型語言模型 (SLM) 提供了比大型語言模型 (LLM) 更具成本效益的特定領(lǐng)域解決方案。

譯自Small Language Models vs. LLMs: What They'll Mean for Businesses in 2025，作者 Souvik Das。

隨著生成式AI的進(jìn)步以驚人的速度繼續(xù)改變運(yùn)營和流程，組織正處于一個(gè)關(guān)鍵時(shí)刻。

麥肯錫公司2024年5月的一份報(bào)告顯示，65%的受訪者現(xiàn)在至少在一個(gè)業(yè)務(wù)職能中定期使用生成式AI（GenAI）——幾乎是十個(gè)月前的數(shù)據(jù)的兩倍。

然而，雖然一些公司正在收獲早期回報(bào)，但另一些公司卻在與實(shí)施復(fù)雜性作斗爭(zhēng)，而規(guī)則仍在制定中。鑒于這種“蠻荒西部”的環(huán)境，挑戰(zhàn)是顯而易見的：隨著GenAI準(zhǔn)備加速各行各業(yè)人們的工作，企業(yè)領(lǐng)導(dǎo)者必須選擇如何有效地利用其潛力。

根據(jù)IBM 2024年5月調(diào)查結(jié)果，62%的CEO愿意在AI采用方面承擔(dān)比競(jìng)爭(zhēng)對(duì)手更大的風(fēng)險(xiǎn)，其中一半（51%）承認(rèn)，對(duì)落后的恐懼促使他們?cè)谏踔敛磺宄鋬r(jià)值的情況下投資某些技術(shù)。在這種情況下，企業(yè)面臨著大量關(guān)于如何最好地采用和運(yùn)行GenAI的決策——從選擇合適的基礎(chǔ)設(shè)施提供商和模型到管理組織內(nèi)部的組織變革。

在這個(gè)快速變化的環(huán)境中，以下是我們積累的關(guān)鍵經(jīng)驗(yàn)，這些經(jīng)驗(yàn)可以幫助領(lǐng)導(dǎo)者就如何以最有效的方式向前推進(jìn)其GenAI投資做出關(guān)鍵決策。

生成式AI采用趨勢(shì)

一旦預(yù)算分配完畢，CTO和應(yīng)用程序開發(fā)人員必須考慮許多可用的GenAI提供商。決策者必須評(píng)估每個(gè)模型或基礎(chǔ)設(shè)施的優(yōu)勢(shì)、風(fēng)險(xiǎn)和價(jià)格性能，因?yàn)镚enAI/LLM工具并非都相同。此外，像谷歌和亞馬遜這樣的行業(yè)巨頭不斷更新和創(chuàng)新他們的模型。每個(gè)模型都有不同的優(yōu)勢(shì)、能力和專長，可擴(kuò)展性和可定制性水平也不同。不同行業(yè)的公司將有獨(dú)特的需求，公司內(nèi)部的不同部門也將有特定的要求。

Gartner 2024年的調(diào)查發(fā)現(xiàn)，利用嵌入現(xiàn)有應(yīng)用程序中的GenAI（例如，Microsoft的Copilot for 365或Adobe Firefly）是實(shí)現(xiàn)GenAI用例的主要方法。其次是定制GenAI模型及提示工程(25%)，訓(xùn)練或微調(diào)定制的GenAI模型(21%)，或使用獨(dú)立的GenAI工具，如ChatGPT或Gemini(19%)。但是，例如，如何在一個(gè)OpenAI、Anthropic或Meta的開源Llama之間做出決定呢？

評(píng)估用于商業(yè)用途的生成式AI模型

我們建議循序漸進(jìn)——但不要過于循序漸進(jìn)以至于陷入癱瘓。企業(yè)的一個(gè)模型評(píng)估團(tuán)隊(duì)或小型組織的個(gè)人應(yīng)該探索哪些模型更適合特定應(yīng)用程序和查詢。理想情況下，團(tuán)隊(duì)將對(duì)不同模型的功效和效率獲得實(shí)際的理解。模型評(píng)估團(tuán)隊(duì)還應(yīng)該預(yù)測(cè)失誤，并在試用后保持嘗試不同模型的開放態(tài)度，因?yàn)镚enAI模型仍在不斷改進(jìn)。

需要多少提示工程？

在選擇集成GenAI工具的方法時(shí)，領(lǐng)導(dǎo)者必須考慮他們必須投入多少時(shí)間和資源來訓(xùn)練他們的模型。為通用任務(wù)設(shè)計(jì)的預(yù)訓(xùn)練模型需要最少的提示工程。在金融、能源或醫(yī)療保健等受嚴(yán)格監(jiān)管的行業(yè)中的組織會(huì)發(fā)現(xiàn)，他們的用例需要大量的提示工程來為他們的模型創(chuàng)建防護(hù)措施。參與內(nèi)容創(chuàng)作、營銷和客戶服務(wù)的人員需要更輕松的培訓(xùn)，以確保回復(fù)專業(yè)、公正且符合品牌策略。金融服務(wù)或醫(yī)療保健公司必須確保技術(shù)能夠滿足其用例和客戶需求。大多數(shù)公司都需要一定程度的提示工程來微調(diào)工具以適應(yīng)其領(lǐng)域。簡(jiǎn)單來說，你訓(xùn)練 GenAI 的越好，結(jié)果就越好。大多數(shù)行業(yè)可能會(huì)選擇更符合其需求的定制模型，而不是現(xiàn)成的解決方案，這完全有可能。能源公司主要開發(fā) GenAI 的策略 (60%) 是自己制作或大幅定制其模型。在金融服務(wù)和醫(yī)療保健領(lǐng)域，47% 的公司也在這樣做。

平衡領(lǐng)域?qū)I(yè)知識(shí)與人工智能技術(shù)

在 Clearwater Analytics，我們與全球金融機(jī)構(gòu)合作，嚴(yán)格構(gòu)建提示以確保它們理解查詢的細(xì)微上下文。對(duì)于試圖在金融、技術(shù)或能源等行業(yè)中使用復(fù)雜用例的公司而言，專業(yè)的提示分析師在這個(gè)階段非常寶貴。這些分析師會(huì)評(píng)估模型的響應(yīng)并改進(jìn)提示，以確保它們產(chǎn)生正確的結(jié)果。人工監(jiān)督在部署人工智能工具中仍然發(fā)揮著至關(guān)重要的作用。

我們已經(jīng)為客戶解決了兩個(gè)或三個(gè)強(qiáng)大的案例，使用 GenAI。但是，我們認(rèn)識(shí)到這是一個(gè)持續(xù)的過程。公司必須不斷為其運(yùn)營和客戶構(gòu)建更多用例，才能充分從 GenAI 代理中提取價(jià)值。在我們?cè)缙谑褂枚啻砉ぷ髁鞒痰膶?shí)驗(yàn)中，代理速度緩慢且性能低下，但我們不斷對(duì)其進(jìn)行迭代。我們發(fā)現(xiàn)，范圍越廣，這些代理就越成問題。

小型語言模型 (SLM) 的優(yōu)勢(shì)

如果你縮小模型的范圍，它們?cè)诨卮鹛囟▎栴}時(shí)就會(huì)變得更具響應(yīng)性和能力。例如，如果我正在構(gòu)建投資管理 GenAI 工作流程或客戶用例，我不需要大型語言模型訓(xùn)練內(nèi)容的 90%。我需要更窄的代理，這些代理深入了解與投資經(jīng)理相關(guān)的領(lǐng)域。我需要一位在金融服務(wù)領(lǐng)域擁有專業(yè)知識(shí)的人工智能專業(yè)人士來實(shí)現(xiàn)這一點(diǎn)。小型語言模型 (SLM) 將激增的最大原因是其可負(fù)擔(dān)性和資源節(jié)約。

高度調(diào)整的 LLMs 需要數(shù)十億個(gè)參數(shù)，規(guī)模如此之大，以至于互聯(lián)網(wǎng)上的數(shù)據(jù)都用完了。令人驚訝，對(duì)吧？訓(xùn)練這些 LLMs 需要大量的時(shí)間和大量的能源消耗，正如微軟重啟臭名昭著的三里島核電站以及英偉達(dá)及其 GPU 的市場(chǎng)價(jià)值飆升所證明的那樣。大多數(shù)公司無法承擔(dān)此類模型所需的巨額基礎(chǔ)設(shè)施投資。這就是為什么風(fēng)險(xiǎn)投資家正在資助 SLM，例如 Arcee 最近的 2400 萬美元 A 輪融資。

集成合成數(shù)據(jù)和精選數(shù)據(jù)用于 SLM

即使 SLM 的訓(xùn)練數(shù)據(jù)少得多，提供商仍在為此而苦苦掙扎，因?yàn)槟Ｐ偷暮脡娜Q于其底層數(shù)據(jù)集。因此，提供商花費(fèi)大量時(shí)間來確定使用哪些數(shù)據(jù)集進(jìn)行訓(xùn)練。然而，初創(chuàng)公司正在介入，創(chuàng)建經(jīng)過精細(xì)調(diào)整的合成數(shù)據(jù)集，公司可以使用這些數(shù)據(jù)集以精確的方式為其獨(dú)特的需求訓(xùn)練模型。

一系列公司正在開發(fā) GenAI 堆棧中每一層的工具，以提高其效率和性能。這進(jìn)一步支持了這樣一個(gè)觀點(diǎn)，即組織應(yīng)該保持靈活，不要過度依賴任何特定語言模型提供商，無論是 ChatGPT、Claude 還是 Anthropic。每個(gè)模型提供商都會(huì)獨(dú)立發(fā)展，因此必須確保您的基礎(chǔ)設(shè)施允許根據(jù)需要輕松交換模型。