生成式人工智能的未來(lái)可能依賴于企業(yè)使用的每個(gè)應(yīng)用程序的更小的語(yǔ)言模型，這些模型既靈活又可定制，也更安全。

隨著組織繼續(xù)采用生成式人工智能(GenAI)工具和平臺(tái)，并探索它們?nèi)绾蝿?chuàng)造效率和提高員工生產(chǎn)力，他們也在努力應(yīng)對(duì)這項(xiàng)技術(shù)的高成本和復(fù)雜性。

生成式人工智能和人工智能的基礎(chǔ)是語(yǔ)言模型、算法和神經(jīng)網(wǎng)絡(luò)，它們?yōu)镺penAI公司的ChatGPT和谷歌的Bard等聊天機(jī)器人提供動(dòng)力。目前最流行和廣泛使用的模型被稱為大型語(yǔ)言模型(LLM)。

大型語(yǔ)言模型(LLM)的規(guī)模可能很大。該技術(shù)與大量不同的信息庫(kù)聯(lián)系在一起，模型包含數(shù)十億(有時(shí)甚至是數(shù)萬(wàn)億)個(gè)參數(shù)(或變量)，這些參數(shù)(或變量)可能使它們既不準(zhǔn)確，也不適合領(lǐng)域任務(wù)或垂直行業(yè)使用。

小型語(yǔ)言模型(slm)得到了迅速的發(fā)展，有些人甚至認(rèn)為它已經(jīng)成為主流的企業(yè)技術(shù)。slm被設(shè)計(jì)為能夠很好地執(zhí)行較簡(jiǎn)單的任務(wù);對(duì)于資源有限的組織來(lái)說(shuō)，它們更容易訪問(wèn)和使用;他們天生更安全，因?yàn)樗麄兩钤谝粋€(gè)完全自我管理的環(huán)境中;它們可以針對(duì)特定領(lǐng)域和數(shù)據(jù)安全進(jìn)行微調(diào);而且比型語(yǔ)言模型(LLM)更便宜。

IDC人工智能研究小組副總裁Ritu Jyoti表示，小型語(yǔ)言模型(slm)非常適合那些希望構(gòu)建可在本地設(shè)備上運(yùn)行的應(yīng)用程序(而不是在云端)的組織。Jyoti說(shuō)。“在任務(wù)不需要大量推理或需要快速響應(yīng)的情況下。”

與其相反，大型語(yǔ)言模型(LLM)更適合那些需要協(xié)調(diào)復(fù)雜任務(wù)的應(yīng)用，這些任務(wù)涉及高級(jí)推理、數(shù)據(jù)分析和更好地理解場(chǎng)景。

小型語(yǔ)言模型(slm)可以使用開(kāi)源人工智能框架從零開(kāi)始構(gòu)建，這意味著組織可以為任何目的創(chuàng)建高度可定制的人工智能工具，而無(wú)需獲得許可，它可以研究系統(tǒng)如何工作并檢查其組件，它可以為任何目的修改系統(tǒng)，包括改變其輸出。

開(kāi)源提供了更多的自由和定制

人工智能原型開(kāi)發(fā)商N(yùn)ewtupleTechnologies公司首席執(zhí)行官DhirajNambiar表示，小型語(yǔ)言模型(slm)的采用率正在增長(zhǎng)，因?yàn)樗鼈兛梢赃M(jìn)行微調(diào)或定制訓(xùn)練，并且在狹窄的任務(wù)范圍內(nèi)表現(xiàn)出色，有時(shí)可以與大型llm相媲美。”

例如，他說(shuō)，現(xiàn)在有一些小型語(yǔ)言模型(slm)在光學(xué)字符識(shí)別(OCR)類型的任務(wù)和文本到SQL的任務(wù)上做得“很好”。Nambiar說(shuō)，“一些開(kāi)源軟件顯示出與型語(yǔ)言模型(LLM)相當(dāng)?shù)男阅堋！?/p>

事實(shí)上，目前最流行的型語(yǔ)言模型(slm)都是開(kāi)源的，IDC的Jyoti指出。它們包括:

• meta的Llama3
• 微軟的Phi-3
• 谷歌的杰瑪
• mitralAI的Mixtral8x7B
• 蘋果的OpenELM

最流行的非開(kāi)源slm(專有的，不能免費(fèi)供公眾使用)包括:

• DeepSeekAI的編碼器
• 微軟的Phi-2
• 微軟的Orca-2

Jyoti說(shuō):“這些模型通常在特定組織中使用，或者作為商業(yè)服務(wù)的一部分提供，在提供高級(jí)功能的同時(shí)保持對(duì)其分發(fā)和使用的控制。”

人工智能模型從輸入推斷出它將產(chǎn)生的輸出，例如預(yù)測(cè)、內(nèi)容、建議或可以影響物理或虛擬環(huán)境的決策。不同的人工智能系統(tǒng)在部署后的自主性和適應(yīng)性水平各不相同。

用最簡(jiǎn)單的術(shù)語(yǔ)來(lái)說(shuō)，小型語(yǔ)言模型(SLM)是輕量級(jí)的生成式人工智能模型。管理咨詢和軟件開(kāi)發(fā)公司Version1人工智能實(shí)驗(yàn)室的高級(jí)技術(shù)研究員羅斯RosemaryThomas表示，這里的“小”指的是模型神經(jīng)網(wǎng)絡(luò)的大小、參數(shù)的數(shù)量和用于訓(xùn)練的數(shù)據(jù)量。她說(shuō)，雖然一些小型語(yǔ)言模型(SLM)實(shí)現(xiàn)可能需要大量的計(jì)算和內(nèi)存資源，但有幾個(gè)可以在單個(gè)GPU上運(yùn)行，并且有超過(guò)50億個(gè)參數(shù)。

Thomas在最近的一篇文章中指出，其中包括谷歌雙子座納米，微軟的Orca-2-7b和Orca-2-13b,Meta的Llama-2–13b等。

Thomas表示，由于對(duì)更高效模型的需求以及對(duì)模型的訓(xùn)練和設(shè)置速度的需求，小型語(yǔ)言模型(slm)的采用正在增長(zhǎng)。她說(shuō):“由于計(jì)算資源、訓(xùn)練時(shí)間和特定應(yīng)用需求等實(shí)際考慮，小型語(yǔ)言模型(slm)越來(lái)越受歡迎。在過(guò)去的幾年里，小型語(yǔ)言模型(slm)變得越來(lái)越重要，特別是在可持續(xù)性和效率至關(guān)重要的情況下。”

與llm相比，最關(guān)鍵的區(qū)別在于規(guī)模。較大的模型在來(lái)自不同來(lái)源的大量數(shù)據(jù)上進(jìn)行訓(xùn)練，使它們能夠捕獲廣泛的語(yǔ)言模式，而小型語(yǔ)言模型(slm)更緊湊，并且在較小的(通常是專有的)上進(jìn)行訓(xùn)練。數(shù)據(jù)集。這允許更快的訓(xùn)練和推理時(shí)間。

大型語(yǔ)言模型(LLM)還需要更多的計(jì)算資源和更長(zhǎng)的訓(xùn)練時(shí)間。Thomas說(shuō):“這使得小型語(yǔ)言模型(slm)成為資源有限或需要快速實(shí)現(xiàn)的應(yīng)用程序的更實(shí)用的選擇。”

Thomas表示，盡管型語(yǔ)言模型(LLM)在內(nèi)容生成、語(yǔ)言翻譯和理解復(fù)雜查詢等任務(wù)上表現(xiàn)出色，但如果進(jìn)行了正確的微調(diào)，小型模型也可以達(dá)到類似的性能。

她說(shuō)，“小型語(yǔ)言模型(slm)對(duì)于特定領(lǐng)域的任務(wù)特別有效，因?yàn)樗鼈兊某叽绺。评頃r(shí)間更快。”

建造還是購(gòu)買?

考慮使用開(kāi)源框架從零開(kāi)始構(gòu)建自己的人工智能模型的組織應(yīng)該明白，調(diào)整現(xiàn)有模型既昂貴又耗時(shí)，Nambiar說(shuō)。“構(gòu)建自己的人工智能模型有很多方法，從從頭開(kāi)始構(gòu)建到對(duì)現(xiàn)有開(kāi)源模型進(jìn)行微調(diào);前者需要精心設(shè)置GPU、TPU，需要訪問(wèn)大量數(shù)據(jù)，還需要大量的專業(yè)知識(shí)。所需的軟件和硬件堆棧是可用的，然而，主要的障礙將是剩余的組件。

我強(qiáng)烈建議，對(duì)于特定領(lǐng)域的用例，最好‘微調(diào)’現(xiàn)有的小型語(yǔ)言模型(slm)或LLM，而不是從頭開(kāi)始構(gòu)建一個(gè)。現(xiàn)在有許多開(kāi)源小型語(yǔ)言模型(slm)可用，其中許多都有非常允許的許可證。這是目前構(gòu)建自己的模型的方法。這廣泛適用于所有變壓器型號(hào)。”

紅帽公司高級(jí)副總裁兼首席營(yíng)收官AndrewBrown,說(shuō)，這不應(yīng)該是一個(gè)孤注一擲的SLM戰(zhàn)略。首先，訓(xùn)練一個(gè)單一的通用AI模型需要大量的資源。

他說(shuō)，“一些最大的型號(hào)可能需要大約10,000個(gè)gpu，而這些型號(hào)可能已經(jīng)過(guò)時(shí)了。事實(shí)上，研究表明，到2026年，訓(xùn)練人工智能的成本將相當(dāng)于美國(guó)的GDP，即22萬(wàn)億美元。一般的首席信息官?zèng)]有美國(guó)GDP水平的IT預(yù)算，也沒(méi)有成千上萬(wàn)的閑置GPU。那么，答案是什么?由開(kāi)源創(chuàng)新驅(qū)動(dòng)的專業(yè)化、小型人工智能模型。”

根據(jù)Nambiar的說(shuō)法，比較不同人工智能提供商的成本面臨的一大挑戰(zhàn)是使用不同的術(shù)語(yǔ)進(jìn)行定價(jià)——OpenAI使用令牌，谷歌使用字符，Cohere使用“代”、“分類”和“總結(jié)單位”的組合。Nambiar的公司為商業(yè)自動(dòng)化構(gòu)建人工智能。

Nambiar確定了“每1000個(gè)代幣的價(jià)格”來(lái)評(píng)估不同的價(jià)格。

為業(yè)務(wù)目的微調(diào)LLM意味著組織依賴AI提供商來(lái)托管基礎(chǔ)設(shè)施。Nambiar說(shuō)，企業(yè)應(yīng)該根據(jù)基礎(chǔ)設(shè)施和人力資源來(lái)規(guī)劃一個(gè)兩到四個(gè)月的項(xiàng)目。Nambiar說(shuō)，成本通常起價(jià)在5萬(wàn)美元以上。

微調(diào)小型語(yǔ)言模型(slm)通常會(huì)更昂貴，因?yàn)槿绻粋€(gè)組織托管開(kāi)源模型，它將需要啟動(dòng)基礎(chǔ)設(shè)施（GPU和/或TPU服務(wù)）以及在微調(diào)和人工成本上花費(fèi)精力。他說(shuō)，“假設(shè)它會(huì)比大型語(yǔ)言模型(LLM)更貴。”

干凈的數(shù)據(jù)帶來(lái)可靠的結(jié)果

無(wú)論是構(gòu)建自己的SLM還是使用基于云的小型語(yǔ)言模型(slm)，數(shù)據(jù)質(zhì)量對(duì)于準(zhǔn)確性至關(guān)重要。與大型語(yǔ)言模型(LLM)一樣，小模特仍然可能成為幻覺(jué)的受害者;當(dāng)人工智能模型產(chǎn)生錯(cuò)誤或誤導(dǎo)性信息時(shí)，通常是由于有缺陷的訓(xùn)練數(shù)據(jù)或算法。但是，它們可以更容易地進(jìn)行調(diào)整，并且更有可能更深入地了解組織的專有數(shù)據(jù)。

與大型語(yǔ)言模型(LLM)一樣，檢索增強(qiáng)生成(RAG)技術(shù)可以通過(guò)定制模型來(lái)減少幻覺(jué)的可能性，從而使響應(yīng)變得更加準(zhǔn)確。

同時(shí)，由于它們的規(guī)模和數(shù)據(jù)集較小，與大型語(yǔ)言模型(LLM)相比，小型語(yǔ)言模型(slm)不太可能捕獲更廣泛的語(yǔ)言模式，這可能會(huì)降低它們的有效性。雖然小型語(yǔ)言模型(slm)可以針對(duì)特定任務(wù)進(jìn)行微調(diào)，但llm往往擅長(zhǎng)于更復(fù)雜、定義不太明確的查詢，因?yàn)樗鼈兛梢詮闹刑崛〈罅繑?shù)據(jù)。

Thomas說(shuō):“簡(jiǎn)而言之，小型語(yǔ)言模型(slm)為特定領(lǐng)域和任務(wù)提供了更高效、更經(jīng)濟(jì)的替代方案，特別是在微調(diào)以充分發(fā)揮其潛力的情況下，而大型語(yǔ)言模型(LLM)仍然是廣泛應(yīng)用的強(qiáng)大模型。”

Digital.ai公司北美地區(qū)首席技術(shù)官AdamKentosh,表示，小型語(yǔ)言模型(slm)對(duì)于清理數(shù)據(jù)和微調(diào)數(shù)據(jù)存儲(chǔ)非常重要，以獲得更好的性能、可持續(xù)性、降低業(yè)務(wù)風(fēng)險(xiǎn)和偏見(jiàn)。

根據(jù)Kentosh的說(shuō)法，人工智能計(jì)劃已經(jīng)陷入了“幻滅的低谷”，這是可以通過(guò)解決數(shù)據(jù)質(zhì)量問(wèn)題來(lái)避免的。

到2028年，由于成本、復(fù)雜性和部署中的技術(shù)債務(wù)，超過(guò)50%的從頭開(kāi)始構(gòu)建大型語(yǔ)言模型(LLM)的企業(yè)將放棄他們的努力。

Kentosh說(shuō):“我們繼續(xù)面對(duì)現(xiàn)有客戶的最大挑戰(zhàn)之一是數(shù)據(jù)源的多樣化，甚至在軟件開(kāi)發(fā)的共同領(lǐng)域也是如此。例如，大多數(shù)公司擁有兩個(gè)或更多的敏捷規(guī)劃解決方案。此外，在發(fā)布軟件方面幾乎沒(méi)有一致性。這使得數(shù)據(jù)預(yù)處理變得非常重要，這是許多公司歷來(lái)不擅長(zhǎng)的事情。”

根據(jù)Nambiar的說(shuō)法，為微調(diào)模型獲得精心策劃的、特定于領(lǐng)域的數(shù)據(jù)并不是一項(xiàng)微不足道的任務(wù)。他說(shuō)，“變壓器模型需要一種特定類型的快速響應(yīng)對(duì)數(shù)據(jù)，而這種數(shù)據(jù)很難獲得。”

Nambiar說(shuō)，一旦一個(gè)組織決定對(duì)自己的小型語(yǔ)言模型(slm)進(jìn)行微調(diào)，它就必須不斷投資，以保持來(lái)自最先進(jìn)模型的基準(zhǔn)。隨著每一個(gè)新的大型語(yǔ)言模型(LLM)模型的發(fā)布，推理能力的標(biāo)準(zhǔn)都在提高，因此，如果你要?jiǎng)?chuàng)建自己的微調(diào)小型語(yǔ)言模型(slm)，也必須提高這個(gè)模型的推理能力，否則你的模型就沒(méi)有用例了。”

Brown,表示，開(kāi)源人工智能模型現(xiàn)在并不罕見(jiàn)，今年早些時(shí)候Meta等行業(yè)巨頭都在倡導(dǎo)其Llama模型開(kāi)源的重要性。他說(shuō):“這對(duì)組織來(lái)說(shuō)是個(gè)好消息，因?yàn)檫@些開(kāi)源模型提供了很多好處，比如防止供應(yīng)商鎖定，允許廣泛的合作伙伴生態(tài)系統(tǒng)，性能的可承受性等等。但不幸的是，如果你沒(méi)有數(shù)據(jù)科學(xué)家來(lái)處理這個(gè)模型，這些都不重要。”

大多數(shù)組織最多只能雇傭少數(shù)數(shù)據(jù)科學(xué)家，無(wú)論是由于合格人才的稀缺，還是由于雇傭他們的成本。Brown說(shuō)，“這在有效訓(xùn)練和調(diào)整模型方面造成了瓶頸。”

轉(zhuǎn)向混合部署?

Brown指出，首席信息官們長(zhǎng)期以來(lái)一直在遠(yuǎn)離單一技術(shù)——從21世紀(jì)初從UNIX向Linux的轉(zhuǎn)變開(kāi)始。他認(rèn)為人工智能正處于類似的轉(zhuǎn)折點(diǎn)，并認(rèn)為類似于混合云的混合戰(zhàn)略對(duì)部署人工智能模型最有利。雖然大型的，有些不固定的大型語(yǔ)言模型(LLM)是當(dāng)今的焦點(diǎn)，但未來(lái)的IT環(huán)境是50%的應(yīng)用程序和50%的小型語(yǔ)言模型(slm)。

Brown說(shuō)，“數(shù)據(jù)無(wú)處不在，無(wú)論是內(nèi)部部署、云端還是邊緣。因此，數(shù)據(jù)本質(zhì)上是混合的，因?yàn)槿斯ぶ悄苄枰谀愕臄?shù)據(jù)所在的地方運(yùn)行，它也必須是混合的。事實(shí)上，我們經(jīng)常告訴客戶和合作伙伴:人工智能是最終的混合工作負(fù)載。”

他繼續(xù)說(shuō)道，“從本質(zhì)上講，首席信息官將擁有與應(yīng)用程序一樣多的人工智能模型。這意味著訓(xùn)練需要更快，調(diào)優(yōu)需要加快，成本需要降低。這一挑戰(zhàn)的關(guān)鍵在于開(kāi)源。就像它使計(jì)算民主化一樣，開(kāi)源將為人工智能帶來(lái)民主化。”