譯者 | 陳峻
審校 | 重樓
在這短短幾年內(nèi)，大語(yǔ)言模型(LLM)已經(jīng)從處理幾千個(gè)token的水平發(fā)展到了能夠駕馭數(shù)百萬(wàn)個(gè)token。其近乎無(wú)限的上下文窗口，正在為人類解鎖更多新的應(yīng)用，并以更簡(jiǎn)單方法實(shí)現(xiàn)各項(xiàng)自定義任務(wù)。
根據(jù)卡內(nèi)基梅隆大學(xué)(Carnegie Mellon University)和特拉維夫大學(xué)(Tel Aviv University)研究人員最近的一項(xiàng)研究(https://arxiv.org/abs/2405.00200)，使用長(zhǎng)上下文模型的上下文學(xué)習(xí)(In-context Learning，ICL)可以達(dá)到與微調(diào)模型(Fine-tuned Models)相當(dāng)、甚至超過(guò)微調(diào)模型的性能水平，尤其是在處理那些大型數(shù)據(jù)集的時(shí)候。
同時(shí)，該研究結(jié)果表明，具有長(zhǎng)上下文LLM的ICL，可以幫助產(chǎn)品團(tuán)隊(duì)創(chuàng)建各種原型和完整的應(yīng)用程序，而無(wú)需使用那些資源密集型且耗時(shí)的技術(shù)。
少樣本(Few-shot)和多樣本(Many-shot)的上下文學(xué)習(xí)
為了在不重新訓(xùn)練或微調(diào)LLM的情況下，使之執(zhí)行新的任務(wù)，您可以充分利用其上下文的學(xué)習(xí)能力。例如，當(dāng)您在提示中插入“問(wèn)題-解決方案”對(duì)的示例時(shí)，模型將能夠找到解決方案的模式，并據(jù)此去解決類似的問(wèn)題。
通常，一個(gè)模型所支持的ICL示例數(shù)量，取決于其上下文窗口的長(zhǎng)度。例如，由于早期版本的GPT-3僅支持大約2,000個(gè)token，因此它只能允許一小部分ICL示例。當(dāng)然，早期的研究認(rèn)為，您完全可以讓模型使用少量的ICL，來(lái)完成大量新的任務(wù)。
不過(guò)，現(xiàn)如今GPT-4已經(jīng)能夠支持多達(dá)128,000個(gè)token，谷歌的Gemini 1.5 Pro也將支持2萬(wàn)個(gè)token。這些模型不但支持持續(xù)樣本(Long-shot)ICL，而且在提示中帶有數(shù)百、甚至數(shù)千個(gè)示例。
谷歌最近的一項(xiàng)研究探討了持續(xù)樣本ICL在教授LLM新的任務(wù)，或改變其學(xué)習(xí)偏見(jiàn)方面的強(qiáng)大能力。當(dāng)然，由于該研究?jī)H針對(duì)Gemini Pro，因此很難將它與其他基線進(jìn)行比較。
持續(xù)樣本ICL與檢索和微調(diào)
在他們的新研究中，卡內(nèi)基梅隆大學(xué)和特拉維夫大學(xué)的研究人員對(duì)各種開(kāi)放式模型進(jìn)行了實(shí)驗(yàn)。他們使用了不同版本的Llama-2 7B，其中包括：上下文窗口最多為80,000個(gè)token和Mistral-7B的32k版本。
他們的實(shí)驗(yàn)包括了多種分類的數(shù)據(jù)集，其目標(biāo)是了解用戶可以在多大程度上使用ICL，來(lái)提高模型對(duì)于不可見(jiàn)示例進(jìn)行分類的能力。他們將持續(xù)樣本ICL與檢索增強(qiáng)生成(Retrieval-augmented Generation，RAG)和低秩適應(yīng)(Low-rank Adaptation，LoRA)進(jìn)行了比較。這里的LoRA是一種LLM微調(diào)方法，可降低內(nèi)存和計(jì)算的各項(xiàng)需求。
他們的研究結(jié)果表明，將ICL擴(kuò)展到許多示例上時(shí)，會(huì)產(chǎn)生強(qiáng)大的結(jié)果。如下圖所示，當(dāng)他們將ICL示例從10個(gè)增加到1,000個(gè)時(shí)，就能夠獲得高達(dá)50.8點(diǎn)的收益。
不同分類基準(zhǔn)上的持續(xù)樣本ICL與RAG
而當(dāng)您的ICL示例比較少時(shí)，RAG的性能則會(huì)優(yōu)于隨機(jī)抽樣。然而，隨著您添加更多的示例，其選擇策略的重要性便會(huì)降低。這就可以幫助用戶測(cè)試各種概念驗(yàn)證(Proof-of-concepts)，而無(wú)需設(shè)置RAG管道。
同時(shí)，當(dāng)您只有一小部分的示例時(shí)，ICL通常會(huì)優(yōu)于LoRA微調(diào)。研究人員發(fā)現(xiàn)，當(dāng)標(biāo)簽空間較大時(shí)，與ICL相比，微調(diào)的性能會(huì)下降。他們解釋到：“這可能是因?yàn)樗鼈儗儆诟_(kāi)放的分類問(wèn)題，需要更多的數(shù)據(jù)來(lái)訓(xùn)練分類器。”與此同時(shí)，微調(diào)模型的推理成本則會(huì)比ICL小得多。
他們另一個(gè)有趣的觀察結(jié)果是：隨著示例數(shù)量的增加，標(biāo)簽分類開(kāi)始對(duì)性能產(chǎn)生巨大的影響。也就是說(shuō)，當(dāng)您有許多ICL示例時(shí)，與隨機(jī)排序相比，按標(biāo)簽對(duì)它們進(jìn)行排序會(huì)降低模型的性能。對(duì)此，研究人員認(rèn)為：“這表明，具有不同標(biāo)簽的示例的上下文環(huán)境對(duì)于性能而言是非常重要的。并且，這種環(huán)境僅在上下文窗口中，相對(duì)較短的距離內(nèi)，能夠有效地發(fā)生。”
這對(duì)LLM應(yīng)用意味著什么?
持續(xù)樣本ICL對(duì)于開(kāi)發(fā)LLM應(yīng)用具有重要的意義。畢竟，LLM迭代的總體趨勢(shì)就是要減少機(jī)器學(xué)習(xí)應(yīng)用的創(chuàng)建障礙。例如，您以前需要一個(gè)機(jī)器學(xué)習(xí)專家團(tuán)隊(duì)、以及數(shù)周的培訓(xùn)和測(cè)試時(shí)間，來(lái)創(chuàng)建情緒分析模型。如今，您只需要在預(yù)訓(xùn)練的LLM上，通過(guò)簡(jiǎn)單的提示工程，就能做到這一點(diǎn)。
同時(shí)，持續(xù)樣本ICL進(jìn)一步降低了創(chuàng)建機(jī)器學(xué)習(xí)應(yīng)用的障礙。例如，如果您有一個(gè)應(yīng)用程序，而模型無(wú)法通過(guò)零樣本(Zero-shot)提示來(lái)“開(kāi)箱即用”地完成，那么您通常需要微調(diào)模型、或設(shè)置RAG管道，來(lái)為其提供必要的上下文信息。
如今，得益于多樣本ICL，您只需將所有的文檔或演示轉(zhuǎn)存到上下文窗口中，然后構(gòu)建好提示即可。可見(jiàn)，它不但有助于節(jié)省創(chuàng)建原型和概念驗(yàn)證的時(shí)間，也將使得那些沒(méi)有大量機(jī)器學(xué)習(xí)經(jīng)驗(yàn)及編程技能的產(chǎn)品經(jīng)理，能夠輕松創(chuàng)建和迭代自己的原型。
當(dāng)然，一旦達(dá)到了產(chǎn)品市場(chǎng)契合度，并需要優(yōu)化自己的LLM應(yīng)用以擴(kuò)大規(guī)模時(shí)，您仍然需要盡一切努力降低成本，并提高速度。也就是說(shuō)，如果您是按token付費(fèi)的話，那么持續(xù)樣本ICL會(huì)比較昂貴。同時(shí)，如果您采取的是模型托管機(jī)制的話，它不但會(huì)減慢推理速度，而且會(huì)增加內(nèi)存需求。對(duì)此，其他技術(shù)可以按需進(jìn)行彌補(bǔ)。例如，一個(gè)簡(jiǎn)單的RAG管道可以大幅減少token的消耗。而微調(diào)能夠讓您的模型實(shí)現(xiàn)零樣本的問(wèn)與答，而無(wú)需提供額外的上下文token。比如，Adapt-LLM等微調(diào)技術(shù)就能夠使模型，根據(jù)其對(duì)于主題的置信度，在RAG和內(nèi)存中(In-memory)知識(shí)之間進(jìn)行選擇。當(dāng)然，您最終也可以憑借諸如：自定義雙向編碼器等更高級(jí)的技術(shù)，更有效地去執(zhí)行分類等新的任務(wù)，而無(wú)需那些內(nèi)存密集型LLM。
小結(jié)
上文提到的各種工具和技術(shù)實(shí)際上都能夠以不同的方式為您服務(wù)并完成各項(xiàng)任務(wù)。可以說(shuō)，隨著多樣本ICL等技術(shù)的進(jìn)步，LLM應(yīng)用的入門(mén)只會(huì)變得越來(lái)越簡(jiǎn)單。
原文標(biāo)題：Boost LLM application development with many-shot learning，作者: Ben Dickson
鏈接：https://bdtechtalks.com/2024/05/20/long-context-llm-applications/。
