Meta等最新研究：多token預(yù)測(cè)，提升大模型推理效率
GPT-4、Gemini系列、Llama-3等開(kāi)閉源大模型，通常使用的是下一個(gè)token預(yù)測(cè)（Next-token Prediction）的損失函數(shù)進(jìn)行預(yù)訓(xùn)練。
這種方法雖然強(qiáng)大，但有很多局限性，例如，需要大量的訓(xùn)練數(shù)據(jù)才能使模型達(dá)到人類兒童的智商，并且隨著模型參數(shù)的增大推理效率會(huì)變差。
因此，Meta、巴黎理工大學(xué)和巴黎薩克雷大學(xué)提出了一種全新訓(xùn)練方法多token預(yù)測(cè)（Multi-token Prediction），在訓(xùn)練的過(guò)程中要求模型在每個(gè)位置上同時(shí)預(yù)測(cè)接下來(lái)的n個(gè)Token，以提升模型推理效率，并且不會(huì)增加預(yù)訓(xùn)練時(shí)間。
研究人員在130億、67億、30億等多種不同參數(shù)的模型對(duì)該技術(shù)進(jìn)行了綜合評(píng)估。結(jié)果顯示，130億參數(shù)模型在 HumanEval上解決問(wèn)題能力提高了12%，在 MBPP上解決能力提高了17%，并且推理效率也更好。
論文地址：https://arxiv.org/abs/2404.19737
多token預(yù)測(cè)架構(gòu)介紹
?
為了有效實(shí)現(xiàn)多Token預(yù)測(cè),研究人員設(shè)計(jì)了一種巧妙的模型架構(gòu)。該架構(gòu)包含一個(gè)共享的Transformer主干網(wǎng)絡(luò),用于從輸入獲取上下文表示。
然后該上下文表示被并行輸入到n個(gè)獨(dú)立的輸出頭網(wǎng)絡(luò)中,每個(gè)輸出頭負(fù)責(zé)預(yù)測(cè)一個(gè)未來(lái)Token。在推理階段,只需使用單個(gè)下一Token預(yù)測(cè)，輸出頭即可進(jìn)行自回歸生成。而其他輸出頭則可被用于加速模型的推理效率。
對(duì)于訓(xùn)練語(yǔ)料中的每個(gè)位置，模型需要使用獨(dú)立的輸出頭預(yù)測(cè)接下來(lái)的n個(gè)Token。將多Token預(yù)測(cè)作為輔助訓(xùn)練任務(wù)，可以提高模型在代碼和自然語(yǔ)言文本方面的任務(wù)性能，而不會(huì)增加訓(xùn)練時(shí)間。
降低GPU內(nèi)存使用
?
為了解決多token預(yù)測(cè)可能導(dǎo)致GPU內(nèi)存使用量增加的問(wèn)題，研究人員開(kāi)發(fā)了一種前向和后向傳播順序，模型能夠減少在內(nèi)存中同時(shí)存儲(chǔ)的梯度數(shù)量，從而降低了內(nèi)存使用量使得訓(xùn)練更加高效。
在前向傳播過(guò)程中，模型會(huì)首先通過(guò)共享主干生成潛在表示，然后按順序計(jì)算每個(gè)獨(dú)立輸出頭的前向傳播。對(duì)于每個(gè)輸出頭，計(jì)算完畢后立即進(jìn)行后向傳播，并釋放該頭的中間數(shù)據(jù)，而不是等到所有輸出頭的前向傳播完成后才進(jìn)行。
在每個(gè)輸出頭的后向傳播中，累積梯度到共享主干，而不是在所有輸出頭計(jì)算完畢后才進(jìn)行。這樣可以確保在任何時(shí)候，內(nèi)存中只存在一個(gè)輸出頭的梯度。
優(yōu)化推理效率
?
研究人員發(fā)現(xiàn)，將多token預(yù)測(cè)與自推測(cè)解碼相結(jié)合，可以進(jìn)一步提升大模型的推理效率。與傳統(tǒng)逐個(gè)token解碼不同的是，自推測(cè)解碼允許模型一次性生成多個(gè)token，然后利用額外的輸出頭并行驗(yàn)證和優(yōu)化這些預(yù)測(cè)。
這種方法顯著減少了模型生成文本所需的步驟，從而加快了模型的整體推理效率并減少了對(duì)算力的消耗。
研究人員在不同參數(shù)的模型實(shí)驗(yàn)了該優(yōu)化效果，結(jié)果顯示，比傳統(tǒng)的優(yōu)化推理效率提升了3倍左右。
本文轉(zhuǎn)自 AIGC開(kāi)放社區(qū) ，作者： AIGC開(kāi)放社區(qū)
