前段時(shí)間，OpenAI整出了神操作，竟讓GPT-4去解釋GPT-2的行為。

對(duì)于大型語言模型展現(xiàn)出的涌現(xiàn)能力，其具體的運(yùn)作方式，就像一個(gè)黑箱，無人知曉。

眾所周知，語言模型近來取得巨大的進(jìn)步，部分原因是它們可以通過上下文學(xué)習(xí)（ICL）來執(zhí)行任務(wù)。

上下文學(xué)習(xí)是一種過程，模型在對(duì)未見過的評(píng)估樣本執(zhí)行任務(wù)之前，會(huì)先接收幾個(gè)輸入-標(biāo)簽對(duì)的范例。

在谷歌最新發(fā)表的論文中，研究人員研究了語義先驗(yàn)，以及輸入-標(biāo)簽映射在ICL中如何相互作用。

論文地址：https://arxiv.org/pdf/2303.03846.pdf

特別是，語言模型在上下文學(xué)習(xí)能力，如何隨著參數(shù)規(guī)模而改變。

論文一作Jerry Wei表示，大型語言模型（GPT-3.5、PaLM）可以遵循上下文中的范例，即使標(biāo)簽被翻轉(zhuǎn)或在語義上不相關(guān)。這種能力在小型語言模型中是不存在的。

網(wǎng)友表示，這對(duì)模型新的涌現(xiàn)能力很有見解。

AI「黑箱」怎么破？

一般來說，模型能夠在上下文中學(xué)習(xí)，有以下2個(gè)因素:

一種是使用預(yù)先訓(xùn)練的語義先驗(yàn)知識(shí)來預(yù)測(cè)標(biāo)簽，同時(shí)遵循上下文范例的格式。

比如，見到以「積極情緒」和「消極情緒」作為標(biāo)簽的影評(píng)例子，并用先驗(yàn)知識(shí)進(jìn)行情感分析。

另一種是從提供的范例中，學(xué)習(xí)ICL中的輸入-標(biāo)簽映射。比如，找到正面評(píng)價(jià)映射到一個(gè)標(biāo)簽，而負(fù)面評(píng)價(jià)映射到另一個(gè)標(biāo)簽的模式。

最新研究的目標(biāo)就是為了了解這兩個(gè)因素在上下文中如何作用。

因此，在論文中，研究者調(diào)查了兩個(gè)設(shè)置來進(jìn)行研究：翻轉(zhuǎn)標(biāo)簽ICL，語義無關(guān)標(biāo)簽的ICL (SUL-ICL)。

翻轉(zhuǎn)標(biāo)簽ICL和語義無關(guān)標(biāo)簽ICL（SUL-ICL）在情感分析任務(wù)中的概述

在翻轉(zhuǎn)標(biāo)簽ICL中，上下文范例的標(biāo)簽被翻轉(zhuǎn)，強(qiáng)制模型覆蓋語義先驗(yàn)，以遵循上下文范例。

在SUL-ICL中，使用與任務(wù)無語義關(guān)系的標(biāo)簽，意味著模型必須學(xué)習(xí)輸入標(biāo)簽映射才能執(zhí)行任務(wù)，因?yàn)樗鼈儾辉僖蕾囉谧匀徽Z言標(biāo)簽的語義。

研究者發(fā)現(xiàn)，覆蓋先驗(yàn)知識(shí)是模型規(guī)模能力，就像在上下文中學(xué)習(xí)與語義無關(guān)的標(biāo)簽的能力一樣。

此外，指令調(diào)優(yōu)加強(qiáng)了先驗(yàn)知識(shí)的使用，而不是增加了學(xué)習(xí)輸入-標(biāo)簽映射的能力。

實(shí)驗(yàn)過程

對(duì)于實(shí)驗(yàn)數(shù)據(jù)，研究者在七個(gè)廣泛使用的NLP任務(wù)上展開實(shí)驗(yàn)，包括情感分析，主觀/客觀分類，問題分類，重復(fù)問題識(shí)別，蘊(yùn)涵識(shí)別，金融情緒分析和仇恨語音檢測(cè)。

此外，研究人員還對(duì)五種語言模型進(jìn)行了測(cè)試：PalM、Flan-PalM、GPT-3、DirectGPT和Codex。

翻轉(zhuǎn)標(biāo)簽

在這個(gè)實(shí)驗(yàn)中，上下文示例的標(biāo)簽被翻轉(zhuǎn)，這意味著先驗(yàn)知識(shí)和輸入-標(biāo)簽映射不一致。比如，包含積極情緒的句子被標(biāo)記為「消極情緒」，從而研究模型是否可以覆蓋其先驗(yàn)知識(shí)。

在此設(shè)置中，能夠覆蓋先驗(yàn)知識(shí)，并在上下文中學(xué)習(xí)輸入-標(biāo)簽映射的模型性能會(huì)下降，因?yàn)檎鎸?shí)評(píng)估標(biāo)簽沒有被翻轉(zhuǎn)。

研究者還發(fā)現(xiàn)當(dāng)沒有標(biāo)簽被翻轉(zhuǎn)時(shí)，參數(shù)規(guī)模較大的模型比較小的模型，擁更好的性能。

但是，當(dāng)翻轉(zhuǎn)越來越多的標(biāo)簽，小型模型的性能保持相對(duì)平穩(wěn)，但大型模型的性能大幅下降，遠(yuǎn)低于隨機(jī)猜測(cè)。

比如，code-davinci-002的性能從90%下降到22.5%。

這些結(jié)果表明，當(dāng)輸入標(biāo)簽映射相互矛盾時(shí)，大模型可以覆蓋預(yù)訓(xùn)練的先驗(yàn)知識(shí)。

小型模型無法做到這一點(diǎn)，這使得這種能力成為模型規(guī)模的涌現(xiàn)現(xiàn)象。

語義無關(guān)的標(biāo)簽

在這個(gè)實(shí)驗(yàn)中，研究人員用語義無關(guān)的標(biāo)簽替換原來標(biāo)簽。

比如，在情感分析中，用「foo/bar」代替「消極/積極」 ，這意味著模型只能通過學(xué)習(xí)輸入-標(biāo)簽映射來執(zhí)行 ICL。

如果一個(gè)模型主要依賴于ICL的先驗(yàn)知識(shí)，那么在這種替換之后，它的性能應(yīng)該會(huì)下降，因?yàn)樗鼘⒉辉倌軌蚴褂脴?biāo)簽的語義意義來進(jìn)行預(yù)測(cè)。

另一方面，可以在上下文中學(xué)習(xí)輸入-標(biāo)簽映射的模型，將能夠?qū)W習(xí)這些語義不相關(guān)的映射，其性能不會(huì)出現(xiàn)大幅的下降。

事實(shí)上，使用語義無關(guān)的標(biāo)簽會(huì)導(dǎo)致小型模型的性能大幅下降。

這表明較小的模型主要依賴于它們?cè)谏舷挛闹械恼Z義先驗(yàn)，而不是從提供的輸入標(biāo)簽映射中學(xué)習(xí)。

另一方面，當(dāng)標(biāo)簽的語義特性被移除時(shí)，大型模型具有在上下文中學(xué)習(xí)輸入標(biāo)簽映射的能力。

此外，研究人員還發(fā)現(xiàn)，包含更多的上下文范例對(duì)大型模型的性能改善，比對(duì)小型模型的性能改善更大。

顯然，大型模型比小型模型更善于從上下文范例中學(xué)習(xí)。

指令調(diào)優(yōu)模型如何？

當(dāng)前，指令調(diào)優(yōu)是提高模型性能比較流行的一種方法。

然而，由于該過程使用自然語言標(biāo)簽，一個(gè)懸而未決的問題是，它是否提高了學(xué)習(xí)輸入-標(biāo)簽映射的能力，或者它是否加強(qiáng)了識(shí)別和應(yīng)用語義先驗(yàn)知識(shí)的能力。

這兩者都將導(dǎo)致標(biāo)準(zhǔn)上下文任務(wù)性能的提高。

研究人員繼續(xù)通過與前面相同的兩個(gè)設(shè)置來研究這個(gè)問題，只是這一次將重點(diǎn)放在比較標(biāo)準(zhǔn)語言模型（特別是 PaLM）和它們的指令調(diào)優(yōu)變體（Flan-PaLM）上。

首先，當(dāng)使用語義不相關(guān)的標(biāo)簽時(shí)，F(xiàn)lan-PalM比PalM性能更好。

這種效應(yīng)在小型模型中非常顯著，因?yàn)镕lan-PalM-8B的性能比PaLM-8B高9.6% ，幾乎趕上了PaLM-62B。

這種趨勢(shì)表明，指令調(diào)優(yōu)加強(qiáng)了學(xué)習(xí)輸入標(biāo)簽映射的能力，但這并不是令人驚訝的發(fā)現(xiàn)。

更有趣的是，研究者還發(fā)現(xiàn)Flan-PalM在遵循翻轉(zhuǎn)標(biāo)簽上比PalM更差，這意味著指令調(diào)優(yōu)模型無法覆蓋它們的先驗(yàn)知識(shí)。

在100%翻轉(zhuǎn)標(biāo)簽的情況下，F(xiàn)lan-PaLM模型無法做到隨機(jī)猜測(cè)，但是在相同的設(shè)置下，沒有進(jìn)行指令調(diào)優(yōu)的PaLM模型可以達(dá)到31%的準(zhǔn)確率

這些結(jié)果表明，指令調(diào)優(yōu)必須增加模型在語義先驗(yàn)可用時(shí)的依賴程度。

結(jié)合前面的研究結(jié)果，研究者得出結(jié)論：雖然指令調(diào)優(yōu)提高了學(xué)習(xí)輸入-標(biāo)簽映射的能力，但它更強(qiáng)化了語義先驗(yàn)知識(shí)的使用。

谷歌這篇論文強(qiáng)調(diào)了語言模型的ICL行為如何根據(jù)其參數(shù)而改變，并且更大的語言模型具有將輸入映射到許多類型的標(biāo)簽的涌現(xiàn)能力。

這是一種推理形式，其中輸入-標(biāo)簽映射可以潛在地學(xué)習(xí)任意符號(hào)。

未來，更進(jìn)一步的研究可以幫助人們?nèi)チ私鉃槭裁催@些現(xiàn)象會(huì)與模型參數(shù)相關(guān)。