?2022年什么最值錢？prompt！

基于文本的圖像生成（text-guided image generation）模型，如DALL-E 2大火后，網(wǎng)友們也是樂此不疲地生成各種搞怪圖像。

 但想要讓模型生成清晰、可用的目標(biāo)圖像，必須得掌握正確的「咒語」才行，也就是prompt須得精心設(shè)計(jì)之后才能用，甚至還有人架設(shè)網(wǎng)站賣起了prompt

要是prompt是邪惡咒語，那生成的圖片可能會(huì)「涉嫌違規(guī)」。

雖然DALL-E 2發(fā)布之初就設(shè)立了各種機(jī)制來避免模型被濫用，比如從訓(xùn)練數(shù)據(jù)中刪除暴力、仇恨或少兒不宜的圖像；使用技術(shù)手段防止生成人臉的超寫實(shí)照片，尤其是一些公眾人物。

在生成階段，DALL-E 2還設(shè)置了一個(gè)prompt過濾器，不允許用戶輸入的提示詞中包含暴力、成人或政治內(nèi)容。

但最近哥倫比亞大學(xué)的研究人員發(fā)現(xiàn)，可以在prompt添加一些看似胡言亂語的單詞，使得過濾器無法識(shí)別出詞義，但AI系統(tǒng)最終還是能返回有意義的生成圖像。

論文鏈接：https://arxiv.org/pdf/2208.04135.pdf

作者提出兩種構(gòu)造prompt的方法，第一種稱之為macaronic prompting，其中macaronic一詞的原意指多種語言的單詞進(jìn)行混合后生成新的詞匯，比如說在巴基斯坦，烏爾都語和英語的混合詞就很常見。

而DALL-E 2的訓(xùn)練語料通常是從互聯(lián)網(wǎng)上收集的數(shù)據(jù)，文本和圖像之間建立概念聯(lián)系的過程中多多少少都會(huì)涉及到多語言學(xué)習(xí)，使得訓(xùn)練后的模型具有同時(shí)識(shí)別多語言概念的能力。

所以可以利用多語言組合成新詞，繞過人類設(shè)計(jì)的prompt過濾器，達(dá)到對(duì)抗攻擊的目的。

比如鳥（birds）這個(gè)詞在德語里是V?gel，用意大利語是uccelli，用法語是oiseaux，西班牙語是pájaros，在CLIP模型使用byte pair encoding(BPE)算法對(duì)輸入提示句進(jìn)行分詞后，可以拆分成多個(gè)subword。

 把subword重新排列組合成新詞后，比如輸入uccoisegeljaros，DALL-E 2仍然能夠生成鳥類的圖像，但人類卻完全無法讀懂這個(gè)詞的含義。

 甚至不嚴(yán)格遵守subword的邊界，比如再換成voiscellpajaraux和oisvogajaro，模型仍能生成鳥類圖。

 除了鳥類，研究人員發(fā)現(xiàn)組合多語言這個(gè)方法在不同的圖像域都能取得不錯(cuò)的效果，圖像生成結(jié)果展現(xiàn)出相當(dāng)高的一致性。

 從動(dòng)物界到風(fēng)景、交通工具、場(chǎng)景、情緒的相關(guān)圖像的生成都不在話下。

 雖然不同的文本指導(dǎo)的圖像生成模型有不同的架構(gòu)、訓(xùn)練數(shù)據(jù)和分詞方法，但原則上，macaronic提示可以應(yīng)用于任何在多語言數(shù)據(jù)上訓(xùn)練的模型，比如在DALL-E mini模型中也能發(fā)現(xiàn)相同的效果。

值得注意的是，盡管名字相似，但DALL-E 2和DALL-E mini是相當(dāng)不同的。它們有不同的架構(gòu)（DALL-E mini沒有使用擴(kuò)散模型），在不同的數(shù)據(jù)集上訓(xùn)練，并使用不同的分詞程序（DALL-E mini使用BART分詞器，可能會(huì)以不同于CLIP分詞器的方式分割單詞）。

盡管有這些差異，macaronic提示仍然能夠在兩種模型上都能發(fā)揮作用，背后的原理還需要再深入研究。

但并非所有的macaronic提示都能在不同的模型間適當(dāng)?shù)剞D(zhuǎn)移，比如雖然farpapmaripterling按照預(yù)期產(chǎn)生了DALL-E 2的蝴蝶圖像，但在DALL-E mini中生成的卻是蘑菇圖像。

 研究人員推測(cè)，可能在更大的數(shù)據(jù)集上訓(xùn)練出來的更大的模型更容易受到macaronic提示的影響，因?yàn)樗鼈冊(cè)诓煌Z言的子詞單元和視覺概念之間學(xué)習(xí)到了更強(qiáng)的關(guān)聯(lián)關(guān)系。

這可能可以解釋為什么一些在DALL-E 2中產(chǎn)生預(yù)期結(jié)果的macaronic提示在DALL-E mini中不起作用，卻幾乎找不到相反的例子。

這種趨勢(shì)可能不是什么好消息，因?yàn)榇笠?guī)模模型可能更容易受到使用macaronic提示的對(duì)抗性攻擊。

除了將單個(gè)合成詞作為prompt以外，合成詞也可以嵌入到英語句法中組成句子，生成圖像的效果和原始詞匯相似。

 并且合成詞還有一個(gè)優(yōu)勢(shì)，就是組合起來可以產(chǎn)生更具體和復(fù)雜的場(chǎng)景。雖然復(fù)雜的macaronic提示需要符合英語的句法結(jié)構(gòu)，從而使生成結(jié)果比使用合成字符串的提示更容易解釋，但傳達(dá)給模型的信息仍然相對(duì)模糊。

對(duì)于大多數(shù)人來說，如果沒有事先接觸過macaronic提示和用于雜交的語言知識(shí)，要猜出用提示語An eidelucertlagarzard eating a maripofarterling會(huì)產(chǎn)生什么樣的場(chǎng)景可能是很困難的。

此外，這種成分復(fù)雜的提示不會(huì)觸發(fā)基于黑名單的內(nèi)容過濾器，盡管它們使用的是普通英語單詞，只要使用macaronic方法對(duì)受審查的概念進(jìn)行充分「加密」即可。

macaronic提示也不一定非在多語言中組合subword，在單一語言內(nèi)進(jìn)行合成也能產(chǎn)生有效的視覺概念，不過熟悉英語的人可能會(huì)猜測(cè)到該字符串的預(yù)期效果，比如happeerful這個(gè)詞很容易猜到是happy和cheerful的合成詞。

 第二種方法稱為Evocative Prompting，和macaronic不同的是，evocative不需要從現(xiàn)有的詞中組合觸發(fā)視覺聯(lián)想，而是由特定領(lǐng)域中某些字母組合的統(tǒng)計(jì)學(xué)意義進(jìn)行「喚起」，創(chuàng)造出一個(gè)新詞。

參照生物學(xué)分類里的二名法（Binomial Nomenclature），可以根據(jù)「屬名」和「種加詞」來創(chuàng)造一個(gè)新的「?jìng)卫≡~」，DALL-E就能夠根據(jù)相應(yīng)的主題生成對(duì)應(yīng)的物種。

 根據(jù)藥物的命名規(guī)律也可以生成新的藥物圖片。

 evocative提示也可以應(yīng)用于語言的特定特征和與相應(yīng)語言的地點(diǎn)和文化有關(guān)的視覺特征之間的關(guān)聯(lián)。比如根據(jù)建筑名稱，模型就可以推斷是哪個(gè)國(guó)家的風(fēng)格，如Woldenbüchel生成的場(chǎng)景看起來像德國(guó)或奧地利村莊；Valtorigiano看起來像意大利古鎮(zhèn)；Beaussoncour則像法國(guó)的歷史城鎮(zhèn)。

 不過也不一定都是建筑物，比如最后一個(gè)用DALL-E mini生成的圖像則是17世紀(jì)的法國(guó)肖像，而非法國(guó)的地點(diǎn)，但與法國(guó)文化的聯(lián)系還是被保留了下來。

evocative提示也可以與詞匯雜交結(jié)合起來，以獲得對(duì)輸出的具體特征的更多控制。

在偽拉丁命名法中引入英語詞塊會(huì)使DALL-E 2生成具有特定屬性的動(dòng)物圖像，比如提示詞scariosus ferocianensis將可怕（scary）和兇猛（ferocious）與偽拉丁詞條結(jié)合起來，可以生成傳統(tǒng)上可怕的「爬行動(dòng)物」的圖像，如蝎子。

 cutiosus adorablensis將可愛（cute）和adorable與偽拉丁詞條結(jié)合起來，能夠生成傳統(tǒng)意義上可愛的哺乳動(dòng)物的圖像；watosus swimensis將水（water）和游泳（swimming）與偽拉丁詞綴結(jié)合起來，能夠生成水生動(dòng)物的圖像；flyosus wingensis將飛行（fly）和有翼（winged）與偽拉丁詞綴結(jié)合起來能夠生成飛行昆蟲的圖像。

從原理上來看，macaronic方法生成的詞匯可以提供一種簡(jiǎn)單的、看似可靠的方法來繞過prompt過濾器，別有用心者可以用來生成有害的、攻擊性的、非法的或其他敏感的內(nèi)容，包括暴力、仇恨、種族主義、性別歧視或色情圖片，以及可能侵犯知識(shí)產(chǎn)權(quán)或描述真實(shí)個(gè)人的圖片。

雖然提供圖像生成服務(wù)的公司已經(jīng)根據(jù)其內(nèi)容政策，在防止生成這類輸出方面做出了大量的努力，但macaronic提示仍然能夠?qū)ι虡I(yè)圖像生成系統(tǒng)的安全協(xié)議的造成巨大威脅。

而evocative提示帶來的威脅不那么明顯，因?yàn)樗鼪]有提供一種十分有效且可靠的方法來觸發(fā)特定視覺聯(lián)想的字符串，它大多局限于與單詞或語言的廣泛形態(tài)特征有關(guān)的概念的模糊聯(lián)想。

總的來說，macaronic的提示比evocative提示的可操作性更強(qiáng)，基于關(guān)鍵詞的黑名單在此類模型中的內(nèi)容過濾不足以抵御攻擊。

難道DALL-E 2要開始黑化了？?