本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

ChatGPT會畫畫了！

問它：能生成一張貓片給我嗎？

立刻連文帶圖全有了。

還能根據(jù)新的文字指令調(diào)整圖片：把貓換成狗。

同時也看得懂圖、有理解能力。

比如發(fā)一張圖給它，然后問摩托是什么顏色？它能回答出是黑色。

如上，就是由MSRA資深研究人員們提出的視覺版ChatGPT（Visual ChatGPT）。

通過給ChatGPT結(jié)合多種視覺模型，并利用一個提示管理器（Prompt Manager），他們成功讓ChatGPT可以處理各種視覺任務(wù)。

這項工作一發(fā)出來就火了，GitHub攬星已超過1.5k。

簡單總結(jié)一下，就是把GPT和Dall-E合并的感覺~

又懂文字又會畫圖……有人就說：

這不是終極meme圖制造機(jī)？

訣竅在于提示工程？

Visual ChatGPT，其實(shí)就是讓ChatGPT可以處理多模態(tài)信息。

但是從頭訓(xùn)練一個多模態(tài)模型，工作量非常大。

研究人員想到可以在ChatGPT的基礎(chǔ)上，結(jié)合一些視覺模型。

而想要達(dá)到這一目的，關(guān)鍵需要一個中間站。

由此他們提出了提示管理器（Prompt Manager）的概念。

它的作用主要有3方面：

第一、明確告訴ChatGPT，每個視覺模型的作用，并指定好輸入輸出格式。

第二、轉(zhuǎn)換不同的視覺信息，如將PNG圖像、深度圖像、掩碼矩陣等轉(zhuǎn)換為語言格式，方便ChatGPT理解。

第三、處理視覺模型的歷史生成結(jié)果，以及不同模型的調(diào)用優(yōu)先級、規(guī)避沖突等，讓ChatGPT能夠以迭代的方式接收視覺模型的生成內(nèi)容，直到輸出用戶滿意的結(jié)果。

這樣一來，Visual ChatGPT的工作流大概長這樣：

假如用戶輸入了一張圖，模型會先將內(nèi)容發(fā)送給提示管理器，然后轉(zhuǎn)換成語言給ChatGPT判斷，當(dāng)它發(fā)現(xiàn)這個問題不需要調(diào)用視覺模型，就會直接給出輸出（第一個回答）。

第二個問題時，ChatGPT分析問題內(nèi)容需要使用視覺模型，就會讓視覺模型開始執(zhí)行，然后一直迭代，直到ChatGPT判斷不再需要調(diào)用視覺模型時，才會輸出結(jié)果。

論文介紹，Visual ChatGPT中包含了22個不同的視覺模型。包括Stable Diffusion、BLIP、pix2pix等。

為了驗(yàn)證Visual ChatGPT的能力，他們還進(jìn)行了大量零次試驗(yàn)（zero-shot experiments）。

結(jié)果如開頭所示，Visual ChatGPT具備很強(qiáng)的圖像理解能力。

可以一直按照人的需求不斷生成、修改圖片。

當(dāng)然，研究人員也提到了這項工作目前還存在一些局限性。

比如生成結(jié)果的質(zhì)量，主要取決于視覺模型的性能。

以及使用大量的提示工程，會一定程度上影響生成結(jié)果的速度。而且還可能同時調(diào)用多個模型，也會影響實(shí)時性。

最后，在輸入圖片的隱私安全上，還需要做進(jìn)一步升級保護(hù)。

MSRA老將出馬

本項研究成果來自微軟亞洲研究院的團(tuán)隊。

通訊作者是段楠。

他是MSRA首席研究員，自然語言計算組研究經(jīng)理，中國科學(xué)技術(shù)大學(xué)兼職博導(dǎo)，天津大學(xué)兼職教授，CCF杰出會員。

主要從事自然語言處理、代碼智能、多模態(tài)智能、機(jī)器推理等研究。

2006年加入MSRA，任職已超16年。

第一作者Chenfei Wu，同樣是一位資深研究人員了。

據(jù)領(lǐng)英資料顯示，他于2012年加入微軟，任職11年，目前是一位軟件工程師。

論文地址：https://arxiv.org/abs/2303.04671