本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

北大團隊最新工作，用擴散模型也能實現拖拉拽P圖！

點一點，就能讓雪山長個兒：

或者讓太陽升起：

這就是DragonDiffusion，由北京大學張健老師團隊VILLA（Visual-Information Intelligent Learning LAB），依托北京大學深圳研究生院-兔展智能AIGC聯合實驗室，聯合騰訊ARC Lab共同帶來。

它可以被理解為DragGAN的變種。

DragGAN如今GitHub Star量已經超過3w，它的底層模型基于GAN（生成對抗網絡）。

一直以來，GAN在泛化能力和生成圖像質量上都有短板。

而這剛好是擴散模型（Diffusion Model）的長處。

所以張健老師團隊就將DragGAN范式推廣到了Diffusion模型上。

該成果發布時登上知乎熱榜。

有人評價說，這解決了Stable Diffusion生成圖片中部分殘缺的問題，可以很好進行控制重繪。

讓獅子在照片中轉頭

Dragon Diffusion能帶來的效果還包括改變車頭形狀：

讓沙發逐漸變長：

再或者是手動瘦臉：

也能替換照片中的物體，比如把甜甜圈放到另一張圖片里：

或者是給獅子轉轉頭：

該方法框架中包括兩個分支，引導分支（guidance branch）和生成分支（generation branch）。

首先，待編輯圖像通過Diffusion的逆過程，找到該圖像在擴散隱空間中的表示，作為兩個分支的輸入。

其中，引導分支會對原圖像進行重建，重建過程中將原圖像中的信息注入下方的生成分支。

生成分支的作用是引導信息對原圖像進行編輯，同時保持主要內容與原圖一致。

根據擴散模型中間特征具有強對應關系，DragonDiffusion在每一個擴散迭補中，將兩個分支的隱變量通過相同的UNet去噪器轉換到特征域。

然后利用兩個mask，和區域。標定拖動內容在原圖像和編輯后圖像中的位置，然后約束的內容出現在區域。

論文通過cosin距離來度量兩個區域的相似度，并對相似度進行歸一化：

除了約束編輯后的內容變化，還應該保持其他未編輯區域與原圖的一致性。這里也同樣通過對應區域的相似度進行約束。最終，總損失函數設計為：

在編輯信息的注入方面，論文通過score-based Diffusion將有條件的擴散過程視為一個聯合的score function：

將編輯信號通過基于特征強對應關系的score function轉化為梯度，對擴散過程中的隱變量進行更新。

為了兼顧語義和圖形上的對齊，作者在這個引導策略的基礎上引入了多尺度引導對齊設計。

此外，為了進一步保證編輯結果和原圖的一致性，DragonDiffusion方法中設計了一種跨分支的自注意力機制。

具體做法是利用引導分支自注意力模塊中的Key和Value替換生成分支自注意力模塊中的Key和Value，以此來實現特征層面的參考信息注入。

最終，論文提出的方法，憑借其高效的設計，為生成的圖像和真實圖像提供了多種編輯模式。

這包括在圖像中移動物體、調整物體大小、替換物體外觀和圖像內容拖動。

在該方法中，所有的內容編輯和保存信號都來自圖像本身，無需任何微調或訓練附加模塊，這能簡化編輯過程。

研究人員在實驗中發現，神經網絡第一層太淺，無法準確重建圖像。但如果到第四層重建又會太深，效果同樣很差。在第二/三層的效果最佳。

相較于其他方法，Dragon Diffusion的消除效果也表現更好。

來自北大張健團隊等

該成果由北京大學張健團隊、騰訊ARC Lab和北京大學深圳研究生院-兔展智能AIGC聯合實驗室共同帶來。

張健老師團隊曾主導開發T2I-Adapter，能夠對擴散模型生成內容進行精準控制。

在GitHub上攬星超2k。

該技術已被Stable Diffusion官方使用，作為涂鴉生圖工具Stable Doodle的核心控制技術。

兔展智能聯手北大深研院建立的AIGC聯合實驗室，近期在圖像編輯生成、法律AI產品等多個領域取得突破性技術成果。

就在幾周前，北大-兔展AIGC聯合實驗室就推出了登上知乎熱搜第一的的大語言模型產品ChatLaw，在全網帶來千萬曝光同時，也引發了一輪社會討論。

聯合實驗室將聚焦以CV為核心的多模態大模型，在語言領域繼續深挖ChatLaw背后的ChatKnowledge大模型，解決法律金融等垂直領域防幻覺，可私有化、數據安全問題。

據悉，實驗室近期還會推出原創對標Stable Diffusion的大模型。

論文地址：https://arxiv.org/abs/2307.02421

項目主頁：https://mc-e.github.io/project/DragonDiffusion/