FlashFace技術是由香港大學、阿里巴巴集團、螞蟻集團共同研發的一項實用工具，用戶可以通過提供一張或幾張參考面部圖像和文本提示，就可以輕松地即時個性化自己的相片。

與現有的人像定制方法相比，FlashFace方法具有更高保真度的身份保留性。能夠精確地保留參考人臉的特征，包括紋身、疤痕等。

這意味著，無論是真實人物還是虛擬角色，FlashFace都能夠準確地捕捉到他們獨特的面部特征，如罕見的臉型等。

下面展示一些FlashFace的效果：

人像個性化結果

FlashFace可以產生多樣的人像個性化結果。

• 在很大程度上保留參考面孔的身份(例如，紋身、疤痕，甚至是虛擬人物罕見的臉型)
• 準確地遵循指示，特別是當文本提示與參考圖像相矛盾時(例如，將成人定制為兒童或老人)。

改變年齡或性別

虛擬角色生成真人

真人生成藝術品

身份混合

語言控制面部交換

相關鏈接

• 項目地址：https://jshilong.github.io/flashface-page/
• 論文鏈接：https://arxiv.org/abs/2312.02928
• Demo鏈接：https://github.com/XavierCHEN34/LivePhoto
• Code地址：https://github.com/jshilong/FlashFace

論文閱讀

高保真身份保存的人類形象個性化

摘要

這項工作展示了FlsahFace這是一個實用的工具,用戶可以通過提供一個或幾個參考面圖像和一個文本提示,輕易地將自己的照片個性化。

FlsahFace方法不同于人類現有的照片定制方法，這主要從高忠誠身份保存和更好的指導從兩個微妙的設計中獲益。

首先, FlsahFace將面孔標識編碼成一系列特征映射,而不是像以前的藝術中那樣使用一個圖像標記,這樣模型就可以保留更多的參考面孔細節(例如疤痕,紋身,面部形狀）。

其次,我們引入了一個解糾纏整合策略,在文本到圖像生成過程中平衡文本和圖像引導,緩解參考面和文本提示之間的沖突(例如:將成年人個性化為"兒童"或"老人")。

廣泛的實驗結果證明了該方法在各種應用中的有效性,包括人類形象的個性化、語言提示下的面部交換、虛擬人物的真實化等。

方法

FlashFace的整體pipeline：

在訓練過程中，隨機選擇B ID聚類，從每個聚類中選擇N+1張圖像。從N幅圖像中裁剪人臉區域作為參考，并留下一張作為目標圖像。該目標圖像用于計算損失。Face ReferenceNet的輸入潛函數的形狀為(B*N) × 4 × h × w。

將自注意層之后的參考人臉特征存儲在中間塊和解碼器塊中。將人臉位置掩碼連接到目標潛影以指示所生成的人臉的位置。

在目標潛信號通過U-Net中相應位置轉發的過程中，使用額外的參考注意層合并參考特征。在推理過程中，用戶可以通過提供人臉位置(可選)、人物的參考圖像和所需圖像的描述來獲得所需圖像。

面部參考項的輸入潛藏有形狀 (b*n)x4xHxW。在自我注意層之后,在中間塊和解碼塊中存儲參考面特征。一個面位掩碼連接到目標潛伏,以指示生成的面的位置。在通過Unet的相應位置轉發目標的過程中,使用額外的參考注意層來整合參考特性。在推理過程中,用戶可以通過提供一個面部位置(可選)、一個人的參考圖像和一個對所需圖像的描述來獲得所需的圖像。

本文轉載自??AIGC Studio??，作者：AIGC Studio