GTA6預告片播放過億，AI三巨頭也能秒變GTA匪幫
GTA 新出的游戲預告片看了嗎？據說，這個預告片已經破了三項吉尼斯世界紀錄，觀看次數已經破億。
但如果告訴你，AI 三巨頭也可以成為 GTA 里的人物，你還能認出他們嗎？
AI 三巨頭：Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio。
這張 GTA 風格的合照是騰訊用一個名為 FaceStudio 的 AI 模型合成的，其特點是人物辨識度非常高，把用途廣泛的「AI 寫真」技術又往前推了一步。
在人工智能技術迅速發展的今天，AI 寫真照已經成為 AI 技術應用的一個熱門方向。在 AI + 圖像應用領域，妙鴨相機等 AI 寫真產品已經展示了巨大的潛力和受歡迎程度。妙鴨相機的推出僅僅幾周就在社交媒體上引起了廣泛關注，其迅猛的增長速度凸顯了這一市場的巨大潛力。盡管如此，眾多 AI 寫真產品在技術上還存在一定的局限性，例如用戶需要上傳多張差異較大的照片，并且需要等待較長時間才能獲得合成效果，這無疑影響了用戶體驗。
在這個由 AI 主導的圖像創新浪潮中，騰訊的最新研究成果 FaceStudio 顯現出了更進一步的技術突破。這項研究不僅側重于快速合成人像，而且更注重于保留人像的身份信息，從而在滿足美觀需求的同時，還能保持人物的唯一性和識別度。它不僅繼承了開源算法 StableDiffusion 的核心優點，還在多個關鍵功能上進行了創新性改進。其中最引人注目的是其利用混合引導進行圖像生成的能力，這一點著重體現在處理多人照片和風格化圖像兩個方面。
FaceStudio 的核心技術在于其能夠在不犧牲個人身份特征的情況下，實現風格化的人物圖像合成。傳統的 AI 圖像合成技術往往在追求視覺美感的同時，會犧牲人物的獨特性和識別度。然而，FaceStudio 通過先進的混合引導機制，能夠在生成圖像時同時考慮文本提示、風格圖像和身份圖像，從而在保持個體特征的基礎上實現多樣化的風格轉換。這不僅僅是技術上的一大突破，也為用戶提供了更加豐富和個性化的圖像合成選擇。
此外，FaceStudio 獨特的多身份交叉注意機制，使其在處理包含多個人物的圖像時尤為出色。傳統方法在處理此類圖像時常常會遇到難以準確區分和維持每個人物特征的問題。但 FaceStudio 的這一機制可以準確地將不同身份的特征信息映射到圖像的相應部分，無論是在保持每個人物的獨特性，還是在整體風格的協調性上都表現卓越。
FaceStudio 支持多種人臉相關的有趣應用
- 論文地址：https://arxiv.org/abs/2312.02663
- 主頁地址：https://icoz69.github.io/facestudio/
方法概述
混合引導設計
FaceStudio 的核心特性之一是其混合引導設計。該團隊采用了一種獨特的方法，允許模型同時接收圖像和文本提示，從而生成具有特定身份特征的圖像?；趫D像提示的引導模塊包含兩個子模塊：
- 圖像引導模塊：在這個部分，FaceStudio 使用 CLIP 視覺編碼器來處理人類圖像。這些圖像通常是風格化的，含有豐富的視覺信息，如色彩、紋理和構圖等。CLIP 編碼器能夠從這些圖像中提取出復雜的風格特征。
- 身份識別模塊：并行于圖像引導模塊，騰訊團隊還設計了一個身份識別模塊，這一模塊使用 Arcface 模型來處理單獨的面部圖像。其主要目的是從面部圖像中提取出關鍵的身份特征，如面部結構、表情和其他獨特的生物識別信息。
在提取出風格化圖像的視覺特征和面部圖像的身份特征之后，這兩組特征被融合在一起。這一步驟是通過一個線性層完成的，它將兩種特征結合，創建一個綜合的引導特征。這種方法的優點在于，它不僅能夠保留人物的身份特征，還能夠在圖像生成過程中融入特定的風格和內容。
除了圖像引導，FaceStudio 還集成了文本引導功能。這是通過使用一個預訓練好的先驗模型（PriorTransformer）實現的。這個先驗模型能夠將 CLIP 文本特征映射到對應的 CLIP 視覺特征。然后，同圖像提示引導模塊一樣，這些視覺特征結合身份識別模塊的特征，形成一個能夠響應文本提示的綜合引導特征。最終，這兩種提示特征被加權融合，實現混合引導。
FaceStudio 的架構示意圖
多人圖像合成
在騰訊團隊開發的 FaceStudio 框架中，“處理多人圖像” 部分是一個關鍵創新，專注于在單個圖像中合成多個人物肖像，從而使得每個人物在最終圖像中都能保持其獨特的身份。面對一個包含多個人物的圖像，FaceStudio 采用了一種特殊的注意力機制。該機制確保在圖像合成過程中，每個人物區域的特征都只訪問與之對應的身份信息。這意味著模型能夠精確地控制每個人物的身份特征，確保它們在最終圖像中正確呈現。為了實現這種精確的控制，騰訊團隊使用了人物實例分割模型。這個模型能夠識別出圖像中的不同人物，并將每個人物的區域與其對應的身份特征相關聯。這樣，模型就可以確保在合成圖像時，每個人物的身份信息都得到了正確的引導。
FaceStudio 與基線算法的多人圖像生成效果對比
訓練策略
騰訊團隊為 FaceStudio 設計了一種以人類圖像重建為目標的訓練策略。通過這種方法，他們使用遮蓋面部區域的原始圖像作為風格化的人類圖像輸入，同時使用相同圖像中裁剪的面部作為身份輸入。這樣，模型能夠在生成引導圖像時，更準確地保留人物的身份特征。不同于已有的生成模型訓練方式，這種方法只依賴于人像作為訓練數據不需要文字標注，大大減輕了對標注數據的依賴。能夠更好的泛化到各種風格的人像中。
結果展示
FaceStudio 通過評估人臉相似度和人像生成時間來展現其獨特的優勢。實驗結果顯示，FaceStudio 生成單個人像只需要不到 4 秒即可完成，而基于優化的熱門算法 DreamBooth 則需要長達 6 分鐘。同時 FaceStudio 更好地保留了人像特征，有著更好的人臉相似度。實驗結果對比如下：
研究人員也在相同的圖像上與當前最佳的人像生成模型算法進行比較。結果顯示，FaceStuio 幾乎在所有的樣本上都達到了更好或者同級別的效果。這進一步展示了 FaceStudio 強大的魯棒性和泛化性。比較結果如下：
此外，FaceStudo 的實驗中還展示了多種獨特的人臉圖像生成應用，包括身份混合和文字圖像混合引導生成。
身份混合圖像生成實驗
文字圖像混合引導圖像生成實驗
FaceStudio 生成的多風格人像樣例。
總結
綜上所述，FaceStudio 的出現標志著個性化圖像生成領域的重大進展。它在保持人物身份的同時，提供了豐富的風格化和文本驅動的圖像生成選項。這種能力不僅對藝術創作和娛樂產業有巨大價值，也可能在廣告、數字媒體制作和個性化內容創作等領域發揮重要作用。通過精確控制圖像中的身份和風格，FaceStudio 為未來圖像生成技術的發展開辟了新的道路，預示著這一領域的創新和變革。
