如何在淘寶人生2一鍵定制你的專屬3D數字人
捏臉玩法是裝扮類應用的一個核心功能。本文主要介紹了捏臉的AI相關玩法之一即基于用戶上傳的照片在淘寶人生2（又名：第二人生）一鍵生成專屬3D數字人，闡述了淘天FC淘寶人生技術團隊在圖片捏臉上探索的心路歷程，核心原理以及技術框架。本文的視角也不局限于圖片捏臉本身，也介紹了其他AI類相關玩法在裝扮類應用落地的情況，希望能對大家有所啟發和幫助。
一、背景
淘寶人生是國內用戶規模較大的裝扮類應用之一，在淘寶中扮演了用戶的第二人生的重要作用。淘寶用戶在淘寶既能購物，又能自由捏臉，打造自己的虛擬形象和裝扮自己的小屋。
淘寶人生系列應用也內置了很多互動類玩法，通過提供多元的玩法體驗讓用戶在逛淘寶時覺得好逛又好玩。
淘寶人生1和淘寶人生2風格對比
淘寶人生先后推出了兩個版本，淘寶人生1和淘寶人生2（又名：第二人生），淘寶人生2作為淘寶人生1的延續，相比于之前的卡通風格更偏向于超寫實風格，同時淘寶人生2也是市面上少有的將超寫實風格落地到移動端的裝扮類應用。
淘寶人生2的AI玩法
虛擬服飾資產生成
左：AI 算命師 中：照片風格化 右：照片捏臉
淘寶人生2提供了很多AI相關的玩法。比如購買淘寶真實的衣服以后為你生成一套該樣式的虛擬服飾資產并穿搭到自己捏好的虛擬形象中，AI星象占卜師涂山赫言通過提供財運占卜等服務迎合當下年輕人的精神需求，同時照片風格化可以將捏好的形象二次創作，產生更多好玩的風格。
用戶還可以通過上傳圖片一鍵生成帶有自己特征的虛擬數字形象，大幅提升用戶的捏臉效率。
本文將詳細介紹照片捏臉的功能。
二、照片捏臉背景介紹
捏臉玩法是淘寶人生2中用戶剛需且高頻使用的一個核心功能。用戶在玩捏臉時一般會傾向于利用提供的捏臉滑桿DIY一個類似自己或者自己喜愛的idol的3D虛擬形象。
根據提供的捏臉滑桿手動捏臉且要與自己心目中的形象達到一定的相似度是一個非常耗時的過程。
整個捏臉的調節項有80多個，用戶需要每次進入各個五官調節項的界面去調節每個值，同時每個五官調節項對應還有各個細分區域的子調節項。
整體捏一張比較像的人臉不算上細節上的微調，大概需要半小時左右。
三、照片捏臉解決的痛點
為了追求超寫實風格的3D數字人形象，我們無法對八十多個五官捏臉調節項進行精簡去提升用戶的捏臉效率，不然會影響捏臉的表達能力。但是整個復雜的專業捏臉系統很容易消耗用戶的耐心，用戶往往在捏個10分鐘因為無法得到滿意的形象而被勸退，給用戶帶來不好的產品體驗。
為了提升用戶的捏臉體驗，減少用戶的捏臉時間，有沒有什么方法可以讓用戶更快的生成心目中的3D數字人形象呢？
回到文章的標題，如何在淘寶人生2中一鍵定制3D數字人，解決用戶側手動捏臉耗時較長的痛點？
經過反復討論，我們的解決方案是用戶上傳自己的照片或者自己idol的照片通過AI算法一鍵生成用戶的專屬3D數字人。
通過上傳用戶照片自動捏臉可以帶來的優點有：
- 大幅提升捏臉效率，相比于原先手動捏臉動輒半個小時的時間，當前照片捏臉的時間控制在5s以內，捏臉時間縮短為原有的1/360
- 利用用戶上傳的圖片可以定制化用戶想要的形象，使得用戶更快速獲取心目中的虛擬數字形象
四、業界3D照片捏臉應用
2D的照片風格化應用較多，基于輸入照片重建3D卡通形象由于技術難度較高相關應用較少。
一般業界基于照片自動重建3D卡通形象的應用有三個方向：
- 第一個方向是允許用戶個性化裝扮自己的虛擬聊天形象，并在聊天窗口中或者視頻通話中使用，隱藏用戶的真實人臉信息，提升社交的私密感；
- 第二個方向是個性化生成用戶的數字分身，并基于該數字分身產生更多互動的內容生產與創作，通過照片捏臉提供既美又像的數字分身，提升用戶在虛擬空間的認同感。
- 第三個方向是用戶創建個性化3D游戲形象，并將捏臉形象應用在游戲中，提升用戶的沉浸感。
五、照片捏臉技術指標
淘寶人生2的照片捏臉更偏向于第二個方向，為淘寶用戶提供一個既像又美的數字分身，技術同學主要的負責的是“像”，美術同學負責讓形象更“美”。那么如何設置一個可靠的技術指標去評估最終的效果有沒有達到“像”的預期呢？經過團隊反復的探討與調研，淘寶人生2的照片捏臉采用了業界3D人臉重建領域常用的評估方式之一NME指標并結合主觀評測打分的方式評估3D數字人形象與輸入圖片的相似度。
NME指標
公式參考：
NME指標全稱是normal mean error，該指標用來評估3D重建的人臉與真實人臉的重建誤差，業界評估基于圖片重建3D人臉的NME常用的做法是將照片建模的3D人臉投影到2D平面上并計算該人臉輪廓關鍵點和用戶照片的人臉關鍵點的距離，來衡量捏臉的面部五官和輸入照片的相似度。這里的d一般取人臉框的對角線距離。
NME越大，代表重建誤差越高。
真實人臉重建算法對應指標
真實人臉重建算法 | 評估指標 NME |
3DDFA | 3.78 |
3DDFA + SDM | 3.43 |
BCLL | 2.47 |
PRN | 2.75 |
基于卡通形象的基礎模型的3D數字人有一定的風格化特征，所以基于圖片捏臉的卡通形象重建都會比真實人臉重建的重建誤差要高一些。
淘寶人生2捏臉采用的評估方式
NME指標 + 主觀評測打分評估3D風格化捏臉
淘寶人生2的照片捏臉采用量化指標加主觀評判的方式相結合，量化指標覆蓋的只是人臉關鍵點部分的誤差，更側重于“形”，在整體“神”的相似度上還需要結合不同的人的主觀打分來評估。
六、照片捏臉難點
超寫實人臉重建
用戶上傳的是2D照片，如何把2D的人臉特征遷移到3D的人臉模型上
風格人臉重建
不但要映射到3D數字人的基礎模型（簡稱基底）上還要有一定的風格化特征，比如說有些3D形象的基礎模型是偏卡通的風格，或者是偏武俠的風格，如何保持整個基底的風格化同時又很像用戶是整個項目的核心難點
離散屬性匹配對相似度的影響
除了臉型輪廓鼻型眼型還有哪些特征會影響到像的評判？
--- 發型，眼鏡，胡型等其他人臉屬性都會對像有影響
做照片捏臉重建要解決的主要難點有3個，第一個是如何將用戶上傳的2D照片的特征映射到3D人臉模型上。第二個是不但要將2D人臉的特征映射到3D人臉模型上，還要基于該風格的卡通形象有一定的風格化特征同時不丟失用戶的2D特征。第三個是除了臉型以外如何通過其他面部非臉型屬性去提升用戶的重建數字人的相似度。
七、淘寶人生2照片捏臉技術框架
為了解決上述照片捏臉的難點，整個照片捏臉技術框架分為四個模塊，預處理模塊，面部人臉屬性&非面部人臉屬性模塊以及數字人形象生成模塊。
預處理模塊
針對用戶輸入的圖片進行合格性校驗以及剔除敏感人物，同時會檢測用戶輸入的人臉五官關鍵點以及發型的mask，為接下來的面部人臉屬性模塊和非面部屬性模塊提供有效信息。
面部人臉屬性模塊
為了解決難點一基于單張照片進行3D真實人臉重建的問題，淘寶人生2使用的是基于3DMM(3D Morphable Model)重建人臉的方案。
基于3DMM技術將2D照片轉換到3D人臉的核心思想是任何一張3D人臉都可以由一張3D平均人臉與一系列人臉正交基相加組合而成。所以可以將基于單張照片重建3D人臉的問題轉化為求解目標3D人臉投影到2D人臉上并通過迭代求解不斷貼合輸入2D圖片對應的人臉正交基系數的問題。
3DMM人臉形狀基底和紋理基底
3DMM求解過程
基于3DMM重建后的3D真實人臉的特征會通過圖形學的變形操作遷移到淘寶人生2的3D卡通形象的基礎模型上，這樣就巧妙的解決了難點二的問題，既保留了用戶特征又有了一定的風格特征。但是由于圖形學對人臉網格形變整體的耗時較慢，我們是利用一個MLP（多層感知機）訓練了一個真實人臉系數到淘寶人生2捏臉系數的映射模型，提升了整體照片捏臉的性能，爭取給用戶帶來更好的使用體驗。
非面部屬性模塊
為了加強一些離散屬性（一般眼鏡類型，發型，眉毛種類以及胡型在捏臉系統都由一些離散的素材ID來表示，所以一般稱為離散屬性）的表達來提升整體的相似度，我們對用戶的眼鏡，發型，眉型以及胡型都進行了細粒度的分類，提升用戶的非面部屬性特征與捏臉系統素材的匹配度，最終使得整體重建的形象更加立體飽滿。
數字人形象生成模塊
通過上述模塊得到的淘寶人生2捏臉系數，以及對應的素材ID會經過引擎渲染得到淘寶人生2的3D數字人形象。
這四個模塊相互配合，最終實現了用戶上傳一張圖片，一鍵定制用戶的專屬3D數字人的功能。此外每個重建的3D數字人都帶有用戶的特征，達到了生成形象的千人千面。
八、照片捏臉效果
九、總結以及后續規劃
當前算法僅支持女版的卡通形象，基于淘寶人生2的男版卡通形象的照片捏臉正在同步研發，期待后續盡快落地。同時在眼型嘴型等五官細節擬合上仍需要提升，后續隨著捏臉自由度的提升和算法的迭代會進一步提升這一塊的相似度。
從友商的測試結果來看，受限于base風格的損失，業界的大多數照片捏臉應用也無法做到對用戶特征的百分百的還原，但是輸出的捏臉形象都比較美觀，相信這也是經過了算法同學和美術產品同學的大量的聯調得到了一個符合大眾審美的捏臉形象，只有這樣才能成功出圈，在用戶側打造很好的口碑。
淘寶人生2照片捏臉的迭代會延續既像又美的技術路線繼續深耕，給用戶帶來更好的產品體驗。同時計劃引入更多模態的捏臉支持，使得用戶可以通過文字或者語音自由捏臉。
十、引用
[1] Blanz V, Vetter T. A morphable model for the synthesis of 3D faces[C]. international conference on computer graphics and interactive techniques, 1999: 187-194.
[2] Cao C, Weng Y, Zhou S, et al. FaceWarehouse: A 3D Facial Expression Database for Visual Computing[J]. IEEE Transactions on Visualization and Computer Graphics, 2014, 20(3): 413-425.
[3] Paysan P, Knothe R, Amberg B, et al. A 3D Face Model for Pose and Illumination Invariant Face Recognition[C]. advanced video and signal based surveillance, 2009: 296-301.
十一、附：照片捏臉秘籍
- 項目入口：淘寶APP首頁->下拉進入淘寶二樓->搜索第二人生->點擊圖標進入淘寶人生2的廣場->點擊底部換裝tab進入裝扮頁
- 進入照片捏臉頁：在裝扮頁左側切換到頭部tab -> 點擊右側 智能捏臉 進入照片捏臉頁面。
- 在照片捏臉頁，選擇拍照或從相冊中選擇照片，確定后觸發照片捏臉。
- 系統會自動檢測照片質量及合規情況，若兩者都符合規范，則將基于照片生成新的數字人形象，并跳轉回裝扮頁；如果有任何一項不符合規范，則會給出異常的提示。
十二、團隊介紹
我們是淘天FC淘寶人生技術團隊，我們肩負著淘寶人生各類數字人玩法和為淘寶用戶提供數字分身的使命，是淘天集團3D數字人業務的主陣地。淘天FC淘寶人生技術團隊本著讓用戶在逛淘寶“好玩”的初心，構建了以3D捏臉為核心、互動類AI玩法(AI寫真，淘寶購后鏈路虛擬服飾生成，AI占卜師等)相結合的玩法體系，為業務打造出覆蓋千萬級的淘寶人生用戶的內容社區，通過3D和AI技術相結合，為淘寶用戶提供既像又美的數字分身，降低3D內容的生產成本，提升淘寶人生的用戶黏性和成就更高的商業價值。
本文轉載自大淘寶技術，作者：思遠
