WithAnyone重磅開源：這可能是你見過最自然的AI合照模型
和任何人，去任何地方！復旦大學攜手階躍星辰打破 “復制粘貼” 魔咒，重磅推出全新 AI 合照生成模型 WithAnyone —— 只需上傳照片，就能一鍵生成自然、真實、毫無違和感的 AI 合照！
WithAnyone 是什么？
WithAnyone 是一種個性化 AI 合照生成方法：給定一個人的一張照片，WithAnyone 可以生成 ta 的各種角度、各種表情；給定幾個人的各一張照片，WithAnyone 可以讓他們同框，生成一張毫無違和感的 AI 合照。
以往的方法，無論是現(xiàn)象級的 InstantID，還是火出圈的 PuLID，都面臨著一個困境：給它什么樣的表情、角度，它就生成什么表情、角度，做不到一點變化。
而 WithAnyone 打破了這一魔咒！真的可以拿 ID 一致性與 ID 可控性雙料冠軍。
WithAnyone 效果如何？
空口無憑，且看效果！
還有多人合照：
真可謂是相當驚艷了！
我們也試了一下更多人的場景：
三姐妹戴著同款墨鏡其樂融融，三兄弟西裝革履裝酷耍帥。
過去的模型想做到生成得像，全靠 “復制粘貼 “，參考圖的表情神態(tài)、頭部姿態(tài)，照搬到生成圖上，沒有一點變化。而 WithAnyone 生成的場景真正地做到了人物一致的同時，大伙和諧同框！
當前 ComfyUI 版本已經(jīng)上線，工作流也有提供，可以輕松部署！
WithAnyone 如何打破魔咒？
正所謂發(fā)現(xiàn)問題，比解決問題更重要。
WithAnyone 的研究團隊正是發(fā)現(xiàn)了這一問題：AI 人像生成，生成得越來越像，甚至過于地像了 — 相似度甚至遠遠大于同一個人的不同真實照片！正所謂過猶不及，這便是他們要解決的問題。
要量化這個問題，團隊首先提出了 MultiID-Bench，與配套的 “復制粘貼 “指標。
他們把 “生成結果到參考輸入的距離” 減去 “生成結果到目標輸出的距離” 作為復制粘貼的衡量，并發(fā)現(xiàn)當前的各種方法，落入了一個越像，就越復制粘貼的魔咒：他們清晰地形成了一條擬合直線。
為了突破這個魔咒，研究團隊直面最本質的問題：數(shù)據(jù)與訓練。
以往的 AI 個性化生成，由于同一個人的多視角數(shù)據(jù)缺乏，往往采用 “重建” 的訓練方案：參考輸入圖，也是監(jiān)督目標。而 WithAnyone 的研究團隊則收集了一個五十萬張多人合照，并為每張上的每個人，配了上百張不同角度、表情、光照的參考圖！另外還有百萬張未配對的合照，也一同并入了訓練數(shù)據(jù)。
這次的開源真的很重磅，模型、Benchmark、數(shù)據(jù)集，三花聚鼎。
有了如此強悍的訓練數(shù)據(jù)，便可定制化訓練流程。研究團隊先是通過傳統(tǒng)重建訓練，訓練出強大的基本能力，再通過成對數(shù)據(jù)訓練，與高質量數(shù)據(jù)微調，最終得到現(xiàn)在 WithAnyone 模型。
當然，模型結構和訓練目標上都有重大創(chuàng)新，我們總結了一下要點：
- 參考圖像編碼雙通道：每個參考通過人臉識別網(wǎng)絡（獲取身份判別向量）與通用圖像編碼器（捕獲中層視覺特征）分別編碼；人臉嵌入僅作用于對應人臉區(qū)域，避免跨臉信息泄露。
- 對比式學習：把 “正確的同一身份但風格 / 姿態(tài)不同的樣本” 拉近，把 “不同身份的樣本” 推遠；通過大量負樣本，模型學到 “識別同一人而非重復一張臉的能力”。
- 度量與優(yōu)化目標：除了常用的擴散 / 重構損失外，加入 ID-contrastive 與對齊到 ground-truth 的 ID 損失，平衡 “相似” 與 “變化” 的張力。
WithAnyone 如何體驗？
WithAnyone 已經(jīng)全面開源。團隊提供了：代碼、模型權重、數(shù)據(jù)集樣例與評測基準（MultiID-Bench） 的公開鏈接（論文內(nèi) project page / Hugging Face / GitHub），便于社區(qū)復現(xiàn)與擴展。還有 ComfyUI 支持，期待社區(qū)開發(fā)出更多玩法！
- GitHub: https://github.com/Doby-Xu/WithAnyone
- ComfyUI 倉庫: okdalto/ComfyUI-WithAnyone: ComfyUI version of WithAnyone
- 項目主頁: https://doby-xu.github.io/WithAnyone/
- 在線 Demo: https://huggingface.co/spaces/WithAnyone/WithAnyone_Demo
WithAnyone 不只是一次技術突破，更是一次讓 AI “懂得同框” 的嘗試，希望這項技術能讓每一張 AI 合照都充滿溫度與故事。從今天起，和任何人，去任何地方 —— 用 WithAnyone，拍下屬于你的合照！
