AI生圖大洗牌！流匹配架構(gòu)顛覆傳統(tǒng)，一個模型同時接受文本和圖像輸入
AI生圖新突破！一個模型同時接受文本和圖像輸入。
新模型FLUX.1 Kontext使用流匹配架構(gòu)（Flow Matching），不再是文本編碼器和擴散模型各干各的，與此前技術(shù)都不同。
來自之前很火的Black Forest Labs，官方表示這一次能做到真正的上下文生成和編輯。
圖片
在編輯能力上，有人在著名的奧特曼尷尬照上P了一個小綠龍。
圖片
在生成能力上，有網(wǎng)友測試的猩猩打羽毛球細節(jié)也很豐富。
圖片
具體來說FLUX.1 Kontext有4個特性：
- 角色一致性：可跨場景保留元素
- 局部編輯：只針對特定部分而不影響其余部分
- 風格參考：以現(xiàn)有風格生成新場景
- 交互速度：以最小延遲進行迭代
這次提供兩種模型，專業(yè)版FLUX.1 Kontext [pro]更適合快速迭代，可基于之前的編輯
最高配版FLUX.1 Kontext [max]，在遵循提示、文字排版和一致性有所提高。
同時推出官方試玩平臺Flux Playground，兩種型號都可以選用。
圖片
此外開放權(quán)重版FLUX.1 Kontext [dev]提供內(nèi)測。
提示詞技巧
第三方平臺Replicate對FLUX.1 Kontext做了詳細測試，結(jié)論是比OpenAI的4o效果更好，還更便宜，圖像也不會偏黃。
測試報告中還針對不同功能給了提示詞技巧。
圖片
圖像編輯
當編輯人物時，無論改動大小，人物的身份特征都會保留。
圖片
對于風格遷移任務(wù)，也能保留人物的基本特征。
圖片
對于更復(fù)雜的更改，例如添加人物或更改背景，需要分幾步描述每項修改，只要每次改動不太復(fù)雜就可以獲得好的效果。
風格遷移
風格遷移任務(wù)至少具體到“印象派繪畫”或“水彩素描”，帶上具體的流派藝術(shù)家效果更好，如“文藝復(fù)興”或“20 世紀 60 年代的波普藝術(shù)”。
如果風格標簽不夠精準，那就描述一下關(guān)鍵特征，例如“清晰的筆觸、厚重的顏料質(zhì)感和豐富的色彩深度”。如果想保留某些元素，也需要明確說明，如“保持原始構(gòu)圖”。
總之，描述的越具體效果越好。
圖片
文本編輯
支持往圖上新增文本、刪除文本，甚至定位到已有文本修改。
處理文本時的一些技巧：
- 使用易讀的字體，過于藝術(shù)化的字體表現(xiàn)不佳。
- 明確說明要保留哪些內(nèi)容。如果保留字體樣式很重要，請務(wù)必提及。
- 盡可能匹配編輯前后的文本長度。長度的大幅變化可能會改變布局。
圖片
此外根據(jù)網(wǎng)友測試，F(xiàn)LUX.1 Kontext還可以刪除文本，如把電影海報上的字全去掉。
圖片
角色一致性
在連續(xù)編輯時，首先要明確人物，然后說明哪些方面發(fā)生了變化，無論是場景、活動還是風格。
如果想讓同一個人物繼續(xù)存在，需要說明哪些方面需要保留：面部、表情、服飾或其他任何重要方面。
圖片
在編輯背景和場景的同時保持角色的一致性需要詳細描述，以保持人物處于相同的位置、比例或姿勢。
簡短的提示有時會留下太多模糊的地方，如“把他挪到沙灘上”，就不如：
將背景換成海灘，同時保持人物位置不變，保持相同的主體位置、拍攝角度、取景和視角。只需替換人物周圍的環(huán)境即可。
其他技巧
最后，Repilicate還對使用FLUX.1 Kontext的提示詞技巧做了一個總結(jié)：
- 使用清晰、詳細的語言。準確命名顏色，精準描述視覺元素，并選擇直接的動作動詞。避免使用“使其更好”之類的模糊詞語。
- 將復(fù)雜的編輯分解成更小的步驟。按順序進行操作，更容易管理較大的變更。
- 明確哪些部分應(yīng)該保留。使用“同時保持相同的面部特征”或“維持原始構(gòu)圖”等短語來保護關(guān)鍵元素。
- 使用描述性短語，例如“留著黑色短發(fā)的女人”或“紅色汽車”。避免使用代詞。
- 編輯文本時使用引號，例如，“將‘x’替換為‘y’”
- 明確控制構(gòu)圖 ：編輯場景時，明確說明是否要保留攝像機角度或取景框等內(nèi)容。
- 謹慎選擇動詞 ：“改造”之類的詞語暗示著徹底的改造。如果想要更精準的控制，可以使用更具體的操作，例如“換衣服”或“替換背景”。
One More Thing
最后再來看一下文生圖領(lǐng)域的格局，在AritificialAnalysis的排行榜上，GPT-4o、字節(jié)的Seedream 3.0和Recraft V3排名前三。
Black Forest Labs的上一代爆款產(chǎn)品FLUX.1已經(jīng)相對靠后。
可以期待一下FLUX.1 Kontex的投票結(jié)果。
在線試玩：https://playground.bfl.ai/image/generate
參考鏈接：
[1]https://x.com/bfl_ml/status/1928143010811748863
[2]https://replicate.com/blog/flux-kontext
[3]https://huggingface.co/spaces/ArtificialAnalysis/Text-to-Image-Leaderboard
