【51CTO.com原創稿件】蘇寧木牛是蘇寧人工智能研發中心設計的一款智能設計產品，木牛取自三國諸葛亮發明的運輸工具，意在提升設計師的工作效率。經過幾年的發展，蘇寧木牛已經從最初批量摳圖、批量合成的設計輔助工具，發展成為能夠理解設計規則、自適應各應用場景的設計約束的設計助手，并初步具備一定的學習能力，能夠在設計師少量輸入的情況下，延續設計師的風格進行持續創作。

蘇寧木牛已經在業務場景里初現威力，在廣告投放中，設計師只需設計少量基礎模板，就可以生成海量banner，通過更精美的設計，更好的商品創意搭配，提升點擊率30%-80%;大促創意圖設計場景中，通過受限的智能合成，在保證創作質量的情況下，提升設計師人效500%，全年批量合成圖片數億張。

成功的背后是團隊幾年來的沉淀，3年前團隊開始嘗試把AI技術引入到設計智能應用的過程中，在研發過程中最讓我們感到困難的是設計創意的不確定性，設計規則的不確定、優化目標與設計目的的不確定、評價標準的不確定。

為了克服設計過程的這種不確定性和模糊性，我們只能摸著石頭過河，通過一項項基礎算法的能力實現以及一個個業務場景的實踐逐步累積經驗。在最開始，首先想要突破的是配色和布局兩個影響設計最為關鍵的因素，為此我們實現了智能配色以及尺寸拓展兩個小工具，這為后續的能力迭代打下了堅實基礎。經過大促氛圍圖、促銷打標圖、站外廣告投放、smart banner等場景的歷練，蘇寧木牛逐步歸納總結，形成基礎引擎的四駕馬車，分別是智能素材引擎、智能創作引擎、智能合成引擎、智能優選引擎。

圖1視覺創意平臺應用架構

智能素材

智能解析為智能設計提供了最根本的動力源泉，無論是一個設計模板還是一個單獨的圖片，只要漂亮的設計資源都不會放棄，經過智能解析后大部分都可以變成后續智能創作的素材。

商品主圖經過質檢識別和摳圖后，可以過濾掉牛皮癬過多、包含時效信息的不可用圖片，進而再區分白底圖還是場景圖，并對牛皮癬區域進行復原，對干凈圖片進行摳圖形成透明圖庫，蘇寧木牛摳圖算法先經過一個圖像分割網絡獲取trimap掩碼然后再經過一個matting網絡優化摳圖的邊緣結果，這種精細化摳圖算法可以使透明圖可用率提高到95%以上，同時還通過透明圖質量審核算法判斷摳圖質量，優化商品重心偏移，過小以及多個商品主體等情況，進一步提升透明圖庫的質量和可用率，通過建設透明圖場景商品圖結合的商品圖庫，有效的提升圖片合成效果，在業務場景驗證可以提升點擊率30%-80%。高質量圖庫素材入庫全過程都是自動完成，現在高質量商品圖庫已經覆蓋全部商品，節約人力審核成本上萬人天，為千人千面的精準投放提供了有力支撐。

圖2透明圖摳圖算法

除了商品圖庫的建設，素材庫的建設也是非常重要的基礎能力，設計師在進行創作的時候也會進行大量的調研獲取設計靈感和素材，高質量的素材會為智能設計提供源源不斷的動力，以往手工入庫素材的方式，通常需要消耗大量的人力和時間，而經過智能解析，蘇寧木牛可以快速的依據屬性將素材入庫。這個過程本質是一個分類問題。設計師設計的一套完整的模板通常會包含諸多設計元素以及與之匹配的設計風格，問題的難點在于設計語言的語義信息如何轉換成機器語言從而讓其可分，從特征角度可以將其分為低級的基礎特征與高級的視覺語義特征，組合模板結構中獲取的屬性結構信息，設計出一套行之有效的識別邏輯從而達成可分。

對于基礎特征，蘇寧木牛直接通過圖像處理方法或者規則來提取，對于更高級的特征，采用卷積神經網絡構建分類器來提取，組合邏輯，最終識別出素材的風格調性、品類、顏色、用途、使用位置、實體類型等多種屬性，為后續的素材使用創作提供了海量數據支持，使得智能創作的一拓百，百拓萬成為可能。對于質量較低的素材，蘇寧木牛還會進行美學篩選、智能裁剪以及超分辨率等手段來進一步提升素材入庫的質量。

基礎的素材庫建設同時，模板素材庫的累積也同步開展，通過智能解析提取模板中有價值的信息，為布局排版、顏色搭配、素材搭配提供學習素材。一套完整的模板經過圖層類型識別、圖層分組歸類、以及單圖層的屬性識別，從而將一個完整的模板庖丁解牛，圖層可以作為素材單獨使用，其解析出的結果轉換為專有數據結構，既可以作為精致模板、也可以作為素材庫在系統里無縫銜接。

圖3模板素材解析流程

智能創作

智能創作環節是整個設計創意的核心，可以說素材庫的質量代表了設計創意的上限，而智能創作環節決定了設計創意能達到的高度。當中遇到的首要難題還是設計創作這個開放問題如何轉換為計算機語言并實現，本質是將其進行了數學上的抽象和思考，使其可執行，蘇寧團隊在其中也做了很多的工作和嘗試。

舉一個例子，在進行顏色拓展、尺寸拓展的算法工具研發時，團隊就充分研究其與拓撲學的聯系，發掘在設計中的拓撲變換的不變性。比如在尺寸拓展中，到底能不能從一個模板拓展到任意尺寸的模板?團隊內部進行了激烈的討論，在最終的設計方案中我們的結論是實際應用場景中，不同尺寸的模板實質上不在同一個拓撲空間中，無法實現連續變換。同樣在顏色拓展的設計中，顏色空間的變換也要符合拓撲的連續性。在解決撞色和顏色遷移后模板不可用的問題時，需要對一些特定圖層的顏色進行改變，改變到什么顏色合適?遷移后的顏色會不會引起撞色的問題?為了解決這個問題，我們同樣借鑒了拓撲學中經典問題“四色猜想”。四色猜想的內容是任何一張地圖只用四種顏色就能使具有共同邊界的國家著上不同的顏色，其背后的幾何屬性是平面內不可出現交叉而沒有公共點的兩條直線。基于這樣的前提，算法在實現時候就無需引入一種新的顏色，當圖片對應的顏色空間主色大于4時，一定可以提取出可用的顏色來進行變色和搭配，由于顏色都取自模板本身，其搭配效果和和諧程度都大大提升。類似這樣的思考讓算法的設計少走了很多彎路，也讓我們前進的更加堅定。

圖4尺寸拓展與顏色遷移效果圖

在大量的應用場景接入中，可以發現應用場景都有明確的特定業務約束以及相對主觀的設計規則，而如何在創作的設計當中融入這些約束，是我們面對的另一個難題。為了解決這個問題，算法設計了靜態規劃取材功能以及動態微調功能來進行學習生產。

對于靜態規劃取材功能，參考了個性化推薦場景進行構建，根據輸入信息的不同，從豐富的模板素材、布局素材、圖片素材、文案素材中快速召回出候選素材，再通過更多特征參與的排序算法選擇合適素材以及素材組合。在召回環節采用多路召回，根據素材的風格、品類、適用場景、顏色、其他相關素材同時出現的幾率、歷史點擊信息，大促信息等維度進行了分路召回，既考慮了素材與輸入信息的搭配，同時也能兼顧歷史過往中的優質熱門素材內容，這種方案可更便利的控制不同選擇邏輯在embedding時的權重，從而適配了不同場景的約束和規則在實際應用中的取舍。排序環節是影響最終效果的關鍵部分，為此算法做了大量的特征工程，通過視覺元素的布局、主要顏色成分的分布、以及各個元素圖像特征的語義標簽的組合，和目標場景對輸出的需要進行相似度的排序，最終按照匹配程度排序輸出素材。

在動態微調環節，我們認為設計的風格已經基本確定，參考設計師創造過程，需要進行一些調整處理使其進一步符合美學的標準，這個優化過程很適合用強化學習實現，我們設計的動作有移動、圖層順序調整、變色、縮放等，美學和效果的評價采用了布局配色是否合理、有無遮擋類似這樣的一些基本設計原則，同時也結合了背景簡潔、主體內容突出、文案行數和比例協調等一些業務特點的評價標準。通過控制評價函數的設計和配置，我們兼容了不同場景的業務特點，使受限配置規則與一般美學規則自然融合，讓其能保證樓層圖顏色的統一，又能保證廣告圖的視覺沖擊力，也能保證促銷氛圍圖的復雜對齊規則基礎上的整齊統一。

圖5模板智能設計拓展效果

智能合成

智能合成引擎的目的是源源不斷的將算法計算的優質創意準確快速的呈現給目標用戶。在設計時，蘇寧木牛充分借鑒了photoshop的功能設計，實現了上百種圖片合成功能和效果，這其中最為復雜的是文字的渲染，需要考慮不同字體對生僻字支持的情況，還要通過細致的設置，解決英文、中文、數字等不同字符、行間距、字間距的文字錯位問題，更要對傾斜文案支持。

經過長期調研和不懈努力，蘇寧木牛的文字渲染模塊從字符渲染層面做了優化，使得輸出文案每一行都不再是呆板的平鋪或者使用單一的顏色，而是結合了語義信息和其他先驗經驗，實現多樣化的排版方式和藝術特效，輸出和設計師手工制作幾乎沒有差別的文案區域渲染效果。

除此之外，為了保證渲染的效果準確自然，團隊持續不斷的反復試驗優化效果，曾花了一周時間技術攻關使算法設計的色值與真實渲染的色值完全一致，也曾為了精益求精利用抗鋸齒算法來提升最終合成圖片的效果。通過海量的數據效果驗證以及用戶的反饋，蘇寧木牛持續優化，不斷提升創意合成的呈現效果

蘇寧木牛的合成系統是具有實時渲染能力的，這一方面得益于蘇寧圖片系統海量，安全，低成本高可靠的圖片處理服務。這一系統可以支持旋轉、縮放、裁剪、拼圖等圖像處理，還考慮了格式轉換、瘦身、復雜格式處理等編碼問題，保證了業務在任何時間、任何地點、任何互聯網設備上對圖片進行處理，同時也大量節省了存儲空間，使得系統不需要預先布置大量的機器進行圖片合成，同時我們也支持移動設備的合圖，通過嵌入sdk，使渲染合成能力前置到了用戶客戶端，進一步提升了合成能力。為了進一步提升用戶的體驗，蘇寧木牛還花很大的精力實現了模板微編輯功能，通過微編輯系統可以采集到了設計師的優化改進，拿到第一手的用戶反饋，也可以讓用戶根據個性需求，進一步提升合成效果，站在蘇寧木牛的肩膀上進一步創作。這在不減少用戶在設計中的參與感的同時，最大限度降低對專業知識的依賴。以四兩撥千斤的手法巧妙地既保證了用戶對質量的需求又滿足了對數量的要求。

智能優選

智能合成的創意圖片已經能夠完整地呈現給用戶，滿足用戶在以電商為主的各種場景中的使用需求，但蘇寧木牛沒有止步于此。在爭奪流量的時代，為了能讓蘇寧木牛設計出的創意圖片為商戶帶來最大的流量收益，我們建設了針對創意內容的智能優選引擎，并在2020年雙十一期間建立了奇功。

智能優選引擎與商品的使用場景緊密結合，為商戶使用創意的效果負責。它通過持續分析創意圖片的曝光和點擊數據，找出能帶來更高點擊率的創意，并從視覺元素角度分析這些創意圖片的共性特征，根據分析結果，實時地調整生成的創意圖片內容，更多地生成能帶來更高點擊率的創意圖片，以達到持續提升圖片點擊率的目的。

2020年雙十一期間，蘇寧木牛生成的創意圖片應用于蘇寧易購的廣告業務，并通過智能優選引擎對創意不斷進行優化，約有60%的商品廣告，點擊率的提升在20%以上，約有30%的商品廣告，點擊率提升在10%至20%之間。

以某款嬰幼兒奶粉為例，將圖片中的背景進行調整后，點擊率(CTR)提升了5%，將圖片中的文字改為更突出商品賣點的描述后，點擊率又提升了10%，再將背景調整為更貼合母嬰商品氛圍，CTR再次提升了5%。

總結與展望

在圖片以外，蘇寧木牛也進行了其他視覺創造的積極嘗試，通過視頻的創作、加工、剪輯、音樂匹配等功能提升信息對用戶的有效傳遞，形成多通道、多模態、多媒體的智能設計能力。

隨著素材資源的豐富優化，以及創作能力的持續提升，蘇寧木牛團隊承接了蘇寧越來越多的業務場景需求，同時也在通過多業態經營的表現來進行創意的監控和評價，重新調整創意策略，算法持續訓練學習，進而形成“設計-投放-再設計”的循環反饋，構建起用戶和產品的溝通橋梁，從而讓設計更美好，效果更專屬。

蘇寧木牛這一人工智能加持的設計引擎，充分解放設計師的雙手，降低設計的門檻和成本，實現批量、快速、豐富的視覺設計，提供千人千面的用戶體驗。更加優秀的創意設計是工具，提升用戶的體驗才是目標，相信在未來，蘇寧木牛這一更智能、更高效的創意設計引擎一定會在全渠道零售中發揮更大的作用，為行業降本增效、為用戶體驗提升帶來更強的驅動力。

作者簡介

楊現，蘇寧科技集團人工智能研發中心計算機視覺算法負責人，擁有多年計算機視覺算法研究經驗，曾參與蘇寧商品圖像識別、數字化門店、圖像內容審核、視覺創意平臺等重要項目，對視覺算法在電商領域中的應用與方案設計有深入的理解和思考。

劉永輝，蘇寧科技集團人工智能研發中心智能創意產品部負責人，蘇寧木牛智能創意平臺產品線負責人，擁有15年以上零售、物聯網行業億元級toB項目的產品經驗，對大型SaaS服務產品的規劃和增長有較為深入的研究與分析。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】