【51CTO.com原創稿件】隨著人工智能時代的到來，在商業設計領域，藝術與技術的較量，逐漸成為當下人們關注的熱點話題。

[[226018]]

蘇寧易購作為“智慧零售”的***者和實踐者，一個同時擁有線上線下，提供用戶多場景購物體驗的互聯網零售企業，也正在積極探索如何將二者結合。

智能化風口，如何讓“藝術+技術”發揮到***？

目前，蘇寧易購線上各個端口已經實現針對不同用戶人群的精準化商品推送。

在智能化這個“風口浪尖”，蘇寧極客們在思考，如何讓“藝術+技術”在用戶引流關鍵點的易購線上商品廣告位（商品展示 banner 圖）的作用發揮到***。

在此之前，每一張線上的商品展示 banner 都是由設計一張一張手繪出來，效率不高且 banner 生成周期較長，很難滿足密集的大促需求。

另外，當推薦算法需要向用戶推薦不同商品時，則需要運營人員根據商品手動匹配不同的底版（banner 元素中除去商品圖的元素素材圖），這樣耗時耗力。

因此，一套智能設計平臺—“千變 banner”就應運而生。該平臺基于機器學習，能夠根據上傳素材按照設計語言在線生成百余張定制 banner。

同時基于用戶偏好，動態展示 banner 圖，提高單個廣告位的利用率。并且依賴智能推薦，可以提供蘇寧易購線上廣告位的千人千面展示。

本文主要介紹蘇寧在 AI 廣告設計領域，以蘇寧易購線上商品廣告位展示 banner 為應用場景的整體工作流程，以及相關的算法技術框架。

banner 智能設計的整體流程和技術難點

banner 智能設計的整體流程

一張 banner 圖（如下圖所示）主要包括兩大維度信息：商品圖和裝飾渲染商品的設計背景圖，我們稱之為底版，故一張 banner 的生成工作也是從這兩個維度來展開。

圖 1：banner 維度信息拆分

具體的工作流程圖如下所示，一方面是根據推薦算法推薦的商品圖，從中摳出商品主體。

當然在分割之前，首先需要對商品圖片預先評估，過濾淘汰掉一些質量較差的商品圖片。

與此同時，底版也在同步生成，分割后的商品圖再與生成的底版進行匹配得到同一商品的多張 banner，這些 banner 則會進入到我們的打分模型進行篩選，而后輸出***質的商品 banner。

圖 2：banner 智能設計整體流程框架

流程中的每一個階段都至關重要且直接影響到***生成 banner 的質量，而兩個維度中的部分模塊的技術實現上也存在著諸多技術難題，主要體現在以下幾個方面。

banner 智能設計的技術難點

技術難點一：banner 中商品主圖的分割

作為一張 banner 圖的核心、用戶引流的關鍵因素，展示的商品主圖質量至關重要。

前期 banner 圖上的商品主圖都是靠設計師手工切割出來，再設計底版進行組合生成的。

而如今，我們想通過機器來自動生成 banner，那就需要利用圖像分割算法來取代這部分手動摳圖工作。

為了保證宣傳的美感和設計感以及一些商品促銷宣傳點的突出，設計師們將商品圖進行包裝修飾，加上某些商品自身的特點，這些又成為我們分割任務的“難例”，比如家電品類的鏡像、陰影、以及商品圖中的宣傳貼等。

然而傳統的圖像分割技術大多是基于圖像本身的低層級的視覺信息來進行的，如下的展示為利用基于圖方法的 grabcut 分割結果。

圖 3： 基于 grabcut 商品圖像分割結果

從右圖可以看出，雖然商品的主體部分很容易被分割出來，但盒身的陰影部分嚴重影響了分割效果，且在邊緣部分分割的極為粗糙，顯然達不到蘇寧易購線上商品展示圖的標準。

故探索一種能有效解決這些分割難例，實現商品圖精細化分割的方法，顯得十分重要。

技術難點二：設計語言到機器語言的轉換

說到這，我們先回到“人工智能”這個詞本身——所謂的人工智能，其根本就是先是有人工，其次才是智能。

同樣的，在 banner 智能設計的場景下，最重要也是最基礎的就是底版數據，這些數據目前就來源于人工。

如何通過這些“人工”數據，轉變成“智能”數據，讓設計師的設計數據轉變成機器能夠學習的機器數據，這正是我們在底版生成這個階段的一大難題。

在 banner 底版元素庫的建立階段：在與 banner 設計師溝通之后，我們將一張 banner 的元素逐層拆分開如下圖所示，主要包括：背景層、紋理層、背景裝飾層、蒙層、商品裝飾層、以及一些文案信息。

同時，把各底版的圖層元素按照不同屬性分別標注打上標簽，如根據商品品類的標簽：家電、食品等，使用類型標簽：日常、大促等。

這些標簽完善之后，根據這些標簽，建立不同的圖層庫，這樣我們的圖層元素中心便建立起來。

圖 4：banner 的各層元素圖

圖 5：banner 布局的模版示例圖

在 banner 底版生成及篩選階段：基于上述建立的元素中心，根據設計師預先定義好的布局標簽，部分如上圖所示，就能生成特定風格、尺寸、特定品類的底版。

同時，每生成一張底版，就記錄下該底版對應來源的父系元素標簽，便于對底版數據的分析篩選。

此時，我們注意到如果僅按照不同的圖層元素的隨機組合，即使很少的素材輸入也會生成大量的底版，這些底版很多是明顯不能使用的。

故在生成底版階段，算法根據設計師的設計語言，將一些設計的“潛規則”轉化成機器語言，預先規避這些 badcase 的生成。

如當底版背景層的顏色值較小時，蒙層則應選擇透明度較高的，且色值相近的兩層，不能被搭配在一起等等。

在底版生成的階段就加入這些默認的規則，這使得生成的底版至少符合設計的標準，從而降低了后期 banner 篩選的樣本量。

圖 6：生成的底版樣例圖

在商品圖與底版的匹配階段：底版生成和商品圖分割之后，就進入了二者匹配融合階段。

實際上，商品圖與底版能否搭配其實是一個非常主觀性的概念，即使不同的設計師也會有不同的設計搭配風格。

而且一張商品圖片如果與生成的底版進行全量搭配，則會得到大量的 banner，事實上很多 banner 是會被審核淘汰的且徒增工作量。

同樣的，我們遵循底版生成規則的思路，提前從設計語言抽象出機器能學習的不能搭配的數字語言。

依據“規則+算法”的邏輯，將商品與底版搭配組合的這一動作抽象成特征匹配的過程。

在匹配算法的特征提取階段，選定底板中商品展示區域作為特征提取 ROI，再提取待疊加商品圖像的顏色特征，計算二者特征距離決定能否匹配。

同時讓機器將這些不能匹配的特征值進行量化，形成線性的不可匹配特征區間。

當某底版再次遇到落在其對應的不可匹配特征區間內的商品圖像時，則不進行疊加生成 banner。

技術難點三：banner 打分規則的建立

當個性化算法推薦的商品匹配到底版生成多張 banner 之后，就會進入我們的 banner 評價系統進行打分，再進行模型訓練。該系統是將大量的設計成品作為評估依據，從而輸出一張***質的 banner。

但實際上說 banner“優質”也是非常主觀的，它在開發人員的眼中可能是極好的，但是在設計人員角度看可能就是被淘汰的，所以一張 banner 的好壞需要從不同的角度來評估。

除此之外，一張不合格的底版，可能僅僅因為商品圖的匹配不理想而被淘汰，所以算法需要知道淘汰底版被淘汰的因素。

綜上，我們定義了如下兩個概念：

• 打分項：顧名思義即為該 banner 需要被打分標記的元素項。目前主要的打分項有：文案的顏色、商品匹配、底版匹配等，其中對底版的打分按照生成的其父系標簽進行打分，精細到每一個圖層元素。
• 打分維度：即從不同的維度對生成的 banner 進行打分。綜合該 banner 從設計到其線上表現等因素，我們把打分維度歸納為設計師、banner 的線上曝光點擊比和普通的線下用戶。

在模型訓練階段，banner 的打分主要由運營人員和設計師來決定得分標簽，輸入到網絡中進行訓練輸出結果。

在模型驗證階段，由輸出結果的線上曝光點擊比例來決定此張 banner 的得分標簽，再反饋回模型不斷的強化學習，保證從多個維度不斷完善該評價機制。

banner 智能設計的相關算法模型介紹

基于深度學習的智能摳圖算法

為了實現對推薦商品圖的精細化分割，蘇寧圖像標注團隊對商品圖像進行了大量的像素級別的標注，并構建基于深度學習的深度卷積神經網絡結構，進行訓練來建立商品圖的分割算法模型，同時對分割結果進行優化，提高分割商品圖質量。

采用 Dilated Convolution 空洞卷積

傳統的 CNN 網絡結構中大多采用 pooling 池化來達到降維的目的，這就會導致經過池化后的特征層上像素尺寸比較低。

即使通過上采樣的操作，例如 FCN 就是先進行 pooling 減小圖像尺寸，再進行 upsampling 擴大原圖像尺寸，這樣不斷重復減小擴大的過程就導致了 featuremap 上精度的損失。

因此我們構建的分割網絡中采用空洞卷積的做法是：去掉池化層，同時在卷積操作后進行如圖所示的操作，從而可以擴大感受野，再對提取到的 featuremap 操作來實現更加精確的商品圖像分割。

圖 7：空洞卷積示意圖

全連接條件隨機場精修商品圖邊緣

在分割網絡的前端運用的深度卷積神經網絡，該網絡可以很好的預測是否有商品，以及商品在圖像中的大致位置區域，但并不能準確的定位到商品圖像的邊界，同樣會導致分割的邊緣不精細。

故在我們分割網絡的后端加入了全連接的條件隨機場（conditional random field，CRF）對神經網絡預測的結果進行優化。

CRF模型中將圖像中每個像素點所屬的類別表示成一個變量，然后再考慮任意兩個變量之間的聯系。

對應的能量函數為：

其中，是一元項，表示像素對應的語義類別，二元項就是描述像素點與像素點之間的關系，基于兩個像素點的實際距離和顏色信息來判斷，越相似的像素得到相同的標簽。

所以這樣 CRF 能夠使圖片盡量在邊界處分割，***通過不斷的優化該能量函數達到理想的分割效果。

分割圖像抗鋸齒

即使利用“像素級”的分割方法能夠很好的將商品主圖摳出來，但同時帶來的副作用就是在商品圖的邊緣存在鋸齒，嚴重影響 banner 的展示效果。

故在分割網絡之后，我們又加入了抗鋸齒的算法。提取分割后商品圖像的 alpha 通道，獲取圖像邊緣，并按照邊緣鋸齒的形狀，分成 16 種 pattern 如下圖所示：

圖 8：抗鋸齒邊緣計算

根據不同的鋸齒模式重新計算邊緣區域的像素值，如下右圖所示，圖像邊緣過渡就顯得十分平滑，從而達到消除鋸齒的目的。

圖 9：抗鋸齒優化對比

基于多任務學習的 banner 評估模型

多任務學習

在建立評估模型的初期，我們也嘗試了多種方案，例如建立一個學習任務的評估網絡僅針對商品圖與底版匹配是否合理的，實際的訓練過程中我們發現這一個單任務的網絡很快就收斂，且測試也出現過擬合。

后期調整訓練的網絡結構增加卷積層層數，問題仍未得到改善，故考慮到單任務學習的局限性，嘗試從多任務學習角度來建立 banner 評估模型。

多任務學習可以學到多個任務的共享表示，這個共享表示具有較強的抽象能力，能夠適應多個不同但相關的目標，通常可以使主任務獲得更好的泛化能力。

在 banner 評估的維度上，并沒有主次任務之分，每一個任務相對于其他任務來說都可以看成是一個主任務。

多個相關任務放在一起學習，有相關的部分，但也有不相關的部分。當學習一個任務時，與該任務不相關的部分，在學習過程中相當于是噪聲，可以提高學習的泛化效果。

圖 10：banner 評估網絡整體架構

banner 評估網絡的結構簡介

參考 Inception v3 網絡結構的設計思路，我們在網絡中特征提取階段中利用兩個一維的 1x3 和 3x1 的卷積核取代 3x3 的卷積核，這樣網絡層數進一步加深，同時一個卷積核拆分成兩個卷積核可以增加網絡的非線性。

網絡中加入 Batch Normalization 層。BN 是一種非常有效的正則化方法，能夠有效的加快網絡訓練速度，同時收斂后的分類準確率也可以得到大幅提高。

BN 在用于神經網絡某層時，會對每一個 mini-batch 數據的內部進行標準化（normalization）處理，使輸出規范化到 N(0，1) 的正態分布。

在模型的訓練過程中，我們增加學習率以適用BN規范化后的數據，去除 Dropout 并減小 L2 正則（BN 已經起到正則化的作用）。

圖 11：Inception 網絡結構

評估網絡的損失函數采用 SoftMaxWithLoss，同時對應的網絡中增加 Slice layer，將 input 的 label 標簽進行拆分，從而實現對 banner 中每一個評分項進行評估輸出。

總結及工作方向

日前，該智能設計平臺已經支持蘇寧易購線上的所有商品廣告位的 banner 展示，在經歷蘇寧易購 O2O 購物節和年貨節等大促的線上洗禮之后，千變 banner 愈發的成熟與穩定，極大的減少了設計師的重復工作，同時也能滿足運營人員大量的 banner 需求。

目前我們的整體架構是按照這個思路進行生成 banner 以及篩選到線上推廣的，但想要 banner 設計更加的智能化，就要盡可能少的讓規則干預設計，盡可能多的基于算法實現。

所以根據設計師等各方的反饋，總結出之后的三個工作方向。

banner 元素的自適應排版

目前 banner 上的元素的布局都是相對固定的，這就導致了不同尺寸的底版元素兼容性不高，對底版的生成有一定的局限性。

目前我們這塊的工作是通過機器來學習元素的排版布局，對應到易購線上不同的廣告宣傳位，針對性的解決 banner 尺寸的自適應縮放。

banner 底版智能上色

目前生成的底版雖然能滿足日常的線上使用，但由于底版的生成是基于元素庫的，只生成已有的，而不能進行創造。

換言之，實際上做的是美工的工作，而不是設計。所以我們就想利用設計師的手稿進行自動上色，來真正的做到“千人千面”，“千物千面”。

圖12：蘇寧易購線上展示 banner 底版

圖 13：灰度格式的底版及模型自動上色的底版

從上圖兩組初步的自動上色結果可以看到，整體來看智能上色這個方案還是可行的。但是在一些細節裝飾的邊緣部分還沒能到達高分辨率的要求。

同時，在一些淺層的紋理層，算法的上色效果不是特別明顯，所以這塊的工作方向是達到一個高分辨率的自動上色。  

從線上推廣到線下

目前智能設計的平臺已經逐步在線上推廣使用，蘇寧已經擁有幾千家線下門店，且隨著蘇寧“智慧零售”的 2w 家門店的大開發戰略，同樣也有大量的宣傳版面的視覺設計工作要進行，且需求量巨大。

所以未來的工作方向之一也在于利用線上 banner 的生成思路，進行線下門店的的視覺設計。

[[226033]]

童欣欣，蘇寧易購人工智能實驗室算法工程師，參與商品圖像識別和 AI 智能設計并進行相應的研究和開發工作。具有良好的技術知識背景，在深度學習、圖像識別、算法性能優化等方面有著深刻的理解和豐富的經驗。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】