一、背景與挑戰

1、背景介紹

在飛豬 APP 端、支付寶或者淘寶端，我們用到的交通相關的業務主要有三個：機票、火車票和汽車票。這里以機票為例，來展示一下各個子場景：

• 入口模塊：主要為用戶進行 TOP1 的需求預測，也就是 TOP1 推薦，讓用戶點進到各個子場景當中，起到一個引流的作用。
• 模糊搜索：主要為用戶填上一個目的地、出發地以及一個時間段，在未來的某個時間段，他們可能會去哪里。
• 低價模塊：主要為用戶去推薦，或者預測，用戶會對哪些 OD 感興趣，因為這些是比較便宜的，有可能命中用戶的心智。
• 瀑布流模塊 & Listing模塊：主要為了提升用戶的瀏覽深度，給用戶種草，激發用戶出行。

2、特點與挑戰

交通業務場景與傳統的電商推薦是不一樣的，因為交通旅行場景，有很大的場景特色。具體而言，用戶出行周期主要分為四個階段：

• 激發需求，用戶為什么想要出去。如熱門城市，或者節假日，如春節，國慶等固定的出行需求，或者當用戶發現一個好的地方，想去出行。這一階段，定義為種草，主要是平臺去激發用戶的出行需求。
• 行前階段，用戶準備去哪里玩，需要做的一些準備工作。比如訂哪個酒店，交通方式是什么，用特價機票還是火車票，還有相應的門票等，這是行前階段。
• 行中階段，主要捕獲用戶的心智在于當前所在的地方，周邊有沒有好玩的，返回或者下一個目標交通如何到達，或者是門票如何購買。
• 行程之后，用戶出行之后是反饋，然后再循環。

在用戶出行周期中，主要面臨四個挑戰：

決策長周期性。在傳統電商平臺，用戶每個月或者每周都會使用淘寶或者京東App進行購物，但是旅游的決策周期非常長，一年可能也就會出行幾次，每兩個月出行一次，或者一個月出行一次。

行為稀疏性。同上，電商App的用戶行為就比較密集，但是在旅行場景，尤其是疫情期間，可能一年出行兩次，用戶的行為就比較稀疏。

行為時序性。其實是場景的優勢，如果用戶出行，先通過交通工具到一個地方，然后訂酒店住宿，再乘坐交通工具到另一地方，用戶先做什么后做什么，有明顯的邏輯性。如何充分利用出行規律中的邏輯性是一個難點。

時空關聯性。假設用戶22 年的春節回了老家，那23 年的春節大概率也會回老家，這個時空關聯性就比較強。如何捕捉時空關聯性，也是要解決的一個問題。

定位挑戰之后，業務的目標可以拆分為用戶側和商品側。利用用戶側用戶的基本屬性、社交關系和旅行狀態和商品側做匹配，匹配目前主要是關注三個方面：

• 需求，用算法預測用戶去哪里，或者預測用戶下個階段會去哪里。
• 效率，首頁推薦要比用戶搜索得到體感更好，減少了用戶看到感興趣OD的時間。
• 心智，不同的用戶，有不同的心智和想法。在出行中，如何捕捉到不同用戶的不同心智，也就是用戶的潛在心理與需求，也是一個難點。

針對以上三個方面，接下來主要講解整體的算法優化歷程。

二、算法優化歷程

1、架構

用戶進入到一個飛豬推薦場景，會觸發個性化。我們的實時用戶中心、實時特征中心和交通信息池會根據這里面的信息去對該用戶進行一個用戶畫像。用戶畫像主要包括用戶的一些基礎信息，以及用戶的一些實時的或長期的、短期的歷史行為信息。構建完用戶畫像之后，我們會利用集團的一些平臺，如 iGraph、FPP、Summary、RTP等平臺，來提供支持，去進行召回、 OD 信息完善和排序。

推薦預測算法整體上分為召回和排序兩個階段：

• 召回，主要有熱門目的地、熱門航向、Swing 用戶的長期需求、重定向以及用戶搜索。
• 排序，目前線上模型主要支持單任務學習模型和多任務學習模型。
• 單任務學習，使用特征融合或特征交叉的AutoInt 或者 WDL 模型。其中，用戶歷史點擊行為序列的模型，主要是采用的 DIN 模型。
• 多任務學習模型，包括 ESMM、MMOE、PLE等模型。

整體來說，第一步是考慮特征交叉，再去考慮特征融合或者序列建模助力機制。圖中的ODNET論文是我們在22年發的基于多任務學習的一篇論文，大家有興趣可以看一下。

接下來分別具體介紹召回和排序這兩個階段的優化工作。

2、召回

先來看線上的情況。

• 用戶A：西安—>重慶（黑色線連接）

他有一張西安到重慶的機票，如果利用傳統的Swing算法計算相似度，會給用戶推薦 西安—>成都，鄭州—>重慶的機票。這是不符合常理的，通過撈日志，也會發現這些用戶就沒有點擊。通過分析也可以知道，因為用戶已經有一張西安到重慶的票了，再給他推相似的行程是沒有意義的。用戶接下可能會點的是重慶—>成都或者成都—>西藏的票。以上可以顯示出來，當一個用戶在旅行的行中，其行為具有明顯的連續性。而如果平臺沒有感知到用戶它已經在行中了，使用推薦算法預測的就不準確。

• 用戶B & C：北京—>杭州

如果使用傳統推薦算法召回，得到的是北京—>蘇州、天津—>杭州，因為北京和天津比較近，杭州和蘇州也比較近，而且城市相似度也比較高，所以此類行程會被推薦出來，但這也很不對。存在用戶B點擊的是從杭州—>北京的返程，而用戶C 點的是從杭州—>蘇州，杭州—>上海。為什么兩個用戶點擊的不一樣呢？通過特征分析可以發現，用戶B來杭州，是為了出差，沒有旅行的心智，所以直接就返程了。而用戶C，從北京到杭州，目的是旅游，所以他下一步可能會從杭州再去下一個城市。

以上就是使用傳統Swing召回算法存在的問題。一個用戶，旅行會具有明顯的連續性，就像西安—>重慶—>成都，然后再回西安，存在明顯的連續性行為。

如何捕獲用戶的出行意圖也是優化的一個方向，首先看一下傳統推薦算法，上圖左側：用戶1，買了一條藍色的褲子，紅色的鞋，還有一件灰色的衣服，這是用戶 1 的購買行為；用戶2， 也買了一條藍色的褲子，紅色的鞋，灰色的衣服。

當一位新用戶進入平臺，買了一條藍色的褲子，灰色的衣服，當我們給用戶推薦鞋的時候，推薦紅色鞋子似乎是理所應當的。因為用戶1和2在同時購買這兩個物品褲子和衣服的同時，又購買了紅色的鞋子，鞋子肯定和褲子及衣服搭配率比較高，這就是傳統的Swing推薦算法。但在旅行場景，存在場景特色，也就是說用戶不論是旅行、出差還是回家，有很明顯的潛在目的。

針對于家鄉、景點和公司，我們劃分為八種需求：

• H2S，S2H：從家鄉去一個景點，或者返程
• S2S：從景點去了下一個景點，比如從廈門去了三亞
• W2S，S2W：從景點回工作地，或者從工作地去景點
• W2W：工作地之間的轉換
• H2W，W2H：從家到工作地，從工作地回家

如何融合這 8 種需求，具體而言，如上圖右側的異構圖所示：其中對于用戶1，虛線表示其離開了北京，假設用戶離開了北京，到達了上海，然后從上海離開，到達廈門，最后從廈門離開，到達了三亞。如何把這種意圖建模進去？比較關注的是用戶的出發城市，對用戶而言是什么樣的意圖，出發城市是家還是公司，到達城市對于用戶來說又有怎樣的意義，是景點、家還是公司。

在線上，使用用戶實時特征系統去判斷當前這個城市是否為用戶的常駐地、家鄉地、出生地或者熱門景點去判斷。

如圖中右下側公式紅色部分，新增意圖模塊，其中：β 代表用戶 u 的一個出行意圖， γ 就代表用戶 v 的一個出行意圖。如果這兩個出行意圖能夠命中，η 作為有意義方向加到這里面去。如果它沒有意義，這一項都等于0。針對于使用算法的一個改進，相當于再加入一個用戶出行，出發意圖和到達意圖都融合到公式里。

具體的case，假設線上推的 Trigger D，如果用戶的目的地是上海，分兩路召回，“回答”用戶為什么去上海：

• Travel 旅游去上海，算法召回策略是青島、三亞、昆明、重慶、成都一些比較相似的沿海城市，或者是比較熱門的旅游城市。 
• Work 工作去上海，算法會召回深圳、北京、杭州這些具有高工作代表性的城市。
• 另外，如果是Trigger OD，用戶從鄭州—>上海。為什么從鄭州去上海？
• 如果對用戶而言，鄭州是家鄉。而對于上海去，是Work，那算法推薦的應該是返程，上海—>鄭州。
• 如果用戶是去這個兩個地方旅游的，就會給用戶保持旅游的推薦的連續性，從上海—>廈門，或者從上海—>三亞。

上圖下方展示了A/B test的結果，整體而言，相對于base，召回效率、uvctr & pvctr 效果都有較大提升。

3、排序

（1）模型1—LSGMNet

在進行排序模型的講解之前，還是以線上的case為例，介紹一下我們為什么要這樣做。

• 行前決策，假設暑假來了，用戶想著怎么出去玩，首先是沒有任何特定城市的明確需求。比如要考慮去南方城市，或者是華東城市。會選擇華東哪一個城市呢？是杭州、蘇州還是上海，還是最后去上海。以上的行前決策行為是非常重要的，決策過程在算法中相當于一個區域縮減行為，把目的地候選集一步一步地變小，最終得到一個比較準確的推薦，如何去建模行前決策是一個難點。
• 臨近城市，也會影響用戶的決策。假設從家里去青島旅游，因為青島、威海、蓬蓬萊這三個城市離得比較近，先去青島，威海或者蓬萊，下一個去哪對我們來說意義不大。影響我們心智的無非是價格或是交通的便捷性，這就導致了鄰近城市的推薦會出現相互的影響性。所以如何建模鄰近城市的相互影響性也是十分必要的。
• 行動階段，假設用戶出發到了北京，但是最近從北京->重慶，或者從北京—>天津的人特別多，用戶會不會受熱門城市的影響，或者會不會也想從北京—>天津？

針對上述三種情況，將分成三個模塊來進行講解。

• 階段性決策多任務學習模塊

這個模塊主要解決在行前階段考慮去哪個地方玩的多階段性，比如用戶先去華南，或者先去華東，然后再去上海或是杭州，最后決定去杭州。建模時分為三個子任務：GeoHash2 ，GeoHash2和City 級別的子任務，最后再融合為 loss 訓練。

• 保持 OD 模塊的新穎性和空間依賴性

如果同時保留這兩種是比較難的，這里主要是考慮全域的長時間行為序列，通過把 OD 提取出來，建模空間圖和熱門城市圖。

a.關于空間圖，如果兩個城市在同一個GeoHash2 里面，因為GeoHash2的大小可以跨兩個省級別。如果兩個城市在GeoHash2 里面，就產生一條邊，如果沒有就不會產生邊，這樣就會生成一張空間圖。

b.關于熱門城市圖，主要考慮熱門城市和非熱門城市。關于熱門城市的定義，是通過把飛豬火車票，機票還有汽車票或者酒店的售賣情況去計算售賣量，通過售賣量進行規劃，進而計算熱門城市。同時也會將熱門城市按照區域進行劃分，比如按華東、華南等七大區域塊進行劃分。因為不同區域的人，想去的地方也不太一樣，通過劃分不同區域內的熱門城市和非熱門城市。舉例，華中區域與華南區域的熱門城市，會有 Alpha 產生一條邊，非熱門城市之間會有 Beta 產生一條邊。

這樣做的目的是為了保證整體的新穎性，可以捕獲一些用戶流量。

建完空間圖和熱門城市圖之后，我們它會經過一兩個階模塊去提取這些城市的一個隱備點表征，最終經過多頭自注意力機制將特征表征進行融合，輸出Contact 到當前 3 個子任務上面去。經過這 3 個子任務之后，再通過一個多頭自注意力機制將 3 個子任務進行交互交叉的學習。

• 長短興趣記憶模型

去捕獲用戶的長短期興趣，最后進行 3 個 loss 的聯合訓練。

在離線，主要采用了兩個數據集：

• Fliggy，飛豬線上收集的 10/01～11/01 將近一個月的數據，通過 ACC 的1，5，10，20，和Map值進行一個預估。
• Fliggy2，第一個數據集進行策略過濾，因為用戶具有稀究性，一年可能點不了幾次。過濾策略會將在一年之內點擊或者購買大于 4 次的用戶，作為高質量用戶過濾得到。過濾完之后，再進行模型的訓練。

將利用Fliggy2訓練的模型推到線上，進行A/B測試，整體的 pvctr 和 uvctr都有4%左右的提升，上線將近 10 天，整體提升效果比較穩定。

（2）模型2—G-PDIN

這里以線下發現的現象作為引子去講，為什么要這樣做。

首先第一個用戶，從杭州—>青島，威海，杭州，青島，這是他的行為序列；第二個用戶，從北京—>重慶、麗江、大理、西藏，去了這些城市。

召回階段的候選集，三亞、北京、杭州、威海、青海、西安和成都。候選集對兩個用戶是一樣的。如何從候選集中給兩位用戶進行推薦呢？

• 針對用戶1，要給他推威海、杭州或者三亞。

為什么要給他推威海？因為用戶既然去威海，并且在去威海之前，去了青島，存在明顯的時空周期性。假設用戶上一年去了青島、威海，今年又去了青島，下個階段是不是也會去威海，具有明顯的一個時空周期性。

為什么要推杭州？因為用戶也有可能要返程，從杭州出發，最終返回杭州。

為什么要推三亞？因為三亞和青島、威海，都是一些比較相似的海島城市。體現出用戶潛在目的是對沿海城市或者海灘城市比較感興趣。為了保證推薦的公平性或者新穎性，就會給用戶推薦一些沿海或者是沙灘城市。

• 針對用戶2，給他推成都、青海、西安和北京。

為什么要推成都？用戶去過重慶，肯定要給推成都。

為什么要推青海，通過分析用戶行程。重慶、麗江、大理、西藏，這樣的行程明顯屬于川藏線的旅游路線。用戶去了西藏之后，按照大部分人的行為連續性，該用戶下一站大概率會去青海，或者直接返回北京，返程行為。

以上就是線上解決的一些case。

下面詳細講解如何優化。

我們基于DIN模型設計了 G-PDIN 模型，改善的模塊為右側模型架構圖中紅色的部分，主要包括：局部興趣捕捉模塊、周期興趣捕捉模塊和潛在用戶意圖的捕捉模塊，最后會和目標 item 進行特征計算。

接下來詳細展開介紹這 3個模塊。

• 注意力單元計算

傳統的DIN模型會直接做一個特征Embedding 相乘再相加的注意力機制。G-PDIN 不同，是用一個基于元路徑學習的方式。如上圖左側，灰點是用戶，黃點是用戶出發城市，紫色點為用戶到達城市，通過建模異構圖，并定義一些Mentfast，來捕獲用戶的長Trigger。

構建好圖并定義好元路徑之后，把上文中提到的空間圖和熱門城市圖，也會經過一個 Graph SAGE 進行一個特征提取。特殊提取完之后，就可以得到出發地城市和到達地城市的表征信息。通過把這些表征信息做叉乘，就可以計算出 OD 的相似度。

如圖所示，舉例說明：User1 去了昆明、重慶和成都；User2 去了三亞、青島和廈門。候選集給User1 推薦的大理，因為大理和昆明，重慶，成都無論在地理相關性上，還是在二部圖上，都有很高的相關性。User2 推薦的是威海和大連，因為捕捉用戶去三亞、青島和廈門這些沿海城市，而且推薦的城市離青島比較近。

• 用戶潛在意圖捕捉模型

借鑒了Hinton教授的膠囊網絡，進行特征的聚類。把這種思想用到用戶的點擊序列當中，每個用戶的點擊序列，每一個城市Embedding之后，經過CapsuleNet膠囊網絡+Attention，將這些城市聚為 n 類，代表著用戶是否是歸鄉或者工作旅游。

上文提到的Swing改進算法所對應的 8 個意圖，這里也會把 8 個意圖進行聚類，再經過多頭注意力機制，進行意圖融合，將最終得到的Embedding concat 到其它的表征信息中，進行后面的訓練。

• 周期性的行為捕捉模塊

借鑒了 CNN 圖像領域的空洞卷積的思想，對春節、國慶、中秋等一些節假日進行處理。在數據分析時，我們發現平均每個用戶的點擊行為不會超過兩三次，所以把 2 或者 3 做一個step，進行節點跳躍，對節點進行信息聚合，再通過多頭注意機制生成最終的 Emending 表征。通過這種方式去模擬用戶周期新行為捕捉。

這三個模塊做完之后進行 Contact，后面的模式就和 DIN 模型一樣的了。

離線訓練，是以 DIN 模型作為基線，在數據集上AUC 為0. 8。如果加入圖注意機制，還有周期性、潛在意圖捕捉模塊，AUC提升到了0. 83，絕對值提升了 3 個點左右。線上進行了 10 天左右的A/B測試，整體來看無論在 pvctr 還是uvctr，都有一個點的提升。

三、思考與總結

最后，對過去的工作和未來的工作方向進行一個總結。

首先是對近期工作的思考：

• 在召回方面

主要是基于Swing模型開發了一個 IC （Intention Capture Swing）索引Recall， IC 索引就是去捕捉用戶的潛在意圖。

• 在排序方面

a.基于多任務學習，主要是一步一步添加了空間圖，熱門城市圖，不同級別的子任務模塊，還有 LSTM 模塊和 GRU 模塊。

b.基于DIN 模型，逐步去添加了一些局部興趣提取，周期性提取，潛在意圖捕捉，預訓練的 GNN模型，去計算 OD 的相似度，

對于未來的工作方向，主要會考慮超長歷史行為序列層次建模，時空序列整體建模，以及元學習和跨域學習。

具體而言，比如三亞/廈門的用戶，在 09 年去了三亞， 20 年去了廈門， 21 年去了三亞， 22 年又去了廈門，那23年更應該給該用戶推三亞，因為用戶存在明顯的周期性，而且用戶序列比較長。如何建模這種序列，下一步的思考就是把這些序列建模成時空圖，用時間和空間圖去進行一個抽象建模。

另外，還會考慮元學習和跨域學習，做冷啟動或者其他方面的策略。因為用戶乘坐飛機的行為可能比較少，但是乘坐火車/高鐵等場景的行為比較多，可以利用跨域學習追蹤做一些冷啟動的策略。

四、問答環節

Q1：G-PDIN模型是否已經發表論文？

A：論文還未發表，現在已經線上實踐并離線評估，效果比較好，后續可能會寫一下論文。

Q2：GAT 節點用了什么特征？

A：GAT模塊特征用得比較少，只用了城市，城市所在GeoHash，是否為熱門城市等，這些基本的屬性特征，沒有用POI 或者維經緯度的其它特征。

Q3：推薦熱門航線是否能夠帶來明顯貢獻？

A：這個是能的。因為人們在旅行前，大多數是不知道去哪里，會被小紅書等一些App的城市推薦影響心智。

Q4：請詳細展開講講長序列模型？

A：我們做的主要是去模擬時空序列，通過對每一年、每一個月單獨進行序列建模，然后分層次，像 2022年12個月 2022就是 1* 12，疊正一個矩陣，對矩陣做一個時空圖的特征抽取。

Q5：出行意圖模型是否有單獨輸出？

A：沒有，因為這是一個端到端的交叉網絡，訓練時會直接輸出Embedding，并把表征連接到用戶的特征信息上。

Q6：時間信息是怎么用的？

A：如剛才所講的，會疊成一個矩陣進行特征抽取。目前線上用的是這種方式，引用時間信息，通過矩陣或矩陣的敞口寬去代表一個時間信息。因為出行需求預測和傳統的交通流量預測不太一樣，交通流量預測每時每刻都不一樣。但旅游行為數據比較稀疏，而且周期比較長，所以以月為單位，比較合理。如果以每秒或者每小時做切分，不太合理，會非常稀疏，得到的矩陣基本全都是0。