背景

常見的媒體傳輸中帶寬估計的算法有 GCC/BBR/PCC/QUBIC 等，主要基于傳統(tǒng)的基于策略的算法白盒地根據(jù)歷史網(wǎng)絡(luò)數(shù)據(jù)以及主動探測等方法來推算當前網(wǎng)絡(luò)的可用帶寬。這種固化的算法邏輯難以應(yīng)對復雜的網(wǎng)絡(luò)特性，也無法區(qū)分擁塞丟包與隨機丟包。于是我們希望借鑒機器學習的思想，使用大量的線上網(wǎng)絡(luò)數(shù)據(jù)訓練一個黑盒模型，替代傳統(tǒng)算法來靈活應(yīng)對不同的網(wǎng)絡(luò)環(huán)境。

本文主要分享 2018-2021 年期間，大淘寶技術(shù)內(nèi)容中臺音視頻基礎(chǔ)技術(shù)團隊，基于機器學習的帶寬預測算法在淘寶直播的業(yè)務(wù)背景下的探索與大規(guī)模實踐的成果。

Concerto：媒體傳輸層與媒體編解碼層的協(xié)奏

2018年，淘寶直播基于 WebRTC 直播推拉流解決方案已經(jīng)十分成熟。主播端與淘寶直播服務(wù)器均基于開源 WebRTC 實現(xiàn)實時音視頻流的媒體編解碼與傳輸。主播的攝像頭與麥克風所采集的音視頻，經(jīng)由媒體編碼器進行數(shù)據(jù)壓縮，再由媒體傳輸協(xié)議 RTP/RTCP 封裝成數(shù)據(jù)包傳輸給 MCU 服務(wù)器，再經(jīng)過 CDN 分發(fā)給淘寶直播的觀眾。通常服務(wù)器間的網(wǎng)絡(luò)相對比較穩(wěn)定，因此主播的移動設(shè)備推流到 MCU 這“第一公里”的傳輸質(zhì)量，就決定了 CDN 分發(fā)給直播間內(nèi)所有觀眾的視頻質(zhì)量上限。

為了評估淘寶直播“第一公里”的音視頻傳輸表現(xiàn)，我們整理分析了 2018 年 6 月整月直播的推流埋點數(shù)據(jù)，總計超過100 萬小時的直播時長，遍布全球 57 個國家 749 個城市，覆蓋 5 種網(wǎng)絡(luò)制式(WiFi, 4G, 3G, LTE, 2G)，512 個運營商及 934 種手機型號。埋點數(shù)據(jù)可以充分反映真實網(wǎng)絡(luò)世界的延遲尖刺與突發(fā)丟包狀況，對于評估低延遲直播的表現(xiàn)也至關(guān)重要。根據(jù) ITU G.114 標準，要達到實時視頻通話程度的服務(wù)質(zhì)量，端到端全鏈路需要丟包率 <= 1% 且 RTT(Round Trip Time) <= 300ms。而直播場景中，約 20% 的場次平均丟包率 > 1%，約 10% 的場次平均 RTT > 300ms。我們將丟包率 > 1% 或 RTT > 300ms 的場次定義為傳輸質(zhì)量亞健康的場次，從地理分布來看，所有國家的亞健康場次占比均超過 12%；從網(wǎng)絡(luò)制式來看，WiFi 網(wǎng)絡(luò)下的亞健康場次占比最低為 12%，遠優(yōu)于 4G(34%)、3G(54%) 網(wǎng)絡(luò)，且 WiFi 網(wǎng)絡(luò)在總場次中占比為 73%。

直播場景中主播端向網(wǎng)絡(luò)發(fā)送的數(shù)據(jù)量，主要由媒體編解碼層的視頻編碼器與媒體傳輸層的擁塞控制算法決定。WebRTC 中的網(wǎng)絡(luò)傳輸層擁塞控制算法 GCC(Google Congestion Control) 單純用于傳輸協(xié)議時，我們發(fā)現(xiàn)它能保持極低的延遲和幾乎0丟包的表現(xiàn)。而視頻傳輸場景，一次短暫的帶寬降低可能造成持續(xù)幾分鐘的低畫質(zhì)視頻。其中的原因有：視頻編碼碼率難以嚴絲合縫的按照 GCC 的評估執(zhí)行；視頻編碼碼率的變化跟不上 GCC 的變化；間歇性的視頻流量模式也會影響 GCC 對帶寬的評估。

因此，我們基于機器學習的機制設(shè)計并實現(xiàn)了 Concerto，通過加強與傳輸層的互動，來進行對帶寬的評估。它的輸入既包括歷史的傳輸層丟包率、包間延遲，也包含編碼層的編碼碼率、接收碼率等。它的輸出即下一時間段(我們的設(shè)計為 1 秒)內(nèi)的帶寬預測值。這個預測值既會成為下一階段的編碼碼率，也會成為發(fā)送碼率。從上層邏輯來講，Concerto 同時知曉兩層的狀態(tài)，就能推導出每場會話的特征。為了實現(xiàn)這個能力，我們需要解決兩個問題：如何在巨大的狀態(tài)空間中提取每場會話的特征，以及如何在任何網(wǎng)絡(luò)狀態(tài)下都能決策出最優(yōu)碼率。在 Concerto 中，我們設(shè)計了一個深度模仿學習(Imitation Learning)模型來解決這個挑戰(zhàn)。使用海量真實網(wǎng)絡(luò)環(huán)境的數(shù)據(jù)，我們在訓練階段使模仿學習模型學習不同會話的特征，在真實網(wǎng)絡(luò)帶寬的指導下自動生成合適的碼率。

如果我們按真實時間來使用每場會話的數(shù)據(jù)，Concerto 的收斂將會消耗冗長的時間。相反，我們設(shè)計并實現(xiàn)了一個成熟的數(shù)據(jù)驅(qū)動的模擬器來還原網(wǎng)絡(luò)場景。模擬器包含一個視頻幀處理模塊，基于 ffmpeg 壓縮視頻幀；一個視頻會話控制模塊，實現(xiàn) Concerto/GCC/Salsify 和其他基于機器學習的算法；一個傳輸模塊，將視頻幀分解為 RTP 包經(jīng)由帶寬受控的路徑進行傳輸。對于小規(guī)模受控的實驗場景，我們使用三臺筆記本搭建了一個實驗床，兩個節(jié)點用于視頻通話，第三個節(jié)點做路由，基于 Linux 內(nèi)核的流量控制工具，實現(xiàn)網(wǎng)絡(luò)蹤跡的還原。我們還將 Concerto 嵌入了淘寶主播 APP，由其碼率控制模塊所調(diào)用，實現(xiàn)毫秒級別的決策。

根據(jù)模擬器中十幾個小時的網(wǎng)絡(luò)蹤跡環(huán)境測試結(jié)果，Concerto 在可忽視的幀延遲情況下，接收吞吐率方面分別超越三種基線算法 54.9%，53.9%，以及 37.3%，從而實現(xiàn)視頻質(zhì)量的提升。我們還邀請了 6 位志愿者來參與嵌入了淘寶直播的 Concerto 算法的實驗。實驗場景包含家里、辦公室、校園、商店、街邊以及行駛的車里。室內(nèi)場景志愿者大多使用 WiFi，室外場景大多為 4G。實驗總計達 300 次，時長達 69 小時。相較于基線算法 GCC，在所有場景下，Concerto 降低了 13.1% 吞吐量的同時，顯著降低了卡頓率(3倍左右)。

OnRL：靈活的在線學習

基于 Concerto 的探索與實踐經(jīng)驗，我們發(fā)現(xiàn)“線下訓練，線上推演”的策略，在模擬器中可以達到很好的效果，然而在真實線上環(huán)境的效果卻不盡如人意。主要原因有兩個：完全模擬出多流競爭、突發(fā)丟包等真實的網(wǎng)絡(luò)動態(tài)是非常艱難的；數(shù)據(jù)驅(qū)動的算法嚴格受限于其學習環(huán)境。為了縮短模擬器與真實網(wǎng)絡(luò)環(huán)境的差距，我們設(shè)計并實現(xiàn)了一種在線學習的強化學習模型，OnRL。它在淘寶主播的直播過程中運行并保持學習，實時對真實網(wǎng)絡(luò)環(huán)境作出反饋。

為了實現(xiàn)在線學習的目標，我們需要應(yīng)對三個挑戰(zhàn)。

一是由順序的線下訓練轉(zhuǎn)變?yōu)橥瑫r從海量的視頻通話中進行學習。傳統(tǒng)的線下訓練可以合并不同獨立用戶的網(wǎng)絡(luò)軌跡，并輸入一個模擬器來訓練模型。而線上訓練時大量的視頻會話同時發(fā)生，期間算法需要根據(jù)每個會話實時演進。為了應(yīng)對這個挑戰(zhàn)，我們設(shè)計了一個兩階段在線學習框架，結(jié)合 PPO 算法和聯(lián)邦學習的規(guī)則來聚合個體會話的特征。

二是讓 RL 算法在真實的動態(tài)網(wǎng)絡(luò)場景中充分生效。理想情況下，一旦 OnRL 算法決定了發(fā)送速率，編碼器需要按照同樣的碼率來產(chǎn)生視頻流。然而實際情況是，視頻編碼器根據(jù)圖像的動態(tài)程度、壓縮策略甚至是設(shè)備的計算能力，影響自己的控制邏輯，造成與 RL 的碼率決策的偏差。為了解決這個問題，我們將這個偏差輸入給 RL 的神經(jīng)網(wǎng)絡(luò)，來調(diào)節(jié)它的反饋操作。

三是做到健壯地混合學習。一個強化學習的網(wǎng)絡(luò)通過“嘗試與犯錯”來學習，這可能對系統(tǒng)造成干擾。尤其在訓練早期階段，算法可能會執(zhí)行不正確的探測行為，而造成災難性后果。為了應(yīng)對這樣的問題，我們設(shè)計了一個混合的學習機制，讓 OnRL 在被判定為異常時，能夠回歸到傳統(tǒng)的基于規(guī)則的碼率控制算法，否則切換回 RL 的模型。為了實現(xiàn)這樣的切換，我們設(shè)計了一個動態(tài)趨勢預測算法，來辨別一種算法執(zhí)行的表現(xiàn)優(yōu)劣。我們甚至將切換行為算作一種對 RL 反饋的懲罰，來激勵模型進化為一個獨立而健壯的算法。

實驗過程中，我們挑選了 151 位真實的淘寶主播進行了為期一個月的灰度，總計 543 小時的直播時長。灰度結(jié)果證實了在線訓練的效果，QoE 相關(guān)指標得到顯著優(yōu)化，例如 OnRL 在保持視頻碼率持平的情況下，卡頓率得到 14.22% 的降低。

Loki：解決長尾表現(xiàn)問題

與傳統(tǒng)的基于規(guī)則的算法不同，基于學習的擁塞控制方法通常使用覆蓋了各種網(wǎng)絡(luò)狀態(tài)的大量數(shù)據(jù)集來訓練一個神經(jīng)網(wǎng)絡(luò)模型。這種數(shù)據(jù)驅(qū)動的模型在平均指標上表現(xiàn)優(yōu)異，然而因為神經(jīng)網(wǎng)絡(luò)的黑盒決策模式導致的不健壯問題，成為了在生產(chǎn)系統(tǒng)中的大規(guī)模部署的一大障礙。雖然在平均水平上表現(xiàn)符合預期，單個 QoE 的災難性表現(xiàn)也會使得用戶拋棄一款應(yīng)用。

為了探索實時視頻傳輸場景的長尾表現(xiàn)，我們對時下前沿的基于規(guī)則的和基于學習的算法進行了對比實驗。實驗結(jié)果表明，一方面，基于學習的算法在傳輸層指標確實展現(xiàn)了優(yōu)勢，在保持低延遲的情況下有更高的吞吐率，而這樣的優(yōu)勢卻并不能有效的轉(zhuǎn)化為 QoE 指標的提升，部分應(yīng)用層的幀延遲和抖動甚至可能惡化。更深入的分析表明，原因存在于傳輸層指標的長尾表現(xiàn)問題。另一方面，基于學習的方法偶然會產(chǎn)生不準確的帶寬預測。一些嚴重的過載預測就能造成災難性的表現(xiàn)，如跳幀甚至是卡頓。我們發(fā)現(xiàn)問題的根因在于，這些帶寬估計的算法，尤其是廣泛使用的強化學習算法，是通過“嘗試與犯錯”的模式進行學習。它們追求最大化長期的累積反饋，因此能容忍偶然過載或缺載的預測結(jié)果，這就造成了長尾結(jié)果表現(xiàn)不佳。

受到上面兩方面觀察的啟發(fā)，我們希望解決一個關(guān)鍵問題：是否能設(shè)計一種平均表現(xiàn)和長尾表現(xiàn)均令人滿意的實時視頻傳輸算法？為此，我們設(shè)計并實現(xiàn)了 Loki，一種混合模型。它同時利用基于規(guī)則的方法的確定性，和基于學習的方法的預測能力。當網(wǎng)絡(luò)狀態(tài)不穩(wěn)定，Loki 使用保守的和基于規(guī)則的方法一樣的碼率決策方式，來避免災難性的 QoE 降級。其他情況，Loki 則會通過類似學習的探測來充分利用網(wǎng)絡(luò)帶寬。

雖然頂層的設(shè)計思想比較簡潔，但 Loki 仍需要解決兩個關(guān)鍵的挑戰(zhàn)。

一是如何使基于規(guī)則的算法和基于學習的模型兼容，更進一步地說，是可混合的？前者可以由硬核的“如果-就”條件語句來實現(xiàn)，而后者就要求基于神經(jīng)網(wǎng)絡(luò)的黑盒表現(xiàn)形式。前者的工作更多是時分復用地使用這兩種算法，而 Loki 實現(xiàn)了更深層次的融合。Loki 將一個白盒的基于規(guī)則的算法(例如 GCC)，通過定制的模仿學習網(wǎng)絡(luò)模型，轉(zhuǎn)化為了一個等價的黑盒神經(jīng)網(wǎng)絡(luò)模型。這樣，兩種算法才變得可兼容，且能在“特征層面”而非決策層面實現(xiàn)共用。

二是如何保證“特征層面”的混合可以真實地保留基于決策的算法和基于學習的算法的優(yōu)勢？為此，我們設(shè)計了一種雙權(quán)重的特征混合機制來達到這個要求。詳細來講，Loki 把兩種神經(jīng)網(wǎng)絡(luò)模型的訓練后的高層次特征作為一種置信系數(shù)。兩種算法共同決策期間，他會給能達到更優(yōu) QoE 的特征集提高優(yōu)先級，給予更大的權(quán)重。為了實現(xiàn)這樣的權(quán)重機制，我們將一個基于時下頂尖的強化學習算法模型，內(nèi)置于淘寶主播端進行交互式訓練。最終 Loki 演化為一個可靠的，可以應(yīng)對新環(huán)境的獨立的模型。

最終，我們將 3 個時下頂尖的解決方案(GCC，OnRL，Orca)應(yīng)用在淘寶主播中，作為基線對比。相較于基線，Loki 平均降低了 13.98%-27.27% 的卡頓率，并將視頻質(zhì)量提升 1.37%-5.71%。同時，Loki 大幅減少了長尾占比，例如，95分的卡頓率降低了 26.3%-44.24%。通過減少長尾占比，相較于 GCC，Loki 也使得觀看時長得到了 2.62%-4.68% 的提升。前期的驗證工作結(jié)果表明，觀看時長最終會轉(zhuǎn)化為可觀的商業(yè)價值。

總結(jié)與展望

隨著對實時媒體傳輸逐步深入的研究，在大淘寶內(nèi)容中臺音視頻技術(shù)的同學和國內(nèi)高校的共同努力下，我們合作完成了業(yè)內(nèi)第一個大量實踐于商業(yè)系統(tǒng)的基于神經(jīng)網(wǎng)絡(luò)的帶寬預測算法。研究成果多次獲得國際頂級學術(shù)會議認可，得以發(fā)表 3 篇 CCF A 類會議論文的同時，與其他合作項目一同，獲得了 2020 年中國電子學會科學技術(shù)獎的科技進步一等獎的殊榮。

由于移動端的算力限制，我們的最新成果 Loki 模型，目前仍依賴云端服務(wù)來支撐大量的模型訓練過程。而隨著淘寶直播的業(yè)務(wù)發(fā)展，云端的在線訓練資源消耗成本也將大幅增加。因此，我們近期的工作，是將收集了海量網(wǎng)絡(luò)狀態(tài)的 Loki 模型固化并聚合，轉(zhuǎn)移到移動端進行在線推演，減少云端的算力成本。固化工作已初見成效，未來有機會也將總結(jié)歸納分享出來。

CCF  A類會議論文發(fā)表情況

1. Huanhuan Zhang, Anfu Zhou, Yuhan Hu, Chaoyue Li, Guangping Wang, Xinyu Zhang, Huadong Ma, Leilei Wu, Aiyun Chen, and Changhui Wu. 2021. Loki: improving long tail performance of learning-based real-time video adaptation by fusing rule-based models. Proceedings of the 27th Annual International Conference on Mobile Computing and Networking (MobiCom '21)). Association for Computing Machinery, New York, NY, USA, 775–788. DOI:https://doi.org/10.1145/3447993.3483259
2. Huanhuan Zhang, Anfu Zhou, Jiamin Lu, Ruoxuan Ma, Yuhan Hu, Cong Li, Xinyu Zhang, Huadong Ma, and Xiaojiang Chen. 2020. OnRL: improving mobile video telephony via online reinforcement learning. In Proceedings of the 26th Annual International Conference on Mobile Computing and Networking (MobiCom '20). Association for Computing Machinery, New York, NY, USA, Article 29, 1–14. DOI:https://doi.org/10.1145/3372224.3419186
3. Anfu Zhou, Huanhuan Zhang, Guangyuan Su, Leilei Wu, Ruoxuan Ma, Zhen Meng, Xinyu Zhang, Xiufeng Xie, Huadong Ma, and Xiaojiang Chen. 2019. Learning to Coordinate Video Codec with Transport Protocol for Mobile Video Telephony. In The 25th Annual International Conference on Mobile Computing and Networking (MobiCom '19). Association for Computing Machinery, New York, NY, USA, Article 29, 1–16. DOI:https://doi.org/10.1145/3300061.3345430

國內(nèi)獲獎情況

2020 中國電子學會科學技術(shù)獎科技進步一等獎。

??https://www.cie.org.cn/system/upload/file/20201211/1607675713758483.pdf??

團隊介紹

大淘寶技術(shù)內(nèi)容中臺音視頻技術(shù)團隊，面向淘寶直播、點淘、逛逛、閑魚、ICBU 等集團內(nèi)眾多業(yè)務(wù)，負責提供實時音視頻通信和媒體處理的底層核心能力，為千萬商家、達人、消費者帶來內(nèi)容豐富、高質(zhì)量、絲滑的音視頻體驗。