一、介紹

人們所觀察的世界無時無刻不在改變，造就了“視頻”相比于文本等類型的數據更具表現力，包含更加豐富的信息。如今，能夠產生視頻的數據源及應用場景愈發多樣，視頻數據的規模不斷增長，視頻大數據成為支撐諸多行業技術發展的熱點方向。

1. 交通攝錄

城市化的快速發展導致機動車數量持續激增，也因此造成了諸多的交通問題。

一方面，由于時間、天氣、大型事件等多方面的因素，城市道路上的交通流量持續變化，尤其是繁華地帶的路口，經常匯聚著較多的待通行車輛。

如何第一時間獲取交通流量信息、監測城市交通狀況，正是交通攝錄系統所需解決的問題。通過攝錄視頻流的實時收集，城市交通控制中樞能夠及時地獲知流量異常情況，做出交通調度調整，以改善行車效率。

另一方面，人為駕駛的主觀性導致違規事件的發生難以完全避免，而對檢測的疏漏或延遲將不僅可能導致駕駛行為責任人自身規則意識的下降，升高未來的事故發生率，更有可能造成交通癱瘓，甚至重大的人身財產損失。

因此，廣泛分布且實時視頻采集的交通攝錄系統具有極高的存在必要性，不斷規范及約束車輛駕駛者的行為，同時對違規事件及交通事故在第一時間進行采集、上報，進行后續的處理。

目前，在部分城市的交通系統中，已經嘗試采用更加智能化的交通攝錄體系，例如對疲勞駕駛、違規通話等駕駛行為實時檢測、智能判斷，而無須人為干預。

密布于城市各個角落的攝像頭組成的龐大的攝像系統基礎設施帶來的交通價值不言而喻，但對交通數據處理系統提出了嚴峻的挑戰。

一方面，該系統需要具備低延遲的處理性能，保證異常事件發生時能夠及時地進行分析、處理以及后續操作。另一方面，基礎設施中數量巨大的輸入源是傳統單一視頻處理系統所難以應付的。

由于該系統不僅需要采集、存儲視頻，而且在邁向智能化發展的路上，需要對它進行預處理、幀解析、事件模式匹配、異常檢測上報等操作，因此對于極多輸入源的同時處理，是當前所面臨的一大難題。

2. 車載攝錄

對于傳統機動車而言，行車記錄儀的出現為廣大駕駛者帶來了多方面的保護。

一方面，共享出行的專車內、公共交通的車廂內，車內記錄儀能夠持續記錄乘客及駕駛者的行為，檢測車內狀況。在發生異常事件時，記錄儀能夠提供準確的現場追溯，不僅為責任認定提供了有效的證據支撐，更為嚴重性事件的溯源剖析提供了第一手資料。

另一方面，用于私家車的前向記錄儀則更為普遍。在車輛啟動后，行車記錄儀隨之啟動，以視頻的形式持續地、完整地記錄著行駛的整個過程，有效彌補了交通攝錄系統不及之處，為駕駛者提供了多層面的安全保證。

對于新興的智能車輛而言，包含360°環繞攝像在內的環境感知系統所發揮的作用更是舉足輕重。攝像頭之于汽車，就像眼之于人，提供了感知周遭環境的輸入口。基于實時的環境圖像，自動駕駛控制系統能夠對采集到的視頻進行處理、分析，并即時進行決策，控制車輛行為，在一定程度上，甚至完全地替代人為控制，極大地提升出行效率。

雖然車載攝錄為傳統及新興機動車帶來了強大的功能，但車輛本身的移動性為視頻的數據處理提出了新的問題：

• 一方面，高移動性導致視頻內容的變化極快，不同于固定物理位置的城市攝像頭，車載攝錄可能在極短時間內采集到完全不同的影像，這不僅包括物體本身的變化，還包含了移動導致的光線、角度等上下文環境的急劇變化，對于視頻內容分析的準確性和靈活性要求更高;
• 另一方面，高移動性直接導致了網絡通信連接的不穩定性，不同于有線光纜傳輸，無線網絡傳輸的質量依賴于網絡信號強度、帶寬、信道實時負載等因素，造成基于無線網絡的數據及任務的穩定上傳過程變得愈發艱難。

3. 航空攝錄

由于更高的攝入角度，基于航空器材的攝錄系統通常具有更高的專業型和特殊性，同時帶來了更加強大的功能性：

1)空地追蹤

得益于不被道路交通所限，飛行器能夠靈活、高效地追蹤移動性目標，彌補地面追蹤不便的缺陷，降低目標失蹤率，為關鍵性任務提供支撐。

2)智慧農耕

傳統農耕作業需要人工地親力親為，經歷長周期的運作，包括觀察并分析農田情況，調整作業策略，根據種植方案進行播種，以及后期灌溉、除蟲等維護。由于務農者本身能力所限，這一系列的過程將十分耗費時間資源，效率較為低下，且無法準確地按照預期規范化操作細節，造成減產等損失。

相比于人力運作，基于航空器的作業方式能夠帶來極大的改善。通過航空攝錄系統，能夠直接以直觀的視頻形式采集農田情況，并基于農田數據處理系統進行視頻分析，獲取種植所需的多元化參數。隨后，航空器能夠攜帶種子、農藥等基礎資源，從空中直接進行均勻播撒，在短時間內覆蓋大范圍作業區域，實現人工難以達到的效率。

3)遙感

基于航空設備的自身優勢，它能夠在空中無接觸地、遠距離地探測、勘察各種復雜地形地貌，包括人們難以進入的野生地帶、冰川、火山等。而視頻的形式為人們提供了對于未知環境最為直觀的感受，同時有利于數據處理系統進一步地科學分析、探索。

如今，由于基礎設施以及無人控制技術的不斷發展，航空攝錄已經逐漸轉向基于無人機的系統實現。無人機具有更低的制造成本、更小的體積、移動更加靈活等諸多優勢，因此對于傳統飛行器難以實現的場景，無人機具有更大的潛能。

同時，由于控制者本身從“機內”移動到了“機外”，相隔數百米甚至數百千米，因此，一方面，如何高性能地實現從無人機采集的實時視頻到控制者的實時決策，需要解決視頻采集技術、預處理技術、網絡傳輸技術等諸多視頻大數據系統所面臨的問題;另一方面，由于無人機具備更加多元化的環境感知能力，例如無死角覆蓋的實時攝錄系統，因此無人機自主行為控制也是實現智能化發展的一個方向。但是，因此帶來更高的視頻處理性能需求，是傳統設備端運算或者云端兩層架構所無法實現的，需要云邊協同高效架構的加入。

4. 智能設備

包括智能手機、平板計算機在內的智能設備，逐漸成為日常生產生活中與人們打交道最為頻繁的物品。

一方面，智能設備本身所具備的拍照及錄像能力，為人們的生活帶來了更加豐富的記錄方式。通過智能設備所拍下的照片、短視頻、影片，能夠方便地分享正在進行的游戲、欣賞的風景、有趣的寵物、令人深思的事件等。

另一方面，它能使得人們的生產、工作更加高效，尤其是在人們出行受限的特殊時期，眾多的團隊、企業開始使用基于視頻會議的高效辦公方式，繼續原有的運作。

相比于其他的攝錄系統，智能設備帶來的攝錄能力以及產生的視頻大數據更加無處不在，更加貼近人們本身，同時也包含著更大的價值挖掘潛能。

5. 其他

遠不止上述提及的應用場景，視頻大數據幾乎無處不在，例如：

1)安防監控

不同于交通攝錄系統，安防監控帶來的視頻記錄能力更多地用于環境采集，以實現生產生活日常運作的安全保障。在安防系統中，數據處理的低延遲、高吞吐特性尤為重要。根據用戶預設的智能檢測模型，攝像系統在采集到視頻數據后，應在極短的時間內完成數據處理，并實現智能決策。

2)工業攝錄

通過視頻監控等方式，實時監測車間生產情況，基于視頻大數據的分析，能夠即時發現異常、調整設備等。

視頻數據在各行各業的應用場景十分廣泛，同時也帶了極高的潛在分析價值，但由于它文件體積本身龐大，因此對數據處理系統的能力提出了更大的挑戰。

二、問題與挑戰

1. 問題

視頻數據是非結構化數據，價值密度很低，且具有連續性、實時性等特點，視頻大數據系統對數據相比傳統具有更高的性能要求，這主要體現在以下幾方面：

1)計算密集

對于視頻流而言，一般需要進行信號處理、編碼、解碼等基礎過程，轉換為計算機內相應的存儲格式，再對每一幀內容進行深入處理。

一方面，對于每一幀內容而言，可以將它看作類似于靜態照片的圖像，可通過一系列相關技術進行以下操作：

• 特征檢測及提取：傳統的Canny邊緣檢測算法、Harris角點檢測算法、SURF算法以及SIFT特征、GIST特征等，基于深度學習的神經網絡模型等，能夠對圖像中的邊緣、轉角等特征進行識別，支撐后續更加復雜的處理。
• 目標檢測：針對特定的或者泛化的目標，例如物品、人體、面部等，通過特定算法進行檢測，獲知其存在性或位置。
• 目標分類：對于圖像中出現的目標進行分類等。

不論是基于傳統算法的圖像處理方法，還是近年來愈發火熱的深度學習處理方法，它的性能(例如準確率)通常與運算量直接關聯，例如，對于深度網絡模型而言，具備更高精度的模型通常具有更為復雜的網絡結構、更為龐大的訓練參數量，因此需要更高的算力(包括計算能力、存儲能力等)進行推斷。

另一方面，由于視頻是每一幀連續組合而成的流式數據，因此對于視頻流的處理將遠高于靜態圖像處理的復雜度。

首先，為了捕獲環境中更多的細節，以及為后續的算法提供更加精確的原生輸入，視頻采集系統通常追求更高的分辨率。如今，隨著設備的不斷升級迭代，4K甚至8K分辨率已經逐漸成為高質量視頻的標準，這將大幅增加每一幀圖像的體積，對運算系統性能提出更高的要求。

其次，為了能夠在時間變化的過程中捕獲更加順暢的運動行為，視頻采集系統通常會將幀率(即每單位時間內采集的圖像幀數量)設置為設備能夠接受的盡可能高的水平。因此，在單幀圖像體積一定的情況下，更高的幀率意味著單位時間內的視頻體積更大，這對數據處理系統會造成更大的壓力。

此外，由于不同于靜態圖像的特點，視頻流將具有更高的連續性、動態性，數據處理系統不應僅專注于每一幀內圖像的信息，還應該具備分析幀與幀之間的動態變化性信息的能力。

在進行目標追蹤時，需要對高幀率的連續視頻畫面執行算法，憑借實時性能檢測目標物體，并定位目標位置。例如，在檢測行人的過程中，人們的移動通常具有群體性，因此基于對行人運動軌跡的預測進而提升檢測準確率，這是一個優化的潛在方向。

因此，計算密集型的視頻流處理使得終端設備的計算能力、存儲能力難以滿足。

2)帶寬需求高

分辨率、幀率等配置的不斷提升，帶來的不僅是對于計算系統的壓力，同時也帶來了對于網絡傳輸系統的挑戰：

• 每一幀圖像的內容不斷豐富，細節更加完整;
• 單位時間內的幀數不斷增長，視頻動態變化更加流暢;
• 視頻源不斷增加，針對同一物體的拍攝角度不再限于一個(例如足球比賽中環繞全場的大量攝錄機位)。

這三點同時帶來了不同維度的體積增長，進而導致了視頻產生源發送至處理系統所在平臺的網絡帶寬開銷急劇增加。目前，在體積優化的情況下，智能手機以1080P分辨率、60幀/s幀率的配置錄制1min視頻的體積約為100MB;以4K分辨率、60幀/s幀率錄制1min視頻的體積約為440MB。

由此可見，在多采集源同時進行傳輸的情況下，網絡基礎設施將承受極大壓力，同時，帶寬占用帶來的成本也使得用戶難以承受。

2. 挑戰

針對視頻體積帶來的帶寬成本與通信壓力，需要從多個維度進行分析，根據實際場景進行優化。例如圖1-8給出了一種嘗試方案：邊緣節點對終端設備采集的原生高帶寬視頻進行預處理，通過局部壓縮、裁切、去幀等方法，減小視頻體積，并將加工后的視頻流上傳至云端進一步處理。但這種方法同樣面臨著一些技術挑戰：

▲圖1-8 一種云邊協同視頻大數據處理方案

1)計算任務卸載

普通計算任務通常能夠通過劃分獲得低耦合的子任務，但視頻流由于特殊性，為任務劃分以及基于劃分的卸載提出了更高的要求：

• 一方面，視頻流本身體積龐大，這一特點使得該類型數據在不同平臺之間的流動變得較為困難，每一次網絡傳輸都需要付出較大的時間及服務成本;
• 另一方面，視頻處理本身具有連續性，不同子任務之間可能具有較高的耦合程度，對任務的切分造成了困難，進而導致處理任務卸載至邊緣平臺、云平臺時面臨更多問題。

2)邊緣平臺資源

邊緣平臺相比于云平臺，本身不具備海量的計算、存儲等資源，因此對于計算密集型的視頻流應用而言，難以提供無限制的處理能力。例如，用于處理視頻圖像的DNN通常具有百萬甚至千萬級的參數，這使得邊緣平臺中單一的計算節點可能難以負載。

對于用戶而言，需要更加縝密地考慮云邊協同處理方案，而不能簡單直接地套用現有卸載策略。

3)邊緣服務范圍

處于網絡中心的云平臺能夠對網絡全局的計算請求進行處理，而邊緣節點受限于服務范圍，僅能夠為一定區域內的用戶提供服務。但與此同時，許多視頻流應用的計算任務具有較高的持續性，需要平臺為它提供不間斷的計算服務，這對于移動性的視頻源而言，將造成節點切換、任務遷移、服務穩定性等多方面影響。

此外，減小視頻體積意味著可能造成視頻的細節完整度降低，進而導致在用于目標檢測、物體追蹤等的深度網絡模型準確率方面有所妥協，因此需要使用更加細粒度的優化方案來彌補畫面細節減少帶來的損失。

因此，在傳統云平臺的任務卸載方式儼然無法適應體積增長迅速的視頻流處理應用的當下，如何利用云邊協同平臺進一步優化視頻大數據處理性能，值得人們深入研究。

三、前沿研究

對于計算、存儲以及網絡傳輸能力的需求使得視頻流處理系統需要采用新的計算服務模式來實現。目前，云邊協同平臺為它帶來了希望，同時也面臨著許多問題，不僅包括云邊平臺本身所面臨的問題，也包含針對視頻流處理應用的特殊挑戰，學術界以及工業界的研究人員對此進行著不斷探索。

1. 邊緣環境的網絡不穩定性

參考文獻[62]針對邊緣環境中對視頻流圖像處理任務影響較大的網絡因素進行分析，考慮到無線通信信號強弱，提出了3種處理方案：

①本地執行;②完全卸載;③本地預處理(減小體積)后卸載至云邊平臺，并對不同模型的計算時間、計算能耗、通信時間、通信開銷等多方面進行綜合建模分析，權衡計算時間與能耗、通信時間與能耗，在不同信號強度時選擇不同的最優策略完成圖像處理任務。

2. 邊緣節點的多租戶特性

同一個邊緣節點可能同時服務于不同的用戶，但由于邊緣平臺的地理位置以及服務范圍，這些用戶可能具有相似或部分相似的視頻流計算任務，尤其是基于深度神經網絡模型的圖像處理，不同的圖像可能應用相同的模型或相同的子模型進行推斷。

基于這個理念，Mainstream[63]框架基于遷移學習，對使用相同預訓練模型的并發執行的視頻處理任務進行分析，利用相同預訓練層[作者稱為共享莖干(share stem)部分]的一次計算，消除重復計算。

但由于不同的應用可能會對相同的預訓練模型進行細粒度的優化訓練以提升模型推斷準確率，因此共享莖干的比重會隨之降低，同時減慢了幀處理速率。為了解決這個問題，即動態權衡視頻流處理速度與模型準確率，該框架包含3個部分：

1)M-Trainer：模型訓練工具包，能夠使得基于預訓練模型進行訓練優化的過程保留不同粒度級別的副本，同時產生不同級別模型的推斷準確率等元數據;2)M-Scheduler：使用訓練時生成的數據，計算不同層(包括共享莖干)的運行時間開銷，尋找全局最優策略;3)M-Runner：提供應用運行時環境，動態選擇不同級別的模型提供服務，實現共享莖干帶來的計算量減少與準確率下降之間的權衡。該框架專注于并發視頻流任務處理的場景，提供了從開發到部署運行的完整框架，但同時也為開發者的實現帶來了一定難度。

3. 云邊協同下的智能處理

深度學習技術為視頻大數據處理帶來了前所未有的性能提升，但包括深度神經網絡在內的模型架構的復雜度使得它對于資源具有較高的要求，這表現在模型訓練以及推斷兩方面：

1)模型訓練

對于視頻大數據應用的深度神經網絡模型的訓練而言，數據的規模和體積成為限制性能的一個重要因素。通常，模型訓練階段通常放置于擁有較多資源的平臺而非在終端設備上運行，因此視頻數據的傳輸將造成巨大的網絡帶寬開銷。

CDC[64]框架實現了一個輕量級的自動編碼器(AutoEncoder，AE)，以及一個輕量的元素分類器(Elementary Classifier，EC)：

首先，CDC框架控制AE對數據進行壓縮;隨后，EC使用壓縮后的數據以及數據標注進行梯度下降計算，調整自身參數集合;再者，AE基于自身壓縮造成的損失與相應的EC的損失值共同優化自身參數，并設置削弱參數α，調整EC的損失對AE訓練過程的影響權重，避免不收斂的問題;如此往復迭代，實現EC、AE相結合，EC指導AE的訓練。

經過訓練后的AE將具備內容感知的壓縮能力，結合精度降低策略，實現傳輸到云端的較低的帶寬開銷。同時，云端能夠評估網絡狀況，向邊緣端反饋后續的圖像壓縮率。該框架以智能壓縮的思路，對降低訓練數據網絡傳輸開銷的方向進行了有價值的探索。

2)模型推斷

同樣是采用壓縮策略，參考文獻[65]從關鍵區域(Region Of Interest，ROI)的角度實現帶寬與準確率之間的權衡。作者基于SORT、Hungarian等算法，在云端將包含目標物體的ROI坐標反饋至邊緣端，邊緣端基于multi-QF JPEG算法對ROI及非ROI區域進行不同質量程度的壓縮，并將壓縮后的數據發送至云端推斷。

同時，基于Kalman Filter算法，該研究為每個目標物體建立一個行為預測模型，以抵償邊-云-邊這一反饋傳輸過程的延遲。

4. 其他

參考文獻[66]基于動態規劃思想，在云端構建了一個動態數據模型，對固定視頻流進行分析，并預測下一次可能發生的事件的時空位置，以對特定監控傳感器進行帶寬控制。

而參考文獻[67]從多比特率視頻流傳輸的角度出發，認為傳統邊緣緩存方法通常需要視頻流行度符合特定分布，但實際場景下邊緣節點覆蓋區域小、用戶移動性高、用戶請求受移動設備上下文影響大。因此研究人員將該問題建模為0-1優化問題，利用多臂老虎機理論，設計了CUCB(C-upper置信區間)算法進行優化。

具體而言，該方法能夠進行在線化的學習，根據用戶需求實時地制定緩存模式和處理策略，可最大化視頻服務提供商的利益，滿足用戶的服務質量要求。

此外，對于云邊協同的視頻處理，還能夠應用全局統一的時空ID技術、視頻編碼與特征編碼聯合優化技術等，進一步對視頻處理性能加以提高。

關于作者：韓銳，北京理工大學特別研究員，博士生導師。2010年畢業于清華大學并獲優秀碩士畢業生，2014年博士畢業于英國帝國理工學院，2014年3月至2018年6月在中國科學院計算所工作。專注于研究面向典型負載(機器學習、深度學習、互聯網服務)的云計算系統優化，在 TPDS、TC、TKDE、TSC等領域頂級(重要)期刊和INFOCOM、ICDCS、ICPP、RTSS等會議上發表超過40篇論文，Google學術引用1000 余次。

劉馳，北京理工大學計算機學院副院長，教授，博士生導師。智能信息技術北京市重點實驗室主任，國家優秀青年科學基金獲得者，國家重點研發計劃首席科學家，中國電子學會會士，英國工程技術學會會士，英國計算機學會會士。分別于清華大學和英國帝國理工學院獲得學士和博士學位，后在德國電信研究總院任博士后研究員，在美國IBM T.J.Watson研究中心和IBM中國研究院任研究主管。主要研究方向是智能物聯網技術。

本文摘編自《云邊協同大數據技術與應用》(ISBN：978-7-111-70100-2)，經出版方授權發布。

參考文獻[62] Y G KIM, Y S LEE, S W CHUNG. Signal strength-aware adaptive offloading with local image preprocessing for energy efficient mobile devices[J].IEEE Transactions on Computers, 2019, 69(1): 99-111.

[63] A H JIANG, et al. Mainstream: Dynamic stem-sharing for multi-tenant video processing[C].2018 USENIX Annual Technical Conference, 2018: 29-42.

[64] Y DONG, P ZHAO, H YU, et al. CDC: Classification Driven Compression for Bandwidth Efficient Edge-Cloud Collaborative Deep Learning[DB/OL].arXiv preprint arXiv: 2005.02177, 2020.

[65] B A MUDASSAR, J H KO, S MUKHOPADHYAY. Edge-cloud collaborative processing for intelligent internet of things: A case study on smart surveillance[C].2018 55th ACM/ESDA/IEEE Design Automation Conference (DAC), 2018: 1-6.

[66] L TOKA, B LAJTHA, é HOSSZU, et al. A resource-aware and time-critical IoT framework[C].IEEE INFOCOM 2017-IEEE Conference on Computer Communications, 2017: 1-9.

[67] Y HAO, L HU, Y QIAN, et al. Profit maximization for video caching and processing in edge cloud[J].IEEE Journal on Selected Areas in Communications, 2019, 37(7): 1632-1641.