Labs 導(dǎo)讀

邊緣智能（Edge Intelligence）是一種將人工智能（AI）和邊緣計(jì)算相結(jié)合的新興技術(shù)。傳統(tǒng)的人工智能應(yīng)用通常依賴于云計(jì)算中心進(jìn)行數(shù)據(jù)處理和決策，但這種方式存在延遲和網(wǎng)絡(luò)帶寬的問題。

Part 01、  什么是邊緣智能   

邊緣智能（Edge Intelligence）是一種新興的技術(shù)概念，它指的是將人工智能（AI）算法和模型部署在接近數(shù)據(jù)源的物聯(lián)網(wǎng)設(shè)備及其附近的網(wǎng)絡(luò)節(jié)點(diǎn)上進(jìn)行實(shí)時(shí)數(shù)據(jù)處理和分析的能力。在過去幾年中，AI的快速發(fā)展引發(fā)了許多創(chuàng)新應(yīng)用和解決方案。然而，隨著AI模型的規(guī)模和復(fù)雜性不斷增加，傳統(tǒng)的云計(jì)算架構(gòu)面臨著一系列挑戰(zhàn)，如高延遲、網(wǎng)絡(luò)擁塞和數(shù)據(jù)隱私等問題。為了克服這些挑戰(zhàn)，邊緣計(jì)算和人工智能的結(jié)合應(yīng)運(yùn)而生，形成了邊緣智能的概念。邊緣智能不僅將AI模型的訓(xùn)練和推理移動(dòng)到離用戶更近的邊緣設(shè)備上，如智能手機(jī)、傳感器、路由器、監(jiān)控?cái)z像頭等。通過在這些邊緣設(shè)備上進(jìn)行實(shí)時(shí)數(shù)據(jù)處理，快速響應(yīng)和分析數(shù)據(jù)，并在本地做出決策，從而避免了將所有數(shù)據(jù)發(fā)送到云端進(jìn)行處理的延遲和安全隱患，為AI應(yīng)用帶來了許多新的機(jī)會(huì)。

對于邊緣智能的范圍及評(píng)級(jí)，已有研究認(rèn)為邊緣智能應(yīng)該是充分利用終端設(shè)備、邊緣節(jié)點(diǎn)和云數(shù)據(jù)中心層次結(jié)構(gòu)中可用數(shù)據(jù)和資源的范例，從而優(yōu)化深度神經(jīng)網(wǎng)絡(luò)模型（Deep Neural Networks, DNN）的整體訓(xùn)練和推理性能。這表明邊緣智能并不意味著DNN模型必須在邊緣訓(xùn)練或推理，而是可以通過數(shù)據(jù)卸載以云-邊-端協(xié)同的方式來工作。同時(shí)，根據(jù)數(shù)據(jù)卸載的數(shù)量和路徑長度，將邊緣智能分為6個(gè)等級(jí)。

在計(jì)算延遲和能耗增加的代價(jià)下，隨著邊緣智能等級(jí)的提高，數(shù)據(jù)卸載的數(shù)量和路徑長度會(huì)減少，從而降低數(shù)據(jù)卸載的傳輸時(shí)延，增加數(shù)據(jù)隱私性，減少網(wǎng)絡(luò)帶寬成本。

Part 02、邊緣智能模型訓(xùn)練 

邊緣分布式深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練架構(gòu)可分為集中式、分布式、混合式（云邊端協(xié)同）三種模式。

? 集中式：DNN模型在云數(shù)據(jù)中心進(jìn)行訓(xùn)練，用于訓(xùn)練的數(shù)據(jù)是從分布式終端設(shè)備（如手機(jī)、汽車和監(jiān)控?cái)z像頭）生成和收集的，一旦數(shù)據(jù)到達(dá)，云數(shù)據(jù)中心將使用這些數(shù)據(jù)進(jìn)行DNN訓(xùn)練。基于集中式架構(gòu)的系統(tǒng)，可以根據(jù)系統(tǒng)采用的具體推理方式，在邊緣智能中識(shí)別為第1級(jí)、第2級(jí)或第3級(jí)。

? 分布式：每個(gè)計(jì)算節(jié)點(diǎn)使用本地?cái)?shù)據(jù)在本地訓(xùn)練各自的DNN模型，并將私有信息保存在本地。通過共享本地訓(xùn)練更新來獲得全局DNN模型。該模式下，無需云數(shù)據(jù)中心干預(yù)即可訓(xùn)練全局DNN模型，對應(yīng)邊緣智能的第5級(jí)。

? 混合式（云邊端協(xié)同）：結(jié)合集中式和分布式，邊緣服務(wù)器可以通過分布式更新來訓(xùn)練DNN模型，或者使用云數(shù)據(jù)中心來集中式訓(xùn)練。對應(yīng)邊緣智能中的第4級(jí)和第5級(jí)。

目前，邊緣智能模型訓(xùn)練方法，主要通過訓(xùn)練損失、收斂性、隱私性、通信成本、延遲和能源效率這6個(gè)關(guān)鍵性能指標(biāo)來評(píng)價(jià)。

邊緣智能模型訓(xùn)練可支持的技術(shù)如下表：

Part 03、 邊緣智能模型推理 

高質(zhì)量的邊緣智能服務(wù)部署，除了實(shí)現(xiàn)深度學(xué)習(xí)模型的分布式訓(xùn)練，還需要在邊緣高效地實(shí)現(xiàn)模型推理。邊緣智能的推理模型，分為基于邊緣、基于設(shè)備、邊緣-設(shè)備和邊緣-云四種模式。

? 基于邊緣的推理模型：設(shè)備處于邊緣模式，接收輸入數(shù)據(jù)，然后將他們發(fā)送到邊緣服務(wù)器。邊緣服務(wù)器完成DNN模型推理，并將預(yù)測結(jié)果返回給設(shè)備。推理性能依賴于設(shè)備與邊緣服務(wù)器之間的網(wǎng)絡(luò)帶寬。

? 基于設(shè)備的推理模型：設(shè)備處于設(shè)備模式，移動(dòng)設(shè)備從邊緣服務(wù)器獲取DNN模型，并在本地完成模型推理，在推理過程中，移動(dòng)設(shè)備不斷與邊緣服務(wù)器通信，因此需要移動(dòng)設(shè)備具有CPU、GPU和RAM等資源。

? 基于邊緣-設(shè)備的推理模型：設(shè)備處于邊緣-設(shè)備模式，設(shè)備首先根據(jù)網(wǎng)絡(luò)帶寬、設(shè)備資源和邊緣服務(wù)器負(fù)載等因素將DNN模型劃分為多個(gè)部分；然后將DNN模型執(zhí)行到特定層，并將中間數(shù)據(jù)發(fā)送給邊緣服務(wù)器。邊緣服務(wù)器將執(zhí)行剩余層，并將預(yù)測結(jié)果發(fā)送到設(shè)備上。

? 基于邊緣-云的推理模型：設(shè)備處于邊緣-云模式，設(shè)備負(fù)責(zé)收集輸入數(shù)據(jù)，并通過云邊協(xié)同執(zhí)行DNN模型。

邊緣智能模型推理的性能主要通過延遲、精度、能量效率、隱私性、通信成本和內(nèi)存占用這六個(gè)指標(biāo)來進(jìn)行評(píng)價(jià)。

邊緣智能模型訓(xùn)練可支持的技術(shù)如下表：

Part 04、  邊緣智能的研究方向  

邊緣智能作為一種新興的技術(shù)領(lǐng)域，有著廣闊的研究方向和發(fā)展?jié)摿Γ鶕?jù)邊緣智能的技術(shù)特點(diǎn)和應(yīng)用場景，未來可從以下幾個(gè)方面進(jìn)行研究：

• 編程和軟件平臺(tái)。隨著越來越多人工智能驅(qū)動(dòng)的計(jì)算密集型移動(dòng)和物聯(lián)網(wǎng)應(yīng)用的出現(xiàn)，邊緣智能即服務(wù)（Edge Intelligence As a Service, EIaaS）將成為一種普適范式，具有強(qiáng)大邊緣人工智能功能的EI平臺(tái)將被開發(fā)和部署。
• 邊緣智能算法與模型設(shè)計(jì)。在邊緣設(shè)備上開發(fā)高效的智能算法和模型，以實(shí)現(xiàn)更加智能的數(shù)據(jù)處理和決策能力。包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等算法在邊緣設(shè)備上的優(yōu)化和部署。
• 安全和隱私問題。在邊緣智能環(huán)境中保障數(shù)據(jù)的安全和隱私，包括數(shù)據(jù)傳輸?shù)募用芘c認(rèn)證、邊緣設(shè)備的安全防護(hù)、用戶隱私的保護(hù)等方面。
• 計(jì)算感知網(wǎng)絡(luò)技術(shù)。基于人工智能的計(jì)算密集型應(yīng)用通常運(yùn)行在分布式邊緣計(jì)算環(huán)境中。因此，先進(jìn)網(wǎng)絡(luò)解決方案應(yīng)該具有計(jì)算感知，在不同的邊緣節(jié)點(diǎn)之間有效共享計(jì)算結(jié)果和數(shù)據(jù)。構(gòu)建高效可靠的邊緣智能網(wǎng)絡(luò)架構(gòu)，包括網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、數(shù)據(jù)傳輸協(xié)議、通信安全等。同時(shí)，利用邊緣計(jì)算資源提供高速且低延遲的通信服務(wù)。
• 應(yīng)用場景與系統(tǒng)設(shè)計(jì)。將邊緣智能技術(shù)應(yīng)用于各個(gè)領(lǐng)域，如智能交通、智能制造、智能城市、健康醫(yī)療等，探索適應(yīng)性強(qiáng)、高效可靠的邊緣智能系統(tǒng)設(shè)計(jì)，以解決實(shí)際問題并推動(dòng)行業(yè)發(fā)展。
• 邊緣計(jì)算與數(shù)據(jù)處理。將邊緣設(shè)備中的計(jì)算能力和存儲(chǔ)能力充分利用起來，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理和分析。同時(shí)，在資源有限的邊緣設(shè)備上優(yōu)化計(jì)算和存儲(chǔ)資源的管理和調(diào)度，提高計(jì)算效率和資源利用率，以提高系統(tǒng)的效率和性能。
• 邊緣智能的自適應(yīng)學(xué)習(xí)與優(yōu)化。使邊緣智能系統(tǒng)能夠根據(jù)環(huán)境和需求的變化自主學(xué)習(xí)和優(yōu)化，提供更加智能化的服務(wù)和決策。
• 邊緣智能與其他相關(guān)領(lǐng)域的結(jié)合。邊緣智能與物聯(lián)網(wǎng)、5G通信、云計(jì)算等技術(shù)的結(jié)合，以實(shí)現(xiàn)更加綜合、高效的智能化方案。