邊緣計算是一個難題，它為IT架構師和嵌入式開發人員提供了多種選擇。最終，它可以創建邊緣AI，從而實現更快、更豐富的決策。 

[[383445]] 

基于AI的機器學習技術已經超越了基于云的數據中心，因為重要的IoT傳感器數據的處理越來越接近數據最初所在的位置。

此舉將由配備了新的人工智能(AI)的芯片實現。這些產品包括嵌入式微控制器，其存儲器和功耗要求比GPU(圖形處理單元)、FPGA(現場可編程門陣列)更小，以及其他專門的IC類型首先用于在Amazon Web Services，Microsoft和Google的云數據中心解決數據科學家們的問題。

正是在這些云服務，機器學習和相關的神經網絡才得以爆發。但是物聯網的興起造成了數據沖擊，這也需要基于邊緣的機器學習。

現在，云提供商、物聯網(IoT)平臺制造商以及其他企業看到了在將數據移交給云端進行分析之前在邊緣處理數據的好處。

在邊緣做出AI決策可以減少延遲，并使對傳感器數據的實時響應更加可行和適用。盡管如此，人們稱之為“邊緣AI”的形式仍然很多種。以及如何利用下一代物聯網為其提供支持，在呈現高質量的可行數據方面提出了挑戰。

邊緣計算工作量增長

基于邊緣的機器學習可能會推動IoT市場中AI的顯著增長，據Mordor Intelligence估計，到2026年，CAGR將增長27.3%。

Eclipse Foundation IoT Group在2020年的研究支持了這一點，IoT開發人員中最常引用的邊緣計算工作負載中，AI將占30%。

對于許多應用而言，復制在云上啟用并行機器學習的無休止的服務器機架是不可行的。受益于本地處理的IoT邊緣案例很多，并且通過各種操作監控案例來突出說明。例如，處理器可以監視由石油鉆井平臺上的壓力表變化觸發的事件，在遙遠的電源線上檢測到異常情況或在工廠捕獲到的視頻錄像。

最后一種情況是最廣泛使用的一種。在邊緣分析圖像數據的AI的應用已證明是一塊肥沃的土地。但是，使用物聯網設備收集的數據進行事件處理有許多復雜的處理需求。

邊緣計算的價值

Hyperion Research高級顧問史蒂夫·康威(Steve Conway)表示，基于云的物聯網分析仍將持續下去。但是，距離數據必須行進會帶來處理延遲。將數據移入和移出云自然會產生滯后，往返需要時間。

“有一種叫做光速的東西，”康韋打趣道。 “而且你不能超過它。”因此，處理的層次結構正在邊緣發展。

除了設備和板級實施之外，此層次結構還包括制造中的IoT網關和數據中心，這些擴展了可用于下一代IoT系統開發的架構選項。

SAS物聯網和Edge部門產品營銷高級經理Saurabh Mishra表示，從長遠來看，邊緣AI架構是數據處理重點的又一代轉變，但這是關鍵。

“這里有進步，這個想法是集中您的數據。您可以為某些行業和某些用例(在數據中心等環境中已創建數據的那些用例)執行此操作。”他說。

Mishra說，SAS已經創建了經過驗證的邊緣物聯網參考架構，客戶可以在此基礎上構建AI和分析應用，這實際上是不可能高效且經濟地將其移至云中進行分析的。在云和邊緣AI之間取得平衡將是一項基本要求。

Eclipse基金會物聯網和邊緣計算項目經理FrédéricDesbiens表示，要找到平衡，首先要考慮運行機器學習模型所需的數據量。這就是新的智能處理器的發揮作用的地方。

“邊緣的AI加速器可以在將數據發送到其他地方之前進行本地處理。但是，這需要您考慮功能要求，包括所需的軟件堆棧和存儲，” Desbiens說。

[[383446]]

 

AI 邊緣芯片豐富

基于云的機器學習的興起受到高內存帶寬GPU(通常以NVIDIA半導體形式)的興起的影響。這項成功引起了其他芯片制造商的關注。

內部AI專用處理器緊隨其后的是超大規模云服務玩家Google、AWS和Microsoft。

AI芯片之戰使得AMD、Intel、Qualcomm和ARM Technology(去年被NVIDIA收購)等領先企業并駕齊驅。

反過來，Maxim Integrated、NXP Semiconductors、Silicon Labs、STM Microelectronics等嵌入式微處理器和片上系統的主流開始致力于將AI功能添加到邊緣。

如今，物聯網和邊緣處理需求吸引了包括EdgeQ、Graphcore、Hailo、Mythic等在內的AI芯片初創公司。目前，邊緣處理還受到限制。Hyperion的Steve Conway強調說，障礙包括可用內存、能耗和成本。

Conway說：“嵌入式處理器非常重要，因為能耗非常重要。GPU和CPU并不是小小的模具，特別是GPU消耗大量能源。”

軟硬件的配合

Maxim Integrated公司的微控制器和軟件算法業務執行董事克里斯·阿迪斯(Kris Ardis)建議，數據移動是邊緣能耗的一個因素。最近，該公司發布了MAX78000，該器件將低功耗控制器與神經網絡處理器配對，可在電池供電的IoT設備上運行。

“如果您可以在最邊緣進行計算，則可以節省帶寬和通信能力。挑戰在于采用神經網絡并使其適合相應的配件。” Ardis說。

他指出，基于該芯片的單個物聯網設備可以為物聯網網關提供支持，物聯網網關也可以發揮重要作用，將來自設備的數據匯總起來，并進一步過濾可能流向云的數據，以分析整體操作。

其他半導體設備制造商也正在適應一種趨勢，即計算越來越接近數據所在的位置。它們是擴展開發人員功能的工作的一部分，即使他們的硬件選擇不斷增長。

英特爾物聯網部門副總裁比爾·皮爾森(Bill Pearson)承認，曾經有一段時間“ CPU是所有問題的答案”。像邊緣AI這樣的趨勢現在掩蓋了這一點。

他使用術語“ XPU”來表示支持不同用途的各種芯片類型。但是，他補充說，應該通過單個軟件應用程序編程接口(API)來支持這種多樣性。

為了幫助軟件開發人員，英特爾最近發布了OpenVINO工具包的2021.2版本，用于在邊緣系統上進行推理。它為包括CPU、GPU和Movidius視覺處理單元在內的Intel組件提供了通用的開發環境。皮爾森表示，英特爾還為邊緣軟件提供了DevCloud，以預測不同英特爾硬件上神經網絡推理的性能。

NVIDIA企業與邊緣計算部門副總裁兼總經理Justin Boitano表示：“該行業必須使非AI專家的工作變得更加輕松。”

這可能采用NVIDIA Jetson的形式，其中包括一個低功耗ARM處理器。 Jetson以60年代的科幻動畫片系列而得名，旨在為移動嵌入式系統提供GPU加速的并行處理。

最近，為簡化視覺系統的開發，NVIDIA推出了Jetson JetPack 4.5，其中包括其視覺編程接口(VPI)的首個生產版本。

Boitano說，隨著時間的推移，邊緣的AI開發瑣事將更多地由IT部門來處理，而由對機器學習有深入了解的AI研究人員將減少處理。

Tiny ML的興起

在終端和邊緣側的微處理器上實現的機器學習過程就叫做tiny Machine Learning(即tinyML)。

將機器學習方法從廣闊的云遷移到受約束的邊緣設備所需的技能并不容易獲得。但是正在應用新的軟件技術來實現緊湊的邊緣AI，同時減輕了開發人員的工作量。

實際上，行業已經經歷了“Tiny ML”方法的興起。這些功能以更低的功耗完成工作并使用有限的內存，同時實現了每秒的推理能力。

已經出現了各種降低邊緣處理要求的機器學習工具，包括Apache MXNet, Edge Impulse’s EON, Facebook’s Glow, Foghorn Lightning Edge ML, Google TensorFlow Lite, Microsoft ELL, OctoML’s Octomizer等。

 

[[383447]]

 

縮小神經網絡處理的大小是這里的主要目標，并且這些技術有很多種。Foghorn的首席技術官Sastry Malladi表示，其中包括量化、二值化和修正，Foghorn是支持多種邊緣和內部部署實施的軟件平臺的制造商。

神經網絡處理的量化側重于使用低位寬數學。反過來，二值化用于減少計算的復雜性。并且，修正用于減少必須處理的神經節點的數量。

Malladi承認，對于大多數開發人員而言，這是一項艱巨的任務，特別是在一系列硬件上。他說，Foghorn的Lightning平臺背后的努力旨在抽象化邊緣機器學習的復雜性。

例如，目標是允許生產線操作員和可靠性工程師使用拖放式界面，而不是應用程序編程界面和軟件開發套件，因為它們不那么直觀，并且需要更多的編碼知識。

簡化嵌入式機器學習開發平臺制造商Edge Impulse的重點還在于簡化開發并在多種類型的Edge AI硬件上運行的軟件。

Edge Impulse首席執行官Zach Shelby表示，最終，機器學習的成熟意味著模型的小型化。

“研究的方向是越來越復雜的越來越大的模型，”謝爾比說。 “但是，隨著機器學習達到黃金時段，人們開始再次關注效率。”從而引入了Tiny ML。

他說，必須有能夠在現有物聯網基礎設施上運行的軟件，同時支持通往新硬件品種的道路。 Shelby繼續說，Edge Impulse工具允許對可用硬件上的算法和事件進行基于云的建模，以便用戶在進行選擇之前可以嘗試不同的選項。

關注未來

邊緣化方面，計算機視覺已成為AI的重要用例，尤其是深度學習的形式，它采用多層神經網絡和無監督技術來實現圖像模式識別的結果。

根據Forrester Research的首席分析師Kjell Carlsson的說法，當今的視覺系統架構正在發生變化，因為最邊緣的相機通過嵌入式硬件為深度學習增加了處理能力。但是找到最佳的應用目標可能是一個挑戰。

他說：“人工智能的問題在于，您最終會更多地關注'新的'用例。”

Carlsson說，開發這些未開發的解決方案存在固有的風險，因此，一種有用的策略是，著眼于具有高成本效益比的用例，即使模式識別的準確性可能落后于成熟的現有系統。

總體而言，Carlsson表示，邊緣AI可以幫助實現IoT的最初承諾，而隨著實施者對各種潛在用例進行分類時，邊緣AI有時會滯后。

“物聯網本身有一些局限性。現在，借助AI，機器學習和深度學習，使物聯網更加適用-并具有很高的價值，”他說。