消費者對于改進其便利性、安全性和用戶體驗的進步有著無法滿足的胃口。我們看到，人機界面(human-machine interface，HMI)以明顯的方式發展，從純粹的觸覺發展到多年來，已經涵蓋了從語音到手勢到視頻以及各種計算機視覺功能的各種輸入方法，從銷售終端到智能家居。下一步將是不僅理解直接命令而且可以推斷意圖的設備。

同時，對基于云的傳統連接設備的安全性和延遲的擔憂日益加劇，這為更多基于邊緣的處理鋪平了道路。在人機界面(HMI)中尤其如此。但是，本地處理給技術開發人員帶來了新的挑戰，他們必須考慮特定用例要求，開發選項和智能(受機器學習訓練的)設備的成本，這些設備需要引入新的自動化水平來增強感知智能和環境計算。

[[336196]]

邊緣AI是基礎

所謂的邊緣AI(Edge AI)是實現更復雜、用戶友好和更安全的IoT體驗的基礎。根據定義，邊緣AI意味著AI處理是在最終產品本身(例如機頂盒或智能顯示器)內部而不是在云中運行。這樣做的理由是眾所周知的，即更好的隱私、更少的帶寬和更快的響應時間，甚至生態友好性，因為邊緣處理減少了運行大型數據中心的能源、水和其他資源的需求。

邊緣AI已在我們生活每天接觸的許多應用中采用，但最初的使用很大程度上僅限于昂貴的產品，例如智能手機和汽車。因此，針對這些產品的邊緣AI實施也很昂貴，并且對于智能家居的消費者零售設備來說已經遙不可及。在很大程度上，現有的邊緣AI應用就其提供的用戶體驗而言是一維的。例如，ADAS(高級駕駛輔助系統)應用中具有AI功能的視覺或移動電話中的圖像質量增強。

為智能家居創建和采用邊緣AI解決方案的令人信服的理由是什么?

HMI推動家庭中的邊緣AI

我們看到，在無處不在的消費物聯網細分市場中，人們的興趣特別濃厚，應用機會越來越多，例如各種娛樂、通信、家庭自動化、安全性以及其他各種設備。尤其是在當前時代，消費者希望獲得互聯的體驗，但沒有傳統互聯的成本、隱私和性能問題。對更具沉浸感和感知力的人機交互的需求是推動智能家居中邊緣AI需求的關鍵因素。

借助市場上智能家居基于AI的邊緣計算解決方案，創造更人性化的體驗所需的性能將可用于更廣泛的產品。

受益于智能家居中的邊緣AI的實際應用案例很多。有些具有明顯的實際好處。例如，家用門鈴攝像頭，可以分辨包裹掉落和包裹被盜之間的區別。娛樂設備可以自動檢測低分辨率視頻流并將其提升到更高的分辨率，并具有出色的感知質量，從而更好地利用高分辨率電視顯示器。即使是熟悉的，現在幾乎無處不在的視頻會議應用也可以通過更高質量的視頻和音頻進行增強，并可以在具有成本效益的設備上使用。

其他示例似乎更具未來性。可以根據冰箱中的食材儲備內容提供晚餐(菜單)建議的冰箱。烤箱可以告訴您何時將餐點烹制至完美。一個虛擬的私人家庭瑜伽教練，可以提醒您在擺姿勢時伸直雙臂。家庭自動化設備可以協同工作，以預測房主的需求，從取暖、準備食物到選擇在電視上觀看的內容。

這樣的解決方案可以將視頻、視覺和語音傳感器與AI處理功能結合在一起，以將增強的功能帶給新一代熟悉的設備，例如智能顯示器和條形音箱、機頂盒和安全攝像機等等。

這些應用的共同點是需要一種基于邊緣的、基于AI的解決方案，該解決方案專門針對智能家居而非智能手機或汽車應用程序而量身定制。為了進一步使邊緣AI民主化，解決方案必須是：

• 能夠在有效的系統中結合語音、視頻和視覺，支持多模式AI增強的用戶體驗;
• 通過標準工具，更廣泛的AI開發人員和創新者可以訪問;
• 確保安全和隱私措施符合消費者的期望。

智能家居中邊緣AI優勢

智能家居人機交互需要多模式方法

正如我們之前所討論的，針對智能手機和汽車應用的基于邊緣AI的解決方案主要側重于攝像機視覺應用。但是，在智能家居中，多模式人機交互界面是在連接設備的新時代增強用戶體驗的關鍵要素。以機頂盒為例，此應用將需要視頻AI，也許是如前所述的視頻增強形式。它還需要語音AI能夠通過語音命令來識別正在看電視的人，并相應地配置體驗。例如，讓選擇喜歡的節目變得更加容易。甚至可能需要視覺AI，并且需要帶有內置攝像頭，以便遠程與家庭成員聊天時提供增強而直觀的視頻會議體驗。

理想的解決方案是以智能家居為中心的SoC(系統級芯片，System-on-a-Chip)，它可以支持高性能視頻、語音和視覺處理以及集成的AI加速器。 Synaptics VS600 SoC系列就是這種解決方案的一個示例。這種方法不僅經過優化，可以滿足智能家居應用對多模式AI性能的要求，而且還可以將所有這些功能集成到單個芯片中，從而使以消費者市場價格出售的普通家用產品都可以使用。

這個需要的解決方案從一個SOC平臺開始，該平臺集成了多種類型的處理器引擎：CPU、NPU、GPU和ISP，以及與高性能相機和顯示器的掛鉤。這種架構實現了高度安全、低成本推理和實時多模式性能的理想組合。Synaptics Edge AI系列是一系列SoC，每個SoC都高度針對其給定的消費類應用。該系列中的每個SoC都集成了所需的處理內核以及該應用程序的適當級別的集成AI性能。

完整的堆棧工具方法可簡化AI開發

如我們所見，成本/性能之間的權衡對于成功將邊緣AI擴展到更多應用至關重要。在競爭激烈的消費電子領域、上市時間和差異化也至關重要。為了應對邊緣AI廣泛傳播的挑戰，需要采用全棧方法，其中包括將AI創新引入邊緣 AI SoC的必要開發工具。

最重要的是，所需的工具集應該與龐大且不斷增長的AI開發人員用戶社區兼容。例如，該工具包將使開發人員能夠導入使用行業標準框架(例如TensorFlow，TensorFlow Lite，Caffe和ONNX)創建的模型。這使開發人員能夠利用現有的AI創新，并使他們迅速而輕松地在目標SoC上工作。

讓我們使用我們前面討論的個人家庭瑜伽教練應用。該應用所基于的AI模型將是人體姿勢估計模型，這是一種行業標準的概念，用于檢測用戶在攝像機視線中的相對骨骼位置。如果AI開發人員自己使用行業標準工具(例如TensorFlow lite)創建的人體姿勢估計模型的實現，則他們將使用該工具包將其導入以在所需的SoC上使用。

當開發人員準備就緒時，該工具應使他們能夠針對將在其上運行的所選處理器優化其AI模型的性能。開發人員可以選擇使用開放框架，例如TensorFlow或TensorFlow Lite，但是在使用它們時要牢記目標處理器的功能。或者他們可以再次使用特定于SoC的工具，例如Synaptics的SyNAP工具，該工具支持專門針對VS600 SoC中的處理器進行優化。在我們的示例中，開發人員可以使用SyNAP優化功能來配置其身體姿勢估計模型，例如，使其能夠以每秒30幀的速度在VS600 SoC上實時運行。

但是，安全和隱私需要滿足消費者的期望

人機界面的未來聽起來很光明，但采用的最大障礙可能是用戶認為他們的隱私和安全性將受到損害。新聞中有許多最近的故事可以證實這種擔憂。任何有意義的人機界面解決方案都必須考慮到這一點。

幸運的是，這些視頻、語音和視覺數據將在設備中而不是在云中進行處理的事實在隱私方面取得了巨大的進步。在視頻門鈴示例中，通過將AI智能添加到門鈴本身中，來自前門的視頻不需要24/7流式傳輸到云，而僅當存在特定事件時才需要。例如，僅當AI引擎檢測到一個邪惡的人正在接近門時，才傳輸視頻。或者，以我們的家庭瑜伽教練為例，該應用可以像我們之前顯示的那樣完全在設備中運行，而根本不需要將任何圖像從家中發送到云端服務器。

但是，即使從未將這些圖像發送到云，用戶也可能擔心，即使是暫時的，這些圖像仍會在您的設備中被捕獲和處理。還有一個安全隱患，一個有惡意的人可能試圖從您的設備中獲取該數據。因此，理想的以智能家居為中心的AI解決方案還必須確保以安全的方式捕獲和處理該內容，這一點至關重要。

智能家居安全

物聯網的新時代將通過更多的“本地智能”(邊緣AI)來推動，這將減少始終保持連接的需求和風險。在邊緣設備上進行處理的AI驅動的神經網絡是加速采用感知智能系統的關鍵。通過能夠在邊緣實現此功能，系統可以以更高的安全性和隱私性以及更低的延遲運行。可以支持多模式接口解決方案的高性能，多處理器SoC(以消費者市場的價格提供)將幫助開發人員快速利用AI創新并使其產品脫穎而出。

機器如何利用語音、視頻和視覺數據，以及如何利用它們來理解和預測性地響應我們所做的事情(例如說或觸摸)，從而改善了物聯網如何在我們的生活中提供前所未有的安全性、便利性和生產力。