人工智能 AI 正在加快速度從云端走向邊緣，進(jìn)入到越來(lái)越小的物聯(lián)網(wǎng)設(shè)備中。而這些物聯(lián)網(wǎng)設(shè)備往往體積很小，面臨著許多挑戰(zhàn)，例如功耗、延時(shí)以及精度等問(wèn)題，傳統(tǒng)的機(jī)器學(xué)習(xí)模型無(wú)法滿足要求，那么微型機(jī)器學(xué)習(xí)又如何呢？

在 NASA 的推動(dòng)下，小型化的電子產(chǎn)品成為了一個(gè)完整的消費(fèi)品行業(yè)。現(xiàn)在我們可以把貝多芬的全部音樂(lè)作品放在翻領(lǐng)針上用耳機(jī)聽。——天體物理學(xué)家兼科學(xué)評(píng)論員尼爾 · 德格拉斯 · 泰森 (Neil deGrasse Tyson)

超低功耗嵌入式設(shè)備隨處可見，再加上用于微控制器的 TensorFlow Lite 等嵌入式機(jī)器學(xué)習(xí)框架的引入，這些使得人工智能驅(qū)動(dòng)的物聯(lián)網(wǎng)設(shè)備大規(guī)模普及。——哈佛大學(xué)副教授 Vijay Janapa Reddi

嵌入式設(shè)備的微型機(jī)器學(xué)習(xí)（TinyML）示意圖。

本文關(guān)于微型機(jī)器學(xué)習(xí)系列文章的第一篇，旨在向讀者介紹微型機(jī)器學(xué)習(xí)的概念及其未來(lái)的潛力。后續(xù)文章將深入討論特定應(yīng)用、實(shí)現(xiàn)和相關(guān)教程。

TinyML 簡(jiǎn)介

在過(guò)去的十年里，我們已經(jīng)看到，由于處理器速度的提升和大數(shù)據(jù)的出現(xiàn)，機(jī)器學(xué)習(xí)算法的規(guī)模呈指數(shù)級(jí)增長(zhǎng)。最初模型很小，在本地計(jì)算機(jī)上可以使用 CPU 中的一個(gè)或多個(gè)內(nèi)核運(yùn)行。

不久之后，使用 GPU 的計(jì)算成為處理更大數(shù)據(jù)集的必要條件，而且由于引入了云服務(wù)，如 SaaS 平臺(tái)（谷歌 Google Colaboratory）和 IaaS（Amazon EC2 Instances），計(jì)算變得更加容易獲得。此時(shí)，算法仍然可以在單機(jī)上運(yùn)行。

近來(lái)，專用集成電路（ASIC）和張量處理單元（TPU）的發(fā)展，它們可以容納 8GPU 左右的功率。這些設(shè)備增強(qiáng)了跨多個(gè)系統(tǒng)分布學(xué)習(xí)的能力，并試圖發(fā)展越來(lái)越大的模型。

隨著 GPT-3 算法（2020 年 5 月）的發(fā)布，這種情況達(dá)到了頂點(diǎn)，其網(wǎng)絡(luò)結(jié)構(gòu)包含驚人的 1750 億個(gè)神經(jīng)元——是目前存在于人類大腦中的兩倍多（約 850 億）。這是有史以來(lái)第二大神經(jīng)網(wǎng)絡(luò)神經(jīng)元數(shù)量的 10 倍——Turing-NLG（2020 年 2 月發(fā)布，包含約 175 億個(gè)參數(shù)）。一些人估計(jì)稱，模型的訓(xùn)練成本約為 1000 萬(wàn)美元，使用了大約 3 GWh 的電力（大約是三個(gè)核電站一小時(shí)的發(fā)電量）。

雖然 GPT-3 和 Turing-NLG 的成就值得贊揚(yáng)，但一些業(yè)內(nèi)人士批評(píng)人工智能產(chǎn)業(yè)的碳足跡越來(lái)越大。然而，這也有助于激發(fā)人工智能界對(duì)更節(jié)能計(jì)算的興趣。諸如更有效的算法、數(shù)據(jù)表示和計(jì)算，它們一直是微型機(jī)器學(xué)習(xí)的焦點(diǎn)。

微型機(jī)器學(xué)習(xí)（TinyML）是機(jī)器學(xué)習(xí)和嵌入式物聯(lián)網(wǎng)（IoT）設(shè)備的交集。該領(lǐng)域是一門新興的工程學(xué)科，有可能使許多行業(yè)產(chǎn)生革命性變革。

TinyML 的行業(yè)受益者是邊緣計(jì)算和節(jié)能計(jì)算，其源于物聯(lián)網(wǎng)（IoT）的概念。物聯(lián)網(wǎng)的傳統(tǒng)理念是將數(shù)據(jù)從本地設(shè)備發(fā)送到云上進(jìn)行處理。一些人對(duì)這個(gè)概念提出了以下幾個(gè)方面的擔(dān)憂：隱私、延遲、存儲(chǔ)和能源效率。

能源效率：傳輸數(shù)據(jù)（通過(guò)電線或無(wú)線）是非常耗能的，比板載計(jì)算（特別是乘積單元）的耗能多一個(gè)數(shù)量級(jí)。開發(fā)能夠自己進(jìn)行數(shù)據(jù)處理的物聯(lián)網(wǎng)系統(tǒng)是最節(jié)能的方法；

隱私：傳輸數(shù)據(jù)可能會(huì)侵犯隱私。數(shù)據(jù)可能被惡意的參與者截獲，并且當(dāng)數(shù)據(jù)存儲(chǔ)在一個(gè)單一的位置（如云）時(shí)，其安全性就會(huì)降低。通過(guò)將數(shù)據(jù)保存在設(shè)備上并盡量減少通信，能夠提高數(shù)據(jù)安全性和隱私性；

存儲(chǔ)：對(duì)許多物聯(lián)網(wǎng)設(shè)備來(lái)說(shuō)，所獲得的數(shù)據(jù)毫無(wú)價(jià)值。想象一下，一個(gè)安全攝像頭一天 24 小時(shí)都在記錄一座大樓的入口。在一天的大部分時(shí)間里，攝像機(jī)的鏡頭毫無(wú)用處，因?yàn)槭裁炊紱](méi)有發(fā)生。通過(guò)一個(gè)更智能的系統(tǒng)，必要時(shí)激活，降低存儲(chǔ)容量，傳輸?shù)皆贫怂璧臄?shù)據(jù)量會(huì)減少；

潛在因素：對(duì)于標(biāo)準(zhǔn)的物聯(lián)網(wǎng)設(shè)備，如 Amazon Alexa，這些設(shè)備將數(shù)據(jù)傳輸?shù)皆七M(jìn)行處理，然后根據(jù)算法的輸出返回響應(yīng)。從這個(gè)意義上說(shuō)，這個(gè)設(shè)備只是一個(gè)通往云模型的便捷門戶，就像你和亞馬遜服務(wù)器之間的「信鴿」。這個(gè)設(shè)備相當(dāng)愚蠢，完全依賴互聯(lián)網(wǎng)的速度來(lái)產(chǎn)生結(jié)果。如果你的網(wǎng)速很慢，Amazon Alexa 也會(huì)變慢。對(duì)于具有機(jī)載自動(dòng)語(yǔ)音識(shí)別功能的智能物聯(lián)網(wǎng)設(shè)備來(lái)說(shuō)，由于減少了對(duì)外部通信的依賴性，因此延遲降低了。

這些問(wèn)題導(dǎo)致了邊緣計(jì)算的發(fā)展，即在邊緣設(shè)備（云的邊緣設(shè)備）上執(zhí)行處理活動(dòng)。這些設(shè)備在內(nèi)存、計(jì)算和功耗方面都受到了極大的資源限制，這使得更高效算法、數(shù)據(jù)結(jié)構(gòu)和計(jì)算方法得以發(fā)展。

這些改進(jìn)同樣適用于較大的模型，可能會(huì)使機(jī)器學(xué)習(xí)模型的效率提高一個(gè)數(shù)量級(jí)，而不影響準(zhǔn)確度。例如，微軟開發(fā)的 Bonsai 算法可以小到 2KB，但比典型的 40MB kNN 算法或 4MB 神經(jīng)網(wǎng)絡(luò)性能更好。這個(gè)結(jié)果聽起來(lái)可能不重要，但是同樣準(zhǔn)確度的模型大小卻降到了萬(wàn)分之一，這是很可觀的。這么小的模型可以在使用 2 KB RAM 的 Arduino Uno 上運(yùn)行——簡(jiǎn)而言之，你現(xiàn)在可以在一個(gè) 5 美元的微控制器上建立這樣一個(gè)機(jī)器學(xué)習(xí)模型。

機(jī)器學(xué)習(xí)正在向兩種計(jì)算范式分化：以計(jì)算為中心的計(jì)算和以數(shù)據(jù)為中心的計(jì)算。在以計(jì)算為中心的范式中，數(shù)據(jù)由數(shù)據(jù)中心的范例進(jìn)行存儲(chǔ)以及分析，而在以數(shù)據(jù)為中心的范式中，在本地完成對(duì)源數(shù)據(jù)的處理。雖然以計(jì)算為中心的范式似乎正在迅速走向一個(gè)極限，但以數(shù)據(jù)為中心的范式才剛剛開始。

物聯(lián)網(wǎng)設(shè)備和嵌入式機(jī)器學(xué)習(xí)模型變得越來(lái)越普遍，預(yù)計(jì)到 2020 年底將超過(guò) 200 億臺(tái)活動(dòng)設(shè)備，許多設(shè)備你可能還沒(méi)注意到。智能門鈴、智能恒溫器、以及說(shuō)幾個(gè)單詞就能喚醒或者拿起就能喚醒的智能手機(jī)。本文的其余部分將更深入地關(guān)注 tinyML 的工作原理，以及當(dāng)前和未來(lái)的應(yīng)用。

云的層級(jí)結(jié)構(gòu)（圖源：https://www.thinkebiz.net/what-edge-computing/）

TinyML 用例

在此之前，對(duì)于一個(gè)設(shè)備來(lái)說(shuō)，復(fù)雜的電路是必要的，這樣能夠執(zhí)行各種各樣的動(dòng)作。現(xiàn)在，機(jī)器學(xué)習(xí)將這種硬件智能抽象成軟件變得越來(lái)越有可能，使得嵌入式設(shè)備越來(lái)越簡(jiǎn)單、輕便和靈活。

TinyML 最顯著的例子是智能手機(jī)。這些設(shè)備通常都有喚醒詞，例如：安卓智能手機(jī)的「Hey Google」，或是 iPhone 的「Hey Siri」。智能手機(jī)通過(guò) CPU 處理這些活動(dòng)，現(xiàn)代 iPhone 的主中央處理器是 1.85 GHz，會(huì)在幾個(gè)小時(shí)內(nèi)耗盡電量。對(duì)于大多數(shù)人一天中最多使用幾次的設(shè)備來(lái)說(shuō)，這種程度的耗電量不可接受。

為了解決這個(gè)問(wèn)題，開發(fā)人員開發(fā)了專用低功耗硬件，這種硬件可以由一個(gè)小電池（比如一個(gè)圓形的 CR2032 硬幣電池）供電。這使得電路即使在 CPU 不運(yùn)行的情況下（基本上是在屏幕不亮的時(shí)候）也能保持活躍狀態(tài)。

這些電路的功耗僅為 1mW，使用標(biāo)準(zhǔn) CR2032 電池可以供電長(zhǎng)達(dá)一年。能源是許多電子設(shè)備的限制因素。任何需要主電源供電的設(shè)備都受限于有線電路，當(dāng)十幾臺(tái)設(shè)備同時(shí)出現(xiàn)在同一位置時(shí)，線路就會(huì)迅速超負(fù)荷。電力系統(tǒng)的效率很低，而且價(jià)格昂貴。將電源電壓（在美國(guó)約為 120v）轉(zhuǎn)換為典型的電路電壓（通常約為 5 V）會(huì)浪費(fèi)大量的能量。任何使用筆記本電腦充電器的人在拔下充電器時(shí)都可能知道這一點(diǎn)。充電器內(nèi)變壓器產(chǎn)生的熱量在電壓轉(zhuǎn)換過(guò)程中浪費(fèi)了能量。

即使是有電池的設(shè)備，電池的續(xù)航時(shí)間也有限，需要頻繁地充電。許多電子產(chǎn)品的電池在設(shè)計(jì)時(shí)只能使用一個(gè)工作日。TinyML 設(shè)備可以用硬幣大小的電池持續(xù)工作一年，這意味著在偏遠(yuǎn)環(huán)境中，只有在必要時(shí)才進(jìn)行通信，以節(jié)省能源。

單詞喚醒并不是唯一一個(gè)無(wú)縫嵌入智能手機(jī)的 TinyML。加速計(jì)數(shù)據(jù)用于確定是否有人剛剛拿起了手機(jī)，這將喚醒 CPU 并打開屏幕。

顯然，這并不是 TinyML 唯一的應(yīng)用。事實(shí)上，TinyML 為企業(yè)以及愛(ài)好者提供了生產(chǎn)更智能物聯(lián)網(wǎng)設(shè)備的機(jī)遇。數(shù)據(jù)變得越來(lái)越重要，將機(jī)器學(xué)習(xí)資源分配到偏遠(yuǎn)地區(qū)內(nèi)存有限的設(shè)備上，給數(shù)據(jù)密集型行業(yè)（如農(nóng)業(yè)、天氣預(yù)報(bào)或地震學(xué)）帶來(lái)了好處。

毫無(wú)疑問(wèn)，賦予邊緣設(shè)備執(zhí)行數(shù)據(jù)驅(qū)動(dòng)處理的能力，將為工業(yè)過(guò)程帶來(lái)范式轉(zhuǎn)變。例如，當(dāng)設(shè)備檢測(cè)到土壤濕度、特定氣體（例如蘋果成熟時(shí)釋放出乙烷）或特定大氣條件（如大風(fēng)、低溫或高濕度）等特征時(shí)，檢測(cè)設(shè)備會(huì)發(fā)送有助于作物的信息，極大地促進(jìn)作物生長(zhǎng)，從而提高作物產(chǎn)量。

再舉一個(gè)例子，一個(gè)智能門鈴可以安裝一個(gè)攝像頭，通過(guò)面部識(shí)別來(lái)確定誰(shuí)在現(xiàn)場(chǎng)。這可以用于安全目的，或者甚至只是當(dāng)有人在場(chǎng)時(shí)，門鈴上的攝像機(jī)信號(hào)會(huì)傳輸?shù)椒孔永锏碾娨暽希@樣居民們就知道誰(shuí)在門口。

目前，TinyML 的兩個(gè)主要重點(diǎn)領(lǐng)域是：

關(guān)鍵字發(fā)現(xiàn)。大多數(shù)人已經(jīng)熟悉此類應(yīng)用程序。「Hey Siri」和「Hey Google」是關(guān)鍵字的示例（通常與「hotword」或「wake word」同義使用）。這樣的設(shè)備連續(xù)收聽來(lái)自麥克風(fēng)的音頻輸入，并且被訓(xùn)練為僅響應(yīng)特定的聲音序列，這些特定的聲音序列與學(xué)習(xí)的關(guān)鍵字相對(duì)應(yīng)。這些設(shè)備比自動(dòng)語(yǔ)音識(shí)別 (ASR) 應(yīng)用程序更簡(jiǎn)單，并且相應(yīng)地使用了更少的資源。某些設(shè)備（例如 Google 智能手機(jī)）利用級(jí)聯(lián)架構(gòu)來(lái)提供揚(yáng)聲器驗(yàn)證以確保安全性；

視覺(jué)喚醒詞。喚醒詞有一個(gè)基于圖像的類似物，稱為視覺(jué)喚醒詞。我們可以把它想象成一個(gè)圖像的二值分類來(lái)表示某物是存在還是不存在。例如，可以設(shè)計(jì)智能照明系統(tǒng)，使得其在檢測(cè)到人的存在時(shí)啟動(dòng)，并在人離開時(shí)關(guān)閉。同樣，當(dāng)存在特定的動(dòng)物時(shí)，野生動(dòng)物攝影師可以使用它來(lái)拍照，而當(dāng)他們發(fā)現(xiàn)有人時(shí)，可以使用安全攝像機(jī)拍攝照片。

下面顯示了 TinyML 當(dāng)前機(jī)器學(xué)習(xí)用例的更廣泛概述。

TinyML 的機(jī)器學(xué)習(xí)用例（源圖像：NXP)。

TinyML 工作方式

TinyML 算法的工作方式與傳統(tǒng)機(jī)器學(xué)習(xí)模型基本相同。通常，這些模型是在用戶的計(jì)算機(jī)上或云上進(jìn)行訓(xùn)練的。后期訓(xùn)練是 TinyML 的工作真正開始的地方，這個(gè)過(guò)程通常被稱為深度壓縮。

深度學(xué)習(xí)模型壓縮流程圖（圖源：https://arxiv.org/pdf/1510.00149.pdf）

模型蒸餾

訓(xùn)練完成后，模型會(huì)被修改，以創(chuàng)建一個(gè)表示形式更緊湊的模型。剪枝和知識(shí)蒸餾是兩種常用方法。

知識(shí)蒸餾的基本思想是，較大的網(wǎng)絡(luò)具有一定的稀疏性或冗余性。雖然大型網(wǎng)絡(luò)具有較高的表示能力，但如果網(wǎng)絡(luò)容量不飽和，則可以在具備較低表示能力的較小網(wǎng)絡(luò)（即較少的神經(jīng)元）中進(jìn)行表示。

下圖演示了知識(shí)蒸餾的過(guò)程：

深度壓縮過(guò)程圖（圖源：https://arxiv.org/pdf/1510.00149.pdf）

同樣地，剪枝可以使模型表示更緊湊。廣義上講，剪枝試圖去除對(duì)輸出預(yù)測(cè)影響較小的神經(jīng)元。通常與較小的神經(jīng)權(quán)重有關(guān)，而較大的權(quán)重由于其在推理過(guò)程中的重要性而保持不變。然后，網(wǎng)絡(luò)在剪枝后的架構(gòu)上重新訓(xùn)練，微調(diào)輸出。

為模型的知識(shí)表示蒸餾進(jìn)行的剪枝。

量化

經(jīng)過(guò)蒸餾后，模型在訓(xùn)練后被量化成一種與嵌入式設(shè)備架構(gòu)兼容的格式。

為什么需要量化？想象一下，一個(gè)使用 ATmega328P 微控制器的 Arduino Uno，它使用 8 位運(yùn)算。要想在 Uno 上運(yùn)行一個(gè)模型，理想情況下模型權(quán)重必須存儲(chǔ)為 8 位整數(shù)（而許多臺(tái)式計(jì)算機(jī)和筆記本電腦使用 32 位或 64 位浮點(diǎn)表示）。通過(guò)量化模型，權(quán)重的存儲(chǔ)大小減少為原來(lái)的 4 分之一（如 32 位到 8 位值的量化），而對(duì)準(zhǔn)確度的影響可以忽略（通常約為 1–3%）。

8 位編碼過(guò)程中量化誤差的示意圖（圖源：https://tinymlbook.com/）

此外，在量化過(guò)程中，由于量化誤差，一些信息可能會(huì)丟失。為了解決這個(gè)問(wèn)題，量化感知（QA）訓(xùn)練被提出并作為一種替代方案。

哈夫曼編碼

哈夫曼編碼是可變字長(zhǎng)編碼 (VLC) 的一種，該方法完全依據(jù)字符出現(xiàn)概率來(lái)構(gòu)造異字頭的平均長(zhǎng)度最短的碼字。

編譯

一旦模型被量化和編碼，它就被轉(zhuǎn)換成一種格式，該格式可以被某種形式的小型神經(jīng)網(wǎng)絡(luò)解釋器解釋，其中最流行的可能是 TF Lite（大小約 500kb）和 TF Lite Micro（大小約 20kb）。然后將該模型被編譯成 C 或 C++（大多數(shù)微控制器都能有效地使用內(nèi)存），并由設(shè)備上的解釋器運(yùn)行。

TinyML 應(yīng)用程序工作流（圖源：https://tinymlbook.com/）

TinyML 大部分技巧來(lái)自于處理復(fù)雜的微控制器世界。TF Lite 以及 TF Lite Micro 之所以這么小是因?yàn)樗胁槐匾墓δ芏急粍h除了。不幸的是，一些有用的功能也被刪除了，如調(diào)試和可視化。這意味著，如果在部署期間出現(xiàn)錯(cuò)誤，就很難判斷發(fā)生了什么。

此外，當(dāng)模型存儲(chǔ)在設(shè)備上時(shí)，還能進(jìn)行推理。這意味著微控制器必須有足夠大的內(nèi)存來(lái)運(yùn)行（1）操作系統(tǒng)和庫(kù)；（2）神經(jīng)網(wǎng)絡(luò)解釋器，如 TF Lite；（3）存儲(chǔ)的神經(jīng)權(quán)重和神經(jīng)結(jié)構(gòu)；（4）推理過(guò)程中的中間結(jié)果。因此，量化算法的峰值內(nèi)存使用率，以及內(nèi)存使用量、乘法累加單元（mac）的數(shù)量、精度等經(jīng)常在 TinyML 研究論文中引用。

為什么不在設(shè)備上訓(xùn)練

在設(shè)備上進(jìn)行訓(xùn)練會(huì)帶來(lái)更多的「并發(fā)癥」。由于數(shù)值精度降低，很難保證充分訓(xùn)練網(wǎng)絡(luò)所需的準(zhǔn)確率水平。標(biāo)準(zhǔn)臺(tái)式計(jì)算機(jī)上的自動(dòng)區(qū)分方法對(duì)于機(jī)器精度大約是準(zhǔn)確的。以 10^-16 的精度計(jì)算導(dǎo)數(shù)令人難以置信，但是對(duì) 8 位值使用自動(dòng)微分將會(huì)導(dǎo)致較差的結(jié)果。在反向傳播過(guò)程中，這些導(dǎo)數(shù)會(huì)組合并最終用于更新神經(jīng)參數(shù)。在如此低的數(shù)值精度下，模型的準(zhǔn)確度可能很差。

話雖如此，神經(jīng)網(wǎng)絡(luò)已經(jīng)使用 16 位和 8 位浮點(diǎn)數(shù)進(jìn)行了訓(xùn)練。

2015 年，Suyog Gupta 及其同事發(fā)表的第一篇有關(guān)降低深度學(xué)習(xí)中的數(shù)值精度的論文是《Deep Learning with Limited Numerical Precision》。論文結(jié)果表明，32 位浮點(diǎn)表示形式可以減少為 16 位定點(diǎn)表示形式，而準(zhǔn)確度幾乎沒(méi)有降低。但這是使用 stochastic rounding 算法的唯一情況， 因?yàn)橥ǔ?lái)說(shuō)，它會(huì)產(chǎn)生無(wú)偏結(jié)果。

2018 年，Naigang Wang 及其同事在其論文《Training Deep Neural Networks with 8-bit Floating Point Numbers》中使用 8 位浮點(diǎn)數(shù)訓(xùn)練了神經(jīng)網(wǎng)絡(luò)。由于需要在反向傳播期間保持梯度計(jì)算的保真度（在使用自動(dòng)微分時(shí)能夠?qū)崿F(xiàn)機(jī)器精度），因此使用 8 位數(shù)字來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)要比使用推理更有挑戰(zhàn)性。

計(jì)算效率如何？

模型還可以進(jìn)行裁剪，以提高計(jì)算效率。廣泛部署在移動(dòng)設(shè)備上的模型架構(gòu)如 MobileNetV1 以及 MobileNetV2 就是很好的例子。這些本質(zhì)上是卷積神經(jīng)網(wǎng)絡(luò)，它們重新定義了卷積運(yùn)算，使其計(jì)算效率更高。這種更有效的卷積形式被稱為深度可分離卷積。此外還可以使用基于硬件的配置以及神經(jīng)架構(gòu)搜索來(lái)優(yōu)化架構(gòu)延遲，但這些在本文中沒(méi)有涉及。

下一次 AI 革命

在資源受限設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型的能力為許多新的可能性打開了大門。AI 的發(fā)展可能使標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)更加節(jié)能，有助于減少人們對(duì)數(shù)據(jù)科學(xué)影響環(huán)境的擔(dān)憂。此外，TinyML 允許嵌入式設(shè)備被賦予基于數(shù)據(jù)驅(qū)動(dòng)算法的新智能，這些算法可以用于從預(yù)防性維護(hù)到森林中的鳥叫聲檢測(cè)等任何方面。

雖然一些 ML 從業(yè)者無(wú)疑會(huì)繼續(xù)擴(kuò)大模型的規(guī)模，一個(gè)新的趨勢(shì)是開發(fā)更多具備內(nèi)存、計(jì)算和能耗效率的機(jī)器學(xué)習(xí)算法。目前，TinyML 仍處于起步階段，未來(lái)發(fā)展的空間還很大。