人工智能推理市場在過去的三四年里發生了巨大的變化。以前，邊緣人工智能甚至不存在，大多數推斷能力都發生在數據中心、超級計算機或政府應用程序中，這些應用程序通常也是大型計算項目。在所有這些情況下，性能都是至關重要的，而且始終是最重要的。展望今天，邊緣人工智能市場與此截然不同，尤其是它進入了更多的商業應用領域。對于這些用例，主要關注的是低成本、功耗和小尺寸，而不是原始性能。

[[378809]]

通過軟硬件協同設計平衡更好的性能

當研究AI芯片時，很明顯一個芯片和另一個不同。芯片需要小得多才能在低成本、低功耗、小尺寸的邊緣人工智能市場上發揮作用。

隨著5G的開始出現，更加清晰的是，不可能將原始數據發送到云端隨時進行處理。邊緣必須有一定數量的情報，可以解決99.9%的情況，而數據中心實際上只需要用于極端情況。一個完美的例子就是安全攝像頭。邊緣人工智能需要能夠找出是否有任何可疑的活動發生，如果周圍有人。然后，如果有任何有趣的發現，這些部分可以發送到數據中心進行進一步處理。然而，發送到數據中心的數據實際上只是整個推斷的一小部分。邊緣推理人工智能通常意味著要滿足很多約束條件，有時如果你想運行非常大的復雜模型，你實際上只需要在一小部分數據上運行這些模型。

早期邊緣人工智能推理設計中的另一個誤解是，一刀切的方法就足夠了。這也被證明是錯誤的，因為專業化芯片的出現顯示了它們的優勢和能力。關鍵是真正圍繞算法構建芯片，因為如果它真的能磨練算法，你可以獲得更好的性能。正確的平衡實際上是獲得最有效的計算，就像一個特殊的硬件，但在編譯時可編程性。

可編程性是關鍵

這個行業真的處在人工智能發展的風口浪尖上。未來幾十年，我們將在這一領域看到的創新將是驚人的。就像任何長壽的市場一樣，你可以期待變化。這就是為什么不為某些客戶型號設計超級專用的芯片變得至關重要的原因。如果我們今天這么做，兩年后當芯片在客戶手中時，型號可能已經發生了實質性的變化——客戶的要求也會發生變化。這就是我們不斷聽到有關公司最終獲得人工智能推理芯片的故事的主要原因——然后發現他們的表現并不像他們需要的那樣。如果在芯片結構中內置可編程性，那么這個問題就很容易解決。

在任何邊緣人工智能處理器中，人工智能的靈活性和可編程性是最重要的。客戶的算法會定期更改，系統設計也會更改。隨著邊緣人工智能能力在主流市場的推廣，芯片設計師需要能夠適應和改變客戶的模型，而不是根據他們“認為”的模型來選擇。我們一次又一次地看到這一點，這就是為什么編譯器如此重要。編譯器中有很多技術是對最終用戶隱藏的，這些技術都是圍繞著分配資源來確保以最少的能量高效地完成所有事情。

另一個被密切關注的關鍵特性是吞吐量。好的推斷芯片現在正在設計中，這樣他們就可以很快地在芯片中移動數據，這意味著他們必須很快地處理數據，并且很快地將數據移入和移出內存。芯片真正重要的是推斷引擎在模型、圖像大小、批量大小、過程和PVT(過程/電壓/溫度)條件下能提供多少吞吐量。這是衡量其性能的首要標準，但令人驚訝的是，很少有供應商提供這一標準。

邊緣AI向前移動

如今，許多客戶都急需吞吐量，他們正在尋找解決方案，以獲得更高的吞吐量和更大的圖像尺寸，同時還可以獲得與當前相同的功率或價格。當他們得到它時，他們的解決方案將比競爭對手的解決方案更加準確和可靠，然后他們的市場采用和擴張將加速。因此，盡管今天的應用程序有數千或上萬個單位，但我們預計隨著提供越來越多吞吐量和瓦特的推理的可用性，這種應用程序將迅速增長。

邊緣人工智能市場增長迅速，芯片供應商也在爭奪這個市場的地位。事實上，據預測，到2020年代中期，人工智能的銷售額將迅速增長到數百億美元，其中大部分增長將來自邊緣人工智能。沒有人能夠預測未來的模型，這就是為什么在設計時考慮到靈活性和可編程性更為重要的原因。