編者按： 隨著2024年被業界譽為“AI PC元年”，各大筆記本電腦廠商紛紛推出搭載NPU的全新AI PC，而在介紹產品性能時，“NPU”一詞頻頻被提及。但NPU和我們所熟知的GPU之間的區別究竟是什么？

我們今天為大家分享的這篇文章將和大家一起初探NPU vs GPU。簡而言之，NPU專為加速AI任務而設計，包括深度學習和推理，能夠高效地處理大量數據，并利用專用存儲器快速執行復雜的AI算法。與GPU相比，NPU體積更小、成本更低、能耗更小，且在特定AI任務中表現更優。

作者 | Pure Storage

編譯 | 岳揚

如今，人工智能領域的軟硬件很多都是專門為人工智能及神經網絡操作的優化而定制的。這其中就包括神經網絡處理單元（NPU），大家通常會將這種硬件與圖形處理器（GPU）進行對比，因為兩者都能加快人工智能任務的處理速度。NPU 這種硬件已經越來越常見了，它們專門為高效完成AI/ML任務而設計。但它們之間究竟有何不同呢？

接下來，我們將簡要探討 NPU 和 GPU 的區別，并考察、分析每種處理器的優勢和不足。

01 NPU 是什么？

NPU 是神經網絡處理單元（Neural Processing Unit）的縮寫，這是一種用于提升人工智能和神經網絡相關任務性能的專用硬件組件。

乍聽之下，NPUs 可能會被誤認為是僅限于科研實驗室或軍事基地的高科技產品，但實際上，雖然 NPUs 是一項較新的技術，但它們正變得越來越常見。不久之后，我們就能在臺式機和筆記本電腦中見到 NPUs 的身影。目前，大多數現代智能手機，如近幾年的 iPhone、Google Pixel 和三星 Galaxy，都已經在其主 CPU 中集成了 NPUs。

信不信由你，這張幻燈片是從 2013 年高通的 SoC（System-on-a-Chip）展示會上截取的。而“NPU”這一術語直到十年后才開始受到廣泛關注。

NPU（神經網絡處理單元）支持神經網絡引擎和網絡算法，正如其名稱所示，這些算法不僅可用于已高度成熟的應用場景，比如自動駕駛（autonomous driving）和自然語言處理（NLP），也應用于人臉識別、語音識別和圖像處理等日常生活場景。

02 GPU 是什么？

GPU 是圖形處理單元（Graphics Processing Unit）的縮寫。最初是為電子游戲和多媒體應用程序中的圖形渲染場景而設計開發的，但現在 GPU 的用途已經被大大擴展，被廣泛應用于各種需要并行處理復雜計算的應用場景。

GPU 的獨特優勢在于能夠快速高效地并行處理數千個小任務，非常適合處理需要大量并行計算的復雜任務，比如圖形渲染（rendering graphics）、物理模擬（simulating physics），甚至訓練神經網絡（training neural networks）。

03 NPU 與 GPU 的架構差異

從硬件架構上看，NPU 比 GPU 更適合進行并行計算。NPU 擁有更多的小型處理單元（smaller processing units），與 GPU 相比，還配備有專門的內存體系結構（memory hierarchies）和數據流優化策略（data flow optimizations），使得它們對深度學習任務的處理特別高效。相比之下，GPU 具有更多的多功能內核（versatile cores），這些內核通常可并行處理多種計算任務，但 NPU 對神經網絡算法進行了針對性的優化設計。

NPU 特別擅長處理短期且重復性的任務。集成到現代計算機系統中后，NPU 可以減輕 GPU 處理神經網絡時固有矩陣運算的負擔，使 GPU 能夠專注于圖形渲染或通用計算任務。

與 GPU 相比，NPU 在密集型深度學習計算任務中表現更佳。自然語言處理（NLP）、語音識別和計算機視覺等應用場景均是 NPU 相對于 GPU 表現更佳的領域。GPU 的架構更為通用，但在處理大語言模型或邊緣計算應用時可能難以與 NPU 相匹敵。

04 NPU 與 GPU 的性能差異

將它們直接進行比較時，NPU 與 GPU 最大的性能差異體現在功耗和移動設備的電池續航時間上。由于 NPU 是專門為神經網絡操作而設計的，因此 NPU 能夠以與 GPU 相近的處理速度完成同樣的計算任務，但是消耗的電量要少得多。

NPU 和 GPU 在處理神經網絡任務時表現出的不同性能，主要是因為神經網絡本身的特點和應用需求，而不是簡單地歸因于這兩種硬件架構上的不同。NPU 在硬件架構上針對 AI/ML 計算任務進行了優化，因此在處理最復雜的計算任務（如深度學習模型的推理和訓練）時超越 GPU。

NPU內置的專門用于矩陣乘法（matrix multiplications）和激活函數（activation functions）的硬件，使得在實時語言翻譯、自動駕駛汽車??圖像識別以及醫療圖像分析等任務中，NPU在性能和效率上均優于GPU。

05 如何集成？數據存儲方面的需求如何？

在企業層面，NPU 可以融入現有的基礎設施和數據處理流程。NPU 可與 CPU、GPU 及其他計算加速硬件共同部署于數據中心，共同為 AI 任務提供強大的算力。然而，當所有 AI/ML 計算任務都被整合到企業數據中心中時，可能會出現數據訪問和數據存儲等方面的問題。

經過全面優化的 NPU 和 GPU 在處理 AI/ML 計算任務時可以以極快的速度處理數據，以至于傳統的存儲系統可能難以跟上，從而導致數據檢索和處理出現潛在瓶頸（potential bottlenecks）。

在實際應用中，NPU 并不需要特定的數據存儲基礎設施 —— 然而，要以峰值效率運行 NPU，則必須讓它們能夠極其快速地訪問龐大的數據集。NPU在執行 AI/ML 任務時，需要大量數據來訓練模型，并對新數據進行準確預測，同時要求快速的數據排序、分類、訪問、修改和存儲能力。企業級的解決方案通常是采用閃存存儲（flash storage）和全托管的存儲基礎設施（holistically managed storage infrastructures）。

簡而言之，NPU 是專門為執行神經網絡操作而設計和構建的，因此在處理與 AI/ML 操作相關的小型重復性任務時特別有效。

乍一看，GPU 與 NPU 很相似：都是為同時執行小型操作而設計的硬件組件。然而，由于 NPU 對矩陣乘法和激活函數這樣的任務進行了針對性的優化，因此在神經網絡的計算任務方面具有明顯優勢。這使得 NPU 在處理深度學習計算任務方面優于 GPU，尤其是在功耗和處理速度方面。

原文鏈接：

??https://www.techspot.com/news/103413-npu-vs-gpu-what-difference.html??