最近遇到不少同學(xué)在使用NVIDIA GPU產(chǎn)品和SDK學(xué)習(xí)Deep Learning，經(jīng)常會看到這些詞語，也很容易混淆。今天我們就來擼一擼。

在講這些概念之前，我們先掃盲一下啥叫深度學(xué)習(xí)（Deep Learning）吧。

深度學(xué)習(xí)是機器學(xué)習(xí)的一個分支，其特點是使用幾個，有時上百個功能層。深度學(xué)習(xí)已經(jīng)從能夠進行線性分類的感知器發(fā)展到添加多層來近似更復(fù)雜的函數(shù)。加上卷積層使得小圖像的處理性能有了提升，可以識別一些手寫數(shù)字。現(xiàn)在，隨著大型圖像數(shù)據(jù)集的可用性和高性能并行計算卷積網(wǎng)絡(luò)正在大規(guī)模圖像上得到應(yīng)用，從而實現(xiàn)了以前不實用的廣泛應(yīng)用。

在這里，我們看到一些實際應(yīng)用的深度學(xué)習(xí)是如何被使用的。

深度學(xué)習(xí)擅長的一個領(lǐng)域是圖像分類和目標檢測，可以用于機器人和自動車輛以及其他一些應(yīng)用程序。對于機器人來說，目標檢測是很重要的，因為它使機器人智能地使用視覺信息與環(huán)境交互。深度學(xué)習(xí)也用于人臉識別，可以通過視覺來驗證個人的身份信息，常見于智能手機。但深度學(xué)習(xí)不僅僅是圖像處理，還可以用來做自然語言處理，比如智能音箱和語音輔助搜索。其他應(yīng)用還包括醫(yī)學(xué)圖像、解釋地震圖像判讀和內(nèi)容推薦系統(tǒng)。

很多應(yīng)用可以利用云端強大的性能，但有些應(yīng)用就不能，比如一些應(yīng)用程序需要低延遲，如機器人或自動汽車，響應(yīng)時間和可靠性是至關(guān)重要的。還有應(yīng)用程序需要高帶寬，比如視頻分析，我們不斷地流數(shù)據(jù)從幾個攝像機傳輸給遠程服務(wù)器是不實際的。還有些應(yīng)用比如醫(yī)療成像，涉及到病人數(shù)據(jù)的隱私。另外對于無人飛機，也無法使用云。對于這些應(yīng)用我們需要在傳感器本身或者附近，就近處理，這就是為什么NVIDIA Jetson平臺是一個很好的邊緣計算平臺。

典型的Jetson平臺的工作流程是在GPU服務(wù)器或者工作站上進行訓(xùn)練， 然后將訓(xùn)練的數(shù)據(jù)模型在Jetson上做邊緣推理。Nvidia通過為所有主要的深度學(xué)習(xí)軟件框架集成CUDA加速，使得訓(xùn)練模型變得容易。這些軟件框架簡化了開發(fā)和部署深度學(xué)習(xí)應(yīng)用程序的過程。

這些框架大多有細微的差別，但每個框架通常都提供了構(gòu)建神經(jīng)網(wǎng)絡(luò)的方法和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的算法。雖然有許多不同的框架，每個框架都有自己的好處，

TF-Tensorflow

Tensorflow就是深度學(xué)習(xí)框架之一

TensorFlow是種流行的深度學(xué)習(xí)框架，由谷歌公司開源。在TensorFlow里，神經(jīng)網(wǎng)絡(luò)被定義成一系列相關(guān)的操作構(gòu)成的圖，這些操作可能是卷積，也可能是矩陣乘法，還可能是其它的任意對每層的元素進行變換的操作。雖然在訓(xùn)練的過程中，網(wǎng)絡(luò)層中的參數(shù)會發(fā)生變化，但網(wǎng)絡(luò)結(jié)構(gòu)不會。

在典型的工作流程中，開發(fā)人員通過在Python中進行tensorflow API調(diào)用來定義計算圖形，Python調(diào)用創(chuàng)建一個圖形數(shù)據(jù)結(jié)構(gòu)，完全定義神經(jīng)網(wǎng)絡(luò)，然后開發(fā)人員可以使用明確定義的圖形結(jié)構(gòu)來編寫訓(xùn)練或推理過程。

TLT-Transfer Learning Toolkit

除了定義新的神經(jīng)網(wǎng)絡(luò)之外，很容易重新使用已經(jīng)由其他開發(fā)人員或研究人員定義和訓(xùn)練的現(xiàn)有網(wǎng)絡(luò)，這些所謂的預(yù)訓(xùn)練網(wǎng)絡(luò)可以按原樣使用重新用于新任務(wù)，叫遷移學(xué)習(xí)。 在遷移學(xué)習(xí)的情況下，開發(fā)人員將從已保存的文件中加載預(yù)先訓(xùn)練的參數(shù)，然后使用新數(shù)據(jù)集運行訓(xùn)練過程，這種技術(shù)通常會導(dǎo)致更高的準確度，因為訓(xùn)練樣本少于從頭開始訓(xùn)練網(wǎng)絡(luò)。

NVIDIA推出的NVIDIA Transfer Learning工具包（TLT）主打“無需AI框架方面的專業(yè)知識，即可為智能視頻分析和計算機視覺創(chuàng)建準確而高效的AI模型。像零編碼的專業(yè)人士一樣發(fā)展。”

Transfer Learning Toolkit（TLT）是一個基于python的AI工具包，用于獲取專門構(gòu)建的預(yù)先訓(xùn)練的AI模型并使用您自己的數(shù)據(jù)進行自定義。遷移學(xué)習(xí)將學(xué)習(xí)到的特征從現(xiàn)有的神經(jīng)網(wǎng)絡(luò)提取到新的神經(jīng)網(wǎng)絡(luò)。當創(chuàng)建大型訓(xùn)練數(shù)據(jù)集不可行時，經(jīng)常使用遷移學(xué)習(xí)。開發(fā)智能視覺AI應(yīng)用程序和服務(wù)的開發(fā)人員，研究人員和軟件合作伙伴可以將自己的數(shù)據(jù)用于微調(diào)經(jīng)過預(yù)先訓(xùn)練的模型，而無需從頭開始進行培訓(xùn)。

針對特定用例（例如建筑物占用分析，交通監(jiān)控，停車管理，車牌識別，異常檢測等），NVIDIA已經(jīng)幫你準備好了預(yù)訓(xùn)練模型，避免開發(fā)者從頭開始創(chuàng)建和優(yōu)化模型的耗時過程，從而讓你將工程工作從80周減少到大約8周，從而在較短的時間內(nèi)實現(xiàn)更高的吞吐量和準確性。通過使用DeepStream部署視覺AI應(yīng)用程序，您可以釋放更大的流密度并進行大規(guī)模部署。

預(yù)先訓(xùn)練的模型可加速AI訓(xùn)練過程，并從頭減少與大規(guī)模數(shù)據(jù)收集，標記和訓(xùn)練模型相關(guān)的成本。NVIDIA專門構(gòu)建的預(yù)訓(xùn)練模型具有高質(zhì)量的生產(chǎn)質(zhì)量，可用于各種用例，例如人數(shù)統(tǒng)計，車輛檢測，交通優(yōu)化，停車管理，倉庫運營等。

TRT-TensorRT

一旦網(wǎng)絡(luò)完成，就可以直接部署模型。然而，如果模型使用tensorRT進行優(yōu)化，那么通常會有顯著的性能優(yōu)勢。TensorRT是由nvidia提供的，是一種優(yōu)化神經(jīng)網(wǎng)絡(luò)推理的加速器。

與tensorflow和其他框架不同，tensorRT不用于訓(xùn)練深度學(xué)習(xí)模型，而是在你完成訓(xùn)練時 使用tensorRT優(yōu)化模型以進行部署，轉(zhuǎn)換過程重新構(gòu)建模型以利用高度優(yōu)化的GPU操作，從而降低延遲并提高吞吐量。

大家可以通過這個視頻來了解如何用TensorRT來部署模型

DS-Deepstream

深度學(xué)習(xí)是全球視頻分析應(yīng)用增長的動力，開發(fā)者們越來越多的在基于計算機視覺應(yīng)用中使用深度學(xué)習(xí)了。到2020年全球啟用的攝像頭達到10億，這是一個難以置信的原始傳感器數(shù)據(jù)量。有了這些數(shù)據(jù)，人們、社會團體和公司正在構(gòu)建強大的應(yīng)用，利用攝像頭和streaming分析來做一些東西，比如機場的入境管理，制造中心和工廠的產(chǎn)線管理、停車管理，還有客流分析應(yīng)用，這對構(gòu)建智慧城市是很重要的。零售分析也是另外一個很重要的使用場景，對于商店來說可以幫助他們了解客戶想買什么....還有其它的行業(yè)應(yīng)用，這些都需要利用視頻分析從而讓人們具備更全面的洞察力。

NVIDIA Deepstream SDK是一個通用的Steaming分析框架，可以讓你從各個傳感器中構(gòu)建你自己的應(yīng)用。它實際上是一個建立在GStreamer之上的SDK，GStreamer是一個開源的多媒體分析框架。NVIDIA將Deepstream作為SDK，旨在加速流視頻分析所需的完整堆棧。它是一個模塊化的SDK，允許開發(fā)人員為智能視頻分析（IVA）構(gòu)建一個高效的管道。您在這里看到的是一個典型的IVA管道，由Deepstream插件構(gòu)建，它支持插件使用的底層硬件、管道的每個功能，并利用硬件體系結(jié)構(gòu)移動數(shù)據(jù)，而無需任何內(nèi)存拷貝。