模型部署優(yōu)化的學(xué)習(xí)路線是什么？
知友問： 我現(xiàn)在只會 Python，每天工作就是寫腳本處理數(shù)據(jù)、訓(xùn)練模型，但是沒什么工程能力，我想往模型部署優(yōu)化、算法落地這個(gè)方向發(fā)展，請問該怎么學(xué)習(xí)與規(guī)劃？
模型部署優(yōu)化這個(gè)方向其實(shí)比較寬泛。 從模型完成訓(xùn)練，到最終將模型部署到實(shí)際硬件上，整個(gè)流程中會涉及到很多不 同層面的工作，每一個(gè)環(huán)節(jié)對技術(shù)點(diǎn)的要求也不盡相同。
部署的流程大致可以分為 以 下幾個(gè)環(huán)節(jié)：
一、模型轉(zhuǎn)換
從訓(xùn)練框架得到模型后，根據(jù)需求轉(zhuǎn)換到相應(yīng)的模型格式。 模型格式的選擇通常是根據(jù)公司業(yè)務(wù)端 SDK 的需求，通常為 caffe 模型或 onnx 模型，以方便模型在不同的框架之間適配。
該環(huán)節(jié)的工作需要對相應(yīng)的訓(xùn)練框架以及 caffe/onnx 等模型格式有所了解。
常用的 Pytorch 和 TensorFlow 等框架都有十分成熟的社區(qū)和對應(yīng)的博客或教程； caffe 和 onnx 模型格式也有很多可參考和學(xué)習(xí)的公開文檔。
即使沒找到有可參考的文章時(shí)，好在二者都是開源的，依然可以通過對源碼和樣例代碼的閱讀來尋找答案。
二、模型優(yōu)化
此處的模型優(yōu)化是指與后端無關(guān)的通用優(yōu)化，比如常量折疊 、 算數(shù)優(yōu)化 、 依賴優(yōu)化 、 函數(shù)優(yōu)化 、 算子融合 以及 模型信息簡化等等。
部分訓(xùn)練框架會在訓(xùn)練模型導(dǎo)出時(shí)就包含部分上述優(yōu)化過程，同時(shí)如果模型格式進(jìn)行了轉(zhuǎn)換操作，不同 IR 表示之間的差異可能會引入一 些冗余或可優(yōu)化的計(jì)算，因此在模型轉(zhuǎn)換后通常也會進(jìn)行一部分的模型優(yōu)化操作。
該環(huán)節(jié)的工作需要對計(jì)算圖的執(zhí)行流程、各個(gè) op 的計(jì)算定義、程序運(yùn)行性能模型有一定了解，才能知道如果進(jìn)行模型優(yōu)化， 如何 保證優(yōu)化后的模型具有更好的性能。
了解 得 越深入，越可以挖掘到更多的模型潛在性能。
三、模型壓縮
廣義上來講，模型壓縮也屬于模型優(yōu)化的一部分。模型壓縮本身也包括很多種方法，比如剪枝 、 蒸餾 、 量化等等。 模型壓縮的根本目的是希望獲得一個(gè)較小的模型，減少存儲需求的同時(shí)降低計(jì)算量，從而達(dá)到加速的目的。
該環(huán)節(jié)的工作需要對壓縮算法本身 、 模型涉及到的算法任務(wù)及模型結(jié)構(gòu)設(shè)計(jì) 、 硬件平臺計(jì)算流程三個(gè)方面都有一定的了解。
當(dāng)因模型壓縮操作導(dǎo)致模型精度下降時(shí)，對模型算法的了解，和該模型在硬件上的計(jì)算細(xì)節(jié)有足夠的了解，才能分析出精度下降的原因，并給出針對性的解決方案。
對于模型壓縮更重要的往往是工程經(jīng)驗(yàn) ， 因?yàn)樵诓煌挠布蠖松喜渴鹣嗤哪Ｐ蜁r(shí)， 由于 硬件計(jì)算的差異性，對精度的影響往往也不盡相同，這方面只有通過 積累 工程經(jīng)驗(yàn)來不斷提升。
Open PPL 也在逐步開源自己的模型壓縮工具鏈，并對上述提到的模型算法、壓縮算法 和 硬件平臺適配等方面的知識進(jìn)行介紹 。
四、模型部署
模 型部署是整個(gè)過程中最復(fù)雜的環(huán)節(jié)。從工程上講，主要的核心任務(wù)是模型打包 、 模型加密，并進(jìn)行 SDK 封裝。
在一個(gè)實(shí)際的產(chǎn)品中，往往會用到多個(gè)模型。
模型打包是指將模型涉及到的前后處理，以及多個(gè)模型整合到一起，并加入一些其他描述性文件。 模型打包的格式和模型加密的方法與具體的 SDK 相關(guān)。 在該環(huán)節(jié)中主要涉及到的技能與 SDK 開發(fā)更為緊密。
從功能上講，對部署最后的性能影響最大的肯定是 SDK 中包含的后端庫，即實(shí)際運(yùn)行模型的推理庫。 開發(fā)一個(gè)高性能推理庫所需要的技能點(diǎn)就要更為廣泛 ，并且 專業(yè)。
并行計(jì)算的編程思想在不同的平臺上是通用的，但不同的硬件架構(gòu)的有著各自的特點(diǎn)，推理庫的開發(fā)思路也不盡相同，這也就要求對開發(fā)后端的架構(gòu)體系有著一定的了解。
具體到不同架構(gòu)的編程學(xué)習(xí)，建議參考當(dāng)前各大廠開源的推理庫來進(jìn)一步學(xué)習(xí) 。
