本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

[[353922]]

如何把 anchor-free 模型移植到移動(dòng)端或嵌入式設(shè)備？這個(gè)項(xiàng)目對(duì)單階段檢測(cè)模型三大模塊（Head、Neck、Backbone）進(jìn)行輕量化，得到模型大小僅 1.8m、速度超快的輕量級(jí)模型 NanoDet-m。

目標(biāo)檢測(cè)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的一大難題，其目標(biāo)是找出圖像中的所有感興趣區(qū)域，并確定這些區(qū)域的位置和類別。目標(biāo)檢測(cè)中的深度學(xué)習(xí)方法已經(jīng)發(fā)展了很多年，并出現(xiàn)了不同類型的檢測(cè)方法。

目前，深度學(xué)習(xí)目標(biāo)檢測(cè)方法主要分為兩大類，分別是兩階段式和單階段式目標(biāo)檢測(cè)算法。兩階段式目標(biāo)檢測(cè)框架首先生成候選區(qū)域，然后將其分類成不同的目標(biāo)類別，代表模型有 R-CNN、Fast R-CNN 等；單階段式目標(biāo)檢測(cè)框架將目標(biāo)檢測(cè)任務(wù)視為一個(gè)統(tǒng)一的端到端回歸問(wèn)題，代表模型有 MultiBox、YOLO、SSD 等。這類框架通常結(jié)構(gòu)更簡(jiǎn)單，檢測(cè)速度也更快。

深度學(xué)習(xí)目標(biāo)檢測(cè)方法還可劃分為 Anchor-base 和 Anchor-free 兩大類，今年又出現(xiàn)了將Transformer 用于目標(biāo)檢測(cè)的嘗試，各種方法百花齊放。但是，在移動(dòng)端目標(biāo)檢測(cè)算法上，YOLO 系列和 SSD 等 Anchor-base 的模型一直占據(jù)主導(dǎo)地位。

近日，GitHub 上出現(xiàn)了一個(gè)項(xiàng)目 nanodet，它開(kāi)源了一個(gè)移動(dòng)端實(shí)時(shí)的 Anchor-free 檢測(cè)模型，希望能夠提供不亞于 YOLO 系列的性能，而且同樣方便訓(xùn)練和移植。該項(xiàng)目上線僅兩天，Star 量已經(jīng)超過(guò) 200。

項(xiàng)目地址：https://github.com/RangiLyu/nanodet

NanoDet 模型介紹

NanoDet 是一個(gè)速度超快和輕量級(jí)的移動(dòng)端 Anchor-free 目標(biāo)檢測(cè)模型。該模型具備以下優(yōu)勢(shì)：

超輕量級(jí)：模型文件大小僅 1.8m；

速度超快：在移動(dòng) ARM CPU 上的速度達(dá)到 97fps（10.23ms）；

訓(xùn)練友好：GPU 內(nèi)存成本比其他模型低得多。GTX1060 6G 上的 Batch-size 為 80 即可運(yùn)行；

方便部署：提供了基于 ncnn 推理框架的 C++ 實(shí)現(xiàn)和 Android demo。

模型性能

目前開(kāi)源的 NanoDet-m 模型在 320x320 輸入分辨率的情況下，整個(gè)模型的 Flops 只有 0.72B，而 yolov4-tiny 則有 6.96B，小了將近十倍。模型的參數(shù)量也只有 0.95M，權(quán)重文件在使用 ncnn optimize 進(jìn)行 16 位存儲(chǔ)之后，只有 1.8mb。

盡管模型非常的輕量，但是它的性能不容小覷。在與其他模型進(jìn)行比較時(shí)，項(xiàng)目作者選擇使用 COCO mAP (0.5:0.95) 作為評(píng)估指標(biāo)，兼顧檢測(cè)和定位的精度，在 COCO val 5000 張圖片上測(cè)試，并且沒(méi)有使用 Testing-Time-Augmentation。在這種設(shè)置下，320 分辨率輸入能夠達(dá)到 20.6 的 mAP，比 tiny-yolov3 高 4 分，只比 yolov4-tiny 低 1 個(gè)百分點(diǎn)。在將輸入分辨率與 YOLO 保持一致，都使用 416 輸入的情況下，NanoDet 與 yolov4-tiny 得分持平。具體結(jié)果如下表所示：

以上性能基于 ncnn 和麒麟 980 (4xA76+4xA55) ARM CPU 獲得。

此外，項(xiàng)目作者將 ncnn 部署到手機(jī)（基于 ARM 架構(gòu)的 CPU 麒麟 980，4 個(gè) A76 核心和 4 個(gè) A55 核心）上之后跑了一下 benchmark，模型前向計(jì)算時(shí)間只要 10 毫秒左右，而 yolov3 和 v4 tiny 均在 30 毫秒的量級(jí)。在安卓攝像頭 demo app 上，算上圖片預(yù)處理、檢測(cè)框后處理以及繪制檢測(cè)框的時(shí)間，NanoDet 也能輕松跑到 40+FPS。

NanoDet 和 yolov4-tiny 的性能對(duì)比。

最后，該項(xiàng)目提供了 Android demo、C++ demo 和 Python demo。NanoDet 在安卓端的目標(biāo)檢測(cè)結(jié)果如下所示：

NanoDet 方法

NanoDet 是一種 FCOS 式的單階段 anchor-free 目標(biāo)檢測(cè)模型，它使用 ATSS 進(jìn)行目標(biāo)采樣，使用 Generalized Focal Loss 損失函數(shù)執(zhí)行分類和邊框回歸（box regression）。

據(jù)項(xiàng)目作者介紹，該項(xiàng)目的主要目的是希望開(kāi)源一個(gè)移動(dòng)端實(shí)時(shí)的 Anchor-free 檢測(cè)模型，能夠提供不亞于 YOLO 系列的性能，并且方便訓(xùn)練和移植。為此，他參考了以下研究：

最終得到的 NanoDet 模型架構(gòu)如下：

損失函數(shù)

項(xiàng)目作者想要實(shí)現(xiàn)一個(gè) FCOS 式的 anchor-free 目標(biāo)檢測(cè)模型，但將 FCOS 輕量化處理時(shí)，由于 FCOS 的 centerness 分支在輕量級(jí)的模型上很難收斂，模型效果不如預(yù)期。

最終，NanoDet 使用了李翔等人提出的 Generalized Focal Loss 損失函數(shù)。該函數(shù)能夠去掉 FCOS 的 Centerness 分支，省去這一分支上的大量卷積，從而減少檢測(cè)頭的計(jì)算開(kāi)銷(xiāo)，非常適合移動(dòng)端的輕量化部署。

圖源：https://arxiv.org/pdf/2006.04388.pdf

檢測(cè)頭輕量化

找到合適的損失函數(shù)后，如何使其在輕量級(jí)模型上發(fā)揮作用呢？

首先需要優(yōu)化的是檢測(cè)頭。

FCOS 系列使用了共享權(quán)重的檢測(cè)頭，即對(duì) FPN 出來(lái)的多尺度 Feature Map 使用同一組卷積預(yù)測(cè)檢測(cè)框，然后每一層使用一個(gè)可學(xué)習(xí)的 Scale 值作為系數(shù)，對(duì)預(yù)測(cè)出來(lái)的框進(jìn)行縮放。

圖源：https://openaccess.thecvf.com/content_ICCV_2019/papers/Tian_FCOS_Fully_Convolutional_One-Stage_Object_Detection_ICCV_2019_paper.pdf

這么做的好處是能夠?qū)z測(cè)頭的參數(shù)量降低為不共享權(quán)重狀態(tài)下的 1/5。這對(duì)于光是檢測(cè)頭就擁有數(shù)百通道卷積的大模型來(lái)說(shuō)非常有用，但是對(duì)于輕量化模型來(lái)說(shuō)，共享權(quán)重檢測(cè)頭并沒(méi)有很大的意義。由于移動(dòng)端模型推理由 CPU 執(zhí)行計(jì)算，共享權(quán)重并不會(huì)帶來(lái)推理過(guò)程的加速，而且在檢測(cè)頭非常輕量的情況下，共享權(quán)重使其檢測(cè)能力進(jìn)一步下降，因此項(xiàng)目作者認(rèn)為選擇對(duì)每一層特征使用一組卷積比較合適。

同時(shí)，F(xiàn)COS 系列在檢測(cè)頭上使用了 Group Normalization（GN）作為歸一化方式，GN 對(duì)比 BN（Batch Normalization）有很多好處，但是卻有一個(gè)缺點(diǎn)：BN 在推理時(shí)能夠?qū)⑵錃w一化的參數(shù)直接融合進(jìn)卷積中，可以省去這一步計(jì)算，而 GN 則不行。為了能夠節(jié)省歸一化操作的時(shí)間，項(xiàng)目作者選擇將 GN 替換為 BN。

FCOS 的檢測(cè)頭使用了 4 個(gè) 256 通道的卷積作為一個(gè)分支，也就是說(shuō)在邊框回歸和分類兩個(gè)分支上一共有 8 個(gè) c=256 的卷積，計(jì)算量非常大。為了將其輕量化，項(xiàng)目作者首先選擇用深度可分離卷積替換普通卷積，并且將卷積堆疊的數(shù)量從 4 個(gè)減少為 2 組。在通道數(shù)上，將 256 維壓縮至 96 維，之所以選擇 96，是因?yàn)樾枰獙⑼ǖ罃?shù)保持為 8 或 16 的倍數(shù)，能夠享受到大部分推理框架的并行加速。

最后，項(xiàng)目作者借鑒了 YOLO 系列的做法，將邊框回歸和分類使用同一組卷積進(jìn)行計(jì)算，然后 split 成兩份。最終得到的輕量化檢測(cè)頭如下圖所示：

FPN 層改進(jìn)

目前針對(duì) FPN 的改進(jìn)有許多，如 EfficientDet 使用了 BiFPN，YOLO v4 和 v5 使用了 PAN，除此之外還有 BalancedFPN 等等。BiFPN 雖然性能強(qiáng)大，但是堆疊的特征融合操作會(huì)導(dǎo)致運(yùn)行速度降低，而 PAN 只有自上而下和自下而上兩條通路，非常簡(jiǎn)潔，是輕量級(jí)模型特征融合的好選擇。

原版的 PAN 和 YOLO 系列中的 PAN 都使用了 stride=2 的卷積進(jìn)行大尺度 Feature Map 到小尺度的縮放。而該項(xiàng)目出于輕量化的考慮，選擇完全去掉 PAN 中的所有卷積，只保留從骨干網(wǎng)絡(luò)特征提取后的 1x1 卷積來(lái)進(jìn)行特征通道維度的對(duì)齊，上采樣和下采樣均使用插值來(lái)完成。與 YOLO 使用的 concatenate 操作不同，項(xiàng)目作者選擇將多尺度的 Feature Map 直接相加，使整個(gè)特征融合模塊的計(jì)算量變得非常小。

最終得到的極小版 PAN 結(jié)構(gòu)非常簡(jiǎn)單：

NanoDet 使用的超輕量 PAN（圖源：https://zhuanlan.zhihu.com/p/306530300）

骨干網(wǎng)絡(luò)

項(xiàng)目作者選擇使用 ShuffleNetV2 1.0x 作為骨干網(wǎng)絡(luò)，他去掉了該網(wǎng)絡(luò)的最后一層卷積，并且抽取 8、16、32 倍下采樣的特征輸入到 PAN 中做多尺度的特征融合。整個(gè)骨干模型使用了 Torchvision 提供的代碼，能夠直接加載 Torchvision 上提供的 imagenet 預(yù)訓(xùn)練權(quán)重，對(duì)加快模型收斂起到很大幫助。

目前，項(xiàng)目作者已將 Pytorch 訓(xùn)練代碼、基于 NCNN 的 Linux 和 Windows C++ 部署代碼以及 Android 攝像頭 Demo 全部開(kāi)源，并在 Readme 中提供了詳細(xì)教程，參見(jiàn)項(xiàng)目 GitHub 主頁(yè)。