論文鏈接：https://arxiv.org/pdf/2105.10375.pdf

應用 & 代碼：

• ??https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary??
• ??https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary??

背景

圖像分類是當前 AI 最為成功的實際應用技術之一，已經融入了人們的日常生活。被廣泛應用于計算機視覺的大部分任務中，比如圖像分類、圖像搜索、OCR、內容審核、識別認證等領域。目前已形成一個普遍共識：“當數據集越大 ID 越多時，只要訓練得當，相應分類任務的效果就會越好”。但是當面對千萬 ID 甚至上億 ID 時，當下流行的 DL 框架，很難低成本的直接進行如此超大規模的分類訓練。

解決該問題最直觀的方式是通過集群的方式消耗更多的顯卡資源，但即便如此，海量 ID 下的分類問題，依然會有如下幾個問題：

1）成本問題：分布式訓練框架 + 海量數據情況下，內存開銷、多機通信、數據存儲與加載都會消耗更多的資源。

2）長尾問題：實際場景中，當數據集達到上億 ID 時，往往其絕大部分 ID 內的圖片樣本數量會很少，數據長尾分布非常明顯，直接訓練難以獲得較好效果。

本文余下章節將重點介紹超大規模分類框架現有解決方案，以及低成本分類框架 FFC 的相應原理及 trick 介紹。

方法

在介紹方法之前，本文首先回顧了當前超大規模分類存在的主要挑戰點：

挑戰點 1：成本居高不下?

ID 數目越大分類器顯存需求越大，如下示意圖所示：

顯存越大所需機器卡數越多，成本也就越高，相應多機協同的硬件基礎設施成本也越高。與此同時，當分類 ID 數目達到極超大規模的時候，主要計算量將浪費在最后一層分類器上，骨架網絡消耗的時間可忽略不計。

挑戰點 2：長尾學習困難?

在實際場景下，上億 ID 中的絕大部分 ID 內的圖片樣本數量會很少，長尾數據分布非常明顯，直接訓練難以收斂。如果按照同等權重訓練，則長尾樣本會被淹沒學習不充分。此時，一般采用 imbalanced sample，在這個研究課題上，有非常多的方法可以借鑒，采取怎樣的方式融入到簡易超大規模分類框架上較為合適呢？

帶著上述兩個挑戰點，首先來看下現有可行的方案有哪些，是否能很好的解決上述兩個挑戰。

可行方法 1：度量學習?

可行方法 2：PFC 框架

可行方法 3：VFC 框架?

本論文方法：FFC 框架

大規模分類采用 FC 訓練時損失函數如下：

在每一次反傳過程中，所有的類中心都會更新：

但 FC 太大了，直觀的思路是合理地選擇一定比例的類中心，即如下 Vj 為 1 部分：

由上述動機，引出了如下初步的方案：

首先，為了解決長尾帶來的影響，本文引入兩個 loaders，分別是基于 id 采樣的 id_loader 和基于樣本采樣的 instance_loader，有了這兩個 loader。在每個 epoch 當中，樣本多的類和樣本少的（few-shot）類能夠有機會被訓練到。

其次，在訓練開始之前，先將一部分樣本送入 id group，這里假設放入 10% id 的樣本進入 group。這時候 gallery 用的是隨機參數。

然后，訓練開始時，batch 樣本挨個進入 probe net。然后對于每個 batch 里面的樣本就有兩種情況：1.）group 中存在此樣本同樣 id 的特征，2.）group 中不存在同類樣本的特征。對于這兩種情況，分別稱之為 existing id 和 fresh id。對于 existing 的樣本，用特征和 group 里面的特征做內積，計算與標簽的交叉熵損失函數，后回傳。對于 fresh 的樣本，與 group 里面的樣本進行最小化余弦相似度。

最后，對 group 里面特征更新，采取新類中心替換，依據現有類中心加權的原則。對于 gallery net，采用 moving average 策略把 probe 里面的參數漸漸更新進去。

本論文方法：trick 介紹?

1.）引入的 ID Group，其 size 是個可調參數，一般默認為 3 萬。

2.）為達到穩定訓練，參考 moco 類方法，引入 moving average，相應收斂情況分別為：

實驗結果

1. 雙 Loader 消融實驗

2. SOTA 方法效果對比

3. 顯存與樣本吞吐對比?