此前，ImageNet 因為存在標簽錯誤的問題而成為熱門話題，這個數字說出來你可能會大吃一驚，至少有十萬個標簽是存在問題的。那些基于錯誤標簽做的研究，很可能要推翻重來一遍。

由此看來管理數據集質量還是很重要的。

很多人會使用 ImageNet 數據集作為 benchmark，不過基于 ImageNet 預訓練的模型，最終結果可能會因為數據質量而變化。

本文中，來自 Adansons 公司的工程師 Kenichi Higuchi 對《 Are we done with ImageNet? 》一文中的 ImageNet 數據集進行重新研究，在去除錯誤標簽數據后，重新評估 torchvision 上發布的模型。

從 ImageNet 中刪除錯誤數據并重新評估模型

本文將 ImageNet 中的標簽錯誤分為三類，如下所示。

(1) 標注錯誤的數據  

(2) 對應多個標簽的數據  

(3) 不屬于任何標簽的數據

總結來看，錯誤數據大約有 14000 多個，考慮評估數據的數量為 50000，可以看出錯誤數據占比極高。下圖是一些有代表性的錯誤數據。

方法

在不重新訓練模型的情況下，該研究通過只排除標注錯誤的數據，也就是上述（1）類錯誤數據，以及從評估數據中排除所有錯誤數據，也就是 (1)-(3) 錯誤數據，來重新檢查模型的準確率。

為了刪除錯誤數據，需要使用一個描述標簽錯誤信息的元數據文件。在這個元數據文件中，如果包含 (1)-(3) 類錯誤，信息將在「correction」屬性中描述。

該研究使用一款名為 Adansons Base 的工具，Adansons Base 通過將數據集鏈接到元數據來過濾數據。這里測試了 10 個模型，如下所示。

10 個用于測試的圖像分類模型

結果

結果如下表所示（數值是以 % 為單位的精度，括號中的數字是排名）

10 個分類模型的結果

以 All Eval 數據為基線，排除錯誤數據類型(1)，準確率平均提高 3.122 分；排除所有錯誤數據 (1)～(3) ，準確率平均提高 11.743 分。

和預想的一樣，排除錯誤數據，準確率全面提高，這一點毫無疑問，因為與干凈數據相比，存在錯誤數據很容易出錯。

當在不排除錯誤數據的情況下進行評估，以及錯誤數據(1)~(3) 都被排除時，模型的準確率排名發生了變化。

本文中，錯誤數據 (1) 有 3670 個，占全部 50000 條數據的 7.34%，移除后準確率平均提高了 3.22 點左右。當移除錯誤數據后，數據規模發生了變化，單純的比較準確率可能存在偏差。

結論

盡管并未特別強調，但是在做評估訓練時，使用準確標記的數據很重要。

在比較模型之間的準確率時，以前的研究可能得出錯誤的結論。所以應該先對數據進行評估，但這真的可以用來評估模型的性能嗎？

許多使用深度學習的模型往往不屑于對數據進行反思，而是渴望通過模型的表現性能來提高準確性和其他評估指標，即使是評價數據中包含錯誤數據，也沒進行準確的處理。

當創建自有的數據集時，比如在業務中應用 AI 時，創建高質量的數據集直接關系到提高 AI 的準確率和可靠性。本文的實驗結果表明，僅僅提高數據質量就可以將準確率提高約 10 個百分點，這表明在開發 AI 系統時不僅要改進模型，還要改善數據集。

然而，保證數據集的質量并不容易。雖然增加元數據的數量以正確評估 AI 模型和數據的質量很重要，但管理起來可能很麻煩，尤其是對于非結構化數據。