無障礙出行更安全！字節(jié)跳動研究成果獲CVPR2022 AVA競賽冠軍
近日，CVPR2022各項競賽結(jié)果陸續(xù)公布， 字節(jié)跳動智能創(chuàng)作AI平臺「Byte-IC-AutoML」團隊在基于合成數(shù)據(jù)的實例分割挑戰(zhàn)賽（ Accessibility Vision and Autonomy Challenge ，下文簡稱AVA) 中，憑借自研的 Parallel Pre-trained Transformers (PPT) 框架脫穎而出，成為該比賽唯一賽道的冠軍。
論文地址：??https://arxiv.org/abs/2206.10845??
本屆AVA競賽由波士頓大學(Boston University)和卡耐基梅隆大學(Carnegie Mellon University)聯(lián)合舉辦。
競賽通過渲染引擎得到一個合成的實例分割數(shù)據(jù)集，其中包含與殘疾行人交互的自治系統(tǒng)的數(shù)據(jù)樣例。競賽目標是為無障礙相關(guān)人與物提供目標檢測和實例分割的基準和方法。
數(shù)據(jù)集可視化
競賽難點分析
- 領(lǐng)域泛化問題：本次比賽數(shù)據(jù)集均為渲染引擎合成的圖像, 數(shù)據(jù) domain 和自然圖像存在顯著差異；
- 長尾/少樣本問題：數(shù)據(jù)存在長尾分布, 如 "拐杖" 和 "輪椅" 類別在數(shù)據(jù)集中更少, 分割效果也更差；
- 分割魯棒性問題：些類別的分割效果非常差, 實例分割 mAP 比目標檢測分割 mAP 低 30
技術(shù)方案詳解
Byte-IC-AutoML團隊提出了一個Parallel Pre-trained Transformers (PPT)框架來完成?？蚣苤饕扇齻€模塊組成：1）并行的大規(guī)模預(yù)訓練的Transformers；2）Balance Copy-Paste 數(shù)據(jù)增強；3）像素級別的非極大值抑制和模型融合；
并行大規(guī)模預(yù)訓練Transformers
最近很多的預(yù)訓練文章表明，大規(guī)模數(shù)據(jù)集預(yù)訓練的模型可以很好地泛化到不同的下游場景中。因此，團隊使用 COCO 和BigDetection 數(shù)據(jù)集先對模型進行預(yù)訓練，這可以較大程度地緩解自然數(shù)據(jù)和合成數(shù)據(jù)之間的領(lǐng)域偏差，以便可以在下游的合成數(shù)據(jù)場景中用較少的樣本快速訓練。在模型層面, 考慮到 Vision Transformers 沒有 CNN 的歸納偏置, 更能享受預(yù)訓練帶來的好處，團隊使用 UniFormer 和CBNetV2。UniFormer 統(tǒng)一了 convolution 和 self-attention，同時解決 local redundancy 和 global dependency 兩大問題，實現(xiàn)高效的特征學習。CBNetV2 架構(gòu)串接多個相同的主干分組，這些主干通過復(fù)合連接來構(gòu)建高性能檢測器。模型的主干特征提取器都是 Swin Transformer。多個大規(guī)模預(yù)訓練的 Transformers 通過并行的方式排列，輸出的結(jié)果進行集成學習輸出最終的結(jié)果。
不同方法在驗證數(shù)據(jù)集上的mAP
Balance Copy-Paste 數(shù)據(jù)增強
Copy-Paste技術(shù)通過隨機粘貼對象為實例分割模型提供了令人印象深刻的結(jié)果，尤其是對于長尾分布下的數(shù)據(jù)集。然而，這種方法均衡地增加了所有類別的樣本，并沒能從根本上緩解類別分布的長尾問題。因此，團隊提出了Balance Copy-Paste 數(shù)據(jù)增強方法。Balance Copy-Paste 根據(jù)類別的有效數(shù)量自適應(yīng)地對類別進行采樣，提高了整體的樣本質(zhì)量，緩解了樣本數(shù)少和長尾分布的問題, 最終大幅提升了模型在實例分割上的 mAP。
Balance Copy-Paste數(shù)據(jù)增強技術(shù)帶來的提升
像素級別的非極大值抑制和模型融合
驗證集上的模型融合消融實驗
測試集上的模型融合消融實驗
目前，城市和交通數(shù)據(jù)集更多的是通用場景, 只包含正常的交通工具和行人，數(shù)據(jù)集中缺乏關(guān)于殘疾人及行動不便的人, 以及其輔助設(shè)備的類別，利用當前已有數(shù)據(jù)集得到的檢測模型無法檢測出這些人與物體。
字節(jié)跳動Byte-IC-AutoML團隊的這項技術(shù)方案，對目前自動駕駛和街道場景理解有廣泛應(yīng)用：經(jīng)過這些合成數(shù)據(jù)得到的模型可以識別出“輪椅”，“在輪椅上的人”，“拄拐杖的人”等少見的類別，不但能更加精細地對人群/物體進行劃分, 而且不會錯判誤判導(dǎo)致場景理解錯誤。此外, 通過這種合成數(shù)據(jù)的方式, 可以構(gòu)造出真實世界中比較少見類別的數(shù)據(jù), 從而訓練更加通用, 更加完善的目標檢測模型。
智能創(chuàng)作是字節(jié)跳動的多媒體創(chuàng)新科技研究所和綜合型服務(wù)商。覆蓋了計算機視覺、圖形學、語音、拍攝編輯、特效、客戶端、AI平臺、服務(wù)端工程等技術(shù)領(lǐng)域，在部門內(nèi)部實現(xiàn)了前沿算法-工程系統(tǒng)-產(chǎn)品全鏈路的閉環(huán)，旨在以多種形式向公司內(nèi)部各業(yè)務(wù)線以及外部合作客戶提供業(yè)界最前沿的內(nèi)容理解、內(nèi)容創(chuàng)作、互動體驗與消費的能力和行業(yè)解決方案。團隊技術(shù)能力正通過火山引擎對外開放。
火山引擎是字節(jié)跳動旗下的云服務(wù)平臺，將字節(jié)跳動快速發(fā)展過程中積累的增長方法、技術(shù)能力和工具開放給外部企業(yè)，提供云基礎(chǔ)、視頻與內(nèi)容分發(fā)、大數(shù)據(jù)、人工智能、開發(fā)與運維等服務(wù)，幫助企業(yè)在數(shù)字化升級中實現(xiàn)持續(xù)增長。
