譯者 | 晶顏

審校 | 重樓

自監督學習（SSL）技術（如AMDIM與SimCLR）可借助未標記數據實現穩健的目標跟蹤，在降低成本、提升可擴展性與準確性方面具有顯著優勢。

視覺跟蹤系統在監視、自主導航等多領域應用中至關重要，但其核心痛點在于高度依賴大規模標記數據集進行訓練。這種依賴導致在標記數據稀缺或獲取成本高昂的實際場景中，系統部署面臨顯著挑戰。本文將系統闡釋自監督學習（SSL）及其利用未標記數據訓練模型的機制。

問題剖析

視覺跟蹤的核心任務是識別并跟蹤視頻中跨幀的目標。傳統的方法依賴于大量的標記數據來學習如何準確地識別和跟蹤目標。這種依賴帶來了以下幾個問題：

• 高成本性：標記數據需耗費大量時間與資源（Wu & Huang, 2000）。
• 可擴展性瓶頸：當環境或目標發生變化時，模型需持續利用新標記數據進行再訓練。
• 有限的適用性：在動態真實環境中，收集完備的標記數據集通常是不切實際的。

以監控系統跟蹤不同場景下的人員為例：每個位置都有不同的光照、角度和障礙物，因此幾乎不可能有一個“放之四海而皆準”的標記數據集。此外，隨著環境的變化（如新增家具、晝夜光照差異），系統性能也會下降，需要更多的標記數據來重新訓練模型。

自監督學習（SSL）技術方案

為了克服這些挑戰，我們將探索自監督學習（SSL）技術。SSL技術通過數據自身生成監督信號，顯著降低對標記數據的依賴。下面是一些前沿SSL策略：

AMDIM

AMDIM（增強多尺度深度信息最大化）在DIM技術基礎上，通過最大化局部與全局互信息優化特征提取。其核心邏輯是對比同一圖像的兩個不同版本，將圖像轉換為分割為局部補丁的特征向量，確保特征在各類變換下的穩健性。

圖1：AMDIM概述圖

工作機制

• 數據增強：應用健壯的數據增強管道，包括隨機縮放裁剪、顏色抖動、灰度轉換、水平翻轉及標準化。
• 特征提取：利用卷積神經網絡（CNN）將圖像轉換為特征向量，并分割為局部補丁。
• 互信息最大化：對比同一圖像的兩個增強版本，以最大化中間特征的局部與全局互信息。

問題解決方案

AMDIM通過穩健的數據增強、特征提取和互信息最大化來解決視覺跟蹤問題。通過應用不同的轉換，AMDIM可以處理光照、角度和障礙物的變化，使模型適應不同的監視位置，而不需要大量的標記數據；基于CNN的特征提取允許模型從圖像中學習復雜的模式和特征，并將它們分割成局部補丁，確保捕獲甚至精細的細節，提高跟蹤精度；通過比較增強版本和最大化互信息，模型學習一致且穩健的特征表示，這有助于在環境變化的情況下保持跟蹤性能。

實驗與結果

實驗中，AMDIM利用未標記的圖像數據集進行訓練。數據增強管道應用了各種轉換，以確保特征提取的多樣性和穩健性。在光照與遮擋動態變化的場景中，AMDIM實現了目標跟蹤一致性精度的顯著提升，驗證了其在真實場景中的適應性。

SimCLR

SimCLR（視覺表征的簡單對比學習框架）通過擴大批處理規模并簡化架構需求，優化自監督學習流程。它對每張圖像應用隨機變換生成兩個相關視圖（正對），驅動模型學習將相似特征聚類、不相似特征分離。SimCLR顯示了令人印象深刻的結果，減少了對標記數據的依賴，同時保持了較高的準確性。它的簡單性和效率使其成為預算限制或基礎設施需求較簡單的項目的可行選擇。

工作機制

• 數據增強：對單張圖像應用隨機變換，生成兩個相關視圖。
• 特征提取：借助ResNet編碼器從增強圖像中提取高維表示向量。
• 投影頭處理：通過投影頭對特征向量進行處理，將其轉化為一個可以有效計算對比損失的空間。
• 對比損失優化：利用對比損失函數，最大化正對相似性并最小化負對相似性。

問題解決方案

SimCLR通過穩健的數據增強、特征提取和使用具有對比度損失的投影頭來解決視覺跟蹤問題。通過應用不同的隨機變換，SimCLR可以處理光照、角度和障礙物的變化，使模型適應不同的監視位置，而不需要大量的標記數據；ResNet編碼器允許模型從圖像中學習復雜的模式和特征，高維表示向量確保即使是細微的細節也能被捕獲，從而提高跟蹤精度；投影頭對特征向量進行了細化，使其適合于對比學習，對比損失函數保證了模型有效區分相似和不相似特征，提高了跟蹤性能。

圖2：少標簽模型的ImageNet精度

實驗與結果

SimCLR在批處理規模為1024的未標記數據集上開展訓練，通過隨機數據增強模塊對單張圖像實施隨機變換，生成兩個相關視圖。這些視圖經編碼器與投影頭處理后，借助對比損失函數優化特征表示。實驗數據表明，相較于基線方法，SimCLR的跟蹤精度提升12%，對標記數據的依賴程度顯著降低（Chen et al., 2020）。

BYOL

BYOL （潛在空間自舉）采用雙網絡動態交互架構：在線網絡負責預測目標網絡在不同失真條件下對同一圖像的特征表示。與其他方法不同，BYOL的核心優勢在于摒棄傳統對比學習對負樣本的依賴，通過消除負例采樣流程簡化學習機制，規避潛在偏差問題，與AMDIM等方法形成技術區分。

圖3：BYOL概述圖

工作機制

• 雙網絡協同：構建在線網絡與目標網絡的動態交互體系。
• 數據增強策略：對單張圖像應用兩組不同隨機增強，生成變體樣本。
• 預測與參數更新：訓練在線網絡預測目標網絡的特征表示，通過在線網絡與目標網絡權值的加權平均實現周期性參數更新。

問題解決方案

BYOL通過穩健的數據增強、雙網絡架構和預測更新機制解決了視覺跟蹤問題。通過應用不同的隨機增強，BYOL可以處理光照、角度和障礙物的變化，使模型適應不同的監視位置，而不需要大量的標記數據；雙網絡設置允許模型在不依賴負樣本的情況下學習穩健特征表示，減少潛在的偏差并簡化學習過程；在線網絡預測目標網絡表示的能力確保了模型學習一致和不變的特征，而定期更新目標網絡的權值有助于保持穩定性并提高跟蹤性能。

圖4：在ImageNet上線性評估的Top-1和Top-5精度（單位：%）

實驗與結果

BYOL在一個未標記的數據集上進行訓練，該數據集使用雙網絡處理同一圖像的不同增強。在線網絡預測目標網絡的表示，且目標網絡的權值通過與在線網絡的權值平均來進行周期性更新。BYOL在ImageNet基準上達到了74.3%的準確率，比其他自監督方法高出1.3%。（Grill et al., 2020）

SwAV

SwAV（在視圖之間交換分配）使用基于聚類的策略來學習健壯的視覺表示。它消除了對直接特征兩兩比較的需要，而是采用了一種增強可擴展性和適應性的在線聚類分配技術。通過聚類特性，SwAV可以處理各種各樣的轉換和規模，使其具有高度的適應性。該方法允許模型從同一圖像的多個視圖中學習，提高了特征表示的一致性和穩健性。

圖5：SwaV概述圖

工作機制

• 聚類驅動學習：利用在線聚類分配優化特征表示。
• 多尺度增強：采用多裁剪策略生成同一圖像不同分辨率的視圖。
• 分配交換預測：基于圖像多視圖預測彼此的表示編碼。

問題解決方案

SwAV通過穩健的數據增強、基于聚類的方法和交換預測機制來解決視覺跟蹤問題。通過應用多作物策略，SwAV可以處理光照、角度和障礙物的變化，使模型適應不同的監視位置，而不需要大量的標記數據；基于聚類的方法允許SwAV動態地細化特征表示，增強其跨不同尺度和視角的泛化能力，從而提高模型在不同條件下跟蹤對象的穩定性；交換預測機制確保模型從同一圖像的不同視圖中學習一致的特征表示，增強模型跨幀準確跟蹤對象的能力，即使它們發生變換。

圖6：在SwaV和其他自監督框架上的多作物改進效果

實驗與結果

SwAV的訓練采用基于聚類的方法，對每張圖像進行多次裁剪。多作物策略產生了不同的視圖，增強了模型在不同尺度和視角上進行概括的能力。在需要跟蹤不同尺度和視角的物體的場景中，SwAV表現出更強的適應性，提高了跟蹤系統的穩健性。（Caron et al., 2020）

CPC

CPC（對比預測編碼）側重于使用概率對比損失來預測未來的觀察結果。它將生成建模問題轉化為分類任務，利用順序數據的結構來改進表示學習。該方法在處理序列關系識別與預測場景中具有顯著優勢，對編碼器選型具備靈活性，適配多領域應用。

圖7：CPC方法概述圖

工作機制

• 序列數據增強：對順序數據實施隨機變換，構建正負樣本對。
• 特征提取網絡：借助CNN從增強數據中提取時序特征。
• 對比損失優化：通過對比損失函數強化正對相似性、抑制負對相似性。

問題解決方案

CPC通過利用穩健的數據增強、特征提取和對比損失優化來解決視覺跟蹤問題。通過對順序數據應用不同的隨機變換，CPC可以處理光照、角度和障礙物的變化，使模型適應不同的監視位置，而不需要大量的標記數據；基于CNN的特征提取允許模型學習序列數據中復雜的模式和關系，增強其預測未來觀察和隨著時間準確跟蹤對象的能力；對比損失函數保證了模型有效區分相似和不相似特征，提高了跟蹤性能。這種機制增強了跟蹤系統的預測能力，使其即使在動態環境中也能保持精度。

實驗與結果

CPC在序列數據集上開展訓練，通過隨機變換生成相似與不相似樣本對，并借助CNN從增強數據中提取特征，利用對比損失函數優化特征表示。在涉及對象時序跟蹤、未來狀態預測等應用場景中，CPC能夠實現高效的特征學習，顯著增強跟蹤系統的預測能力（Oord et al., 2018）。

結語

自監督學習（SSL）技術的集成應用，為視覺跟蹤系統的革新提供了關鍵路徑。基于AMDIM、SimCLR、BYOL、SwAV及CPC等SSL方法構建的系統，具備以下顯著優勢：

• 成本優化：大幅減少對大規模標記數據集的依賴，有效降低數據標注的時間與經濟成本；
• 可擴展性提升：通過自主學習機制適應環境動態變化，規避頻繁再訓練需求；
• 性能強化：在復雜真實場景中維持高精度跟蹤表現，突破傳統方法的應用瓶頸。

像AMDIM、SimCLR、BYOL、SwAV和CPC這樣的自監督學習技術正通過挖掘未標記數據的價值，為視覺跟蹤領域提供了替代傳統方案的創新路徑，推動系統向高穩健性、強適應性方向發展。未來，SSL技術將持續賦能視覺跟蹤系統，使其在動態環境中實現更高效率、更低成本的智能化應用。

參考文獻

1. Wu, Y., & Huang, T. (2000). Self-Supervised Learning for Visual Tracking and Recognition of Human Hand. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 17).
2. Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. In Proceedings of the International Conference on Machine Learning (pp. 1597–1607). PMLR
3. Grill, J. B., Strub, F., Altché, F., Tallec, C., Richemond, P. H., Buchatskaya, E., Doersch, C., Pires, B. A., Guo, Z. D., Azar, M. G., Piot, B., Kavukcuoglu, K., Munos, R., & Valko, M. (2020). Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning. In Advances in Neural Information Processing Systems (Vol. 33, pp. 21271–21284)
4. Caron, M., Misra, I., Mairal, J., Goyal, P., Bojanowski, P., & Joulin, A. (2020). Unsupervised Learning of Visual Features by Contrasting Cluster Assignments. In Advances in Neural Information Processing Systems (Vol. 33, pp. 9912–9924)
5. Oord, A. v. d., Li, Y., & Vinyals, O. (2018). Representation Learning with Contrastive Predictive Coding. arXiv preprint arXiv:1807.03748.

原文標題：Self-Supervised Learning Techniques，作者：Mostofa Shakib