就在昨天，首屆CPAL簡約學(xué)術(shù)會議，正式公布了新星獎獲獎?wù)呙麊危?/span>

CPAL專注于解決機(jī)器學(xué)習(xí)、信號處理、優(yōu)化等領(lǐng)域中普遍存在的簡約、低維結(jié)構(gòu)問題，并探索低維結(jié)構(gòu)在智能硬件與系統(tǒng)、交叉科學(xué)和工程等新興方向的應(yīng)用。

創(chuàng)辦這個會議的出發(fā)點，就是將其設(shè)計為一個普遍的科學(xué)論壇，讓科學(xué)和工程領(lǐng)域的研究人員能夠聚集在一起，分享見解，并最終努力達(dá)成一個一致認(rèn)同的現(xiàn)代計算理論框架，從簡約學(xué)習(xí)的角度理解智能和科學(xué)。

而「新星獎」除了會表彰處于職業(yè)生涯關(guān)鍵轉(zhuǎn)折點和起點的杰出初級研究人員外，還將為博士生、博士后、初級教師和業(yè)界研究人員提供一個平臺和支持性指導(dǎo)網(wǎng)絡(luò)，通過引導(dǎo)學(xué)術(shù)和職業(yè)的發(fā)展，進(jìn)而增加這個領(lǐng)域的代表性和多樣性。

獲獎名單

CPAL新星獎要求申請者必須符合以下之一：博士生畢業(yè)前最后一年，博士后，任職助理教授第一年，或者工業(yè)界研究者博士畢業(yè)兩年內(nèi)。

今年，大會共收到了來自世界各地57份申請，所有候選人都展示了自己在機(jī)器學(xué)習(xí)、應(yīng)用數(shù)學(xué)、信號處理、優(yōu)化、系統(tǒng)，以及更多跨學(xué)科領(lǐng)域的杰出背景和專業(yè)知識，申請競爭極為激烈。

為此，由評審委員會主席陳羽北（現(xiàn)任UC Davis助理教授，此前為紐約大學(xué)Yan LeCun教授的博士后研究員）組織了評審委員會。每一個參與評審的資深研究員，都進(jìn)行了非常認(rèn)真的審查和投票（每個成員最多可投20票）。

具體來說，投票基于以下幾個方面：1）研究的潛在影響；2）與CPAL主題的相關(guān)性；3）多樣性和包容性。如果出現(xiàn)平票的情況，團(tuán)隊會進(jìn)行額外的討論來確定獲獎?wù)摺?/span>

經(jīng)過全面評估，大會最終選取了其中的16位，祝賀所有獲獎?wù)撸?/span>

Lijun Ding，威斯康星大學(xué)/華盛頓大學(xué)，IFDS博士后研究員

題目：Optimization for statistical learning with low dimensional structure: regularity and conditioning

很多統(tǒng)計機(jī)器學(xué)習(xí)問題（旨在恢復(fù)底層低維信號）都以優(yōu)化為基礎(chǔ)。現(xiàn)有的工作往往忽視了解決優(yōu)化問題的計算復(fù)雜性，或者需要針對具體情況進(jìn)行算法和分析，尤其是非凸問題。

本研究從調(diào)節(jié)的統(tǒng)一視角來解決上述兩個問題。其特別指出，一旦樣本量超過固有維度，（1）一大類凸問題和非光滑非凸問題就會得到良好的條件；（2）良好的條件反過來又確保了開箱即用優(yōu)化方法的效率，并激發(fā)了新算法的靈感。

最后，研究提出了一種稱為「平坦性」（flatness）的條件概念，它能在超參數(shù)模型中實現(xiàn)精確恢復(fù)。

Ningyuan Huang，約翰斯·霍普金斯大學(xué)，博士生

題目：Approximately Equivariant Graph Networks

圖神經(jīng)網(wǎng)絡(luò)（GNN）的置換同變性經(jīng)常被拿來與卷積神經(jīng)網(wǎng)絡(luò)（CNN）的平移不變性相比較。然而，這兩種對稱性有著本質(zhì)區(qū)別：CNN的是主動對稱性，而GNN的是被動對稱性。

本研究重點討論了GNN的主動對稱性，考慮到信號在固定圖上的學(xué)習(xí)環(huán)境，GNN的自然對稱性是圖的自同構(gòu)。

由于現(xiàn)實世界的圖往往是不對稱的，研究通過圖粗化來形式化近似對稱，從而放寬了對稱的概念。研究提出了近似等變圖網(wǎng)絡(luò)來實現(xiàn)這些對稱性，并研究了對稱性模型選擇問題。

研究從理論和經(jīng)驗上表明，根據(jù)所選的對稱組，學(xué)習(xí)到的估計值在表現(xiàn)力損失和規(guī)則性增益之間存在偏差-方差權(quán)衡。

Daniel Paul Kunin，斯坦福大學(xué)，博士生

題目：Stochastic Collapse: How Gradient Noise Attracts SGD Dynamics Towards Simpler Subnetworks

本項研究揭示了隨機(jī)梯度下降法（SGD）的一個隱含偏差，它能將表現(xiàn)力過強(qiáng)的網(wǎng)絡(luò)轉(zhuǎn)化為簡單得多的子網(wǎng)絡(luò)，從而顯著減少獨(dú)立參數(shù)的數(shù)量，提高泛化能力。

為了揭示這種偏差，研究確定了不變集，即在SGD下保持不變的參數(shù)空間的子集。并重點研究了其中兩類與現(xiàn)代架構(gòu)中常見的簡單（稀疏或低秩）子網(wǎng)相對應(yīng)的不變集。分析發(fā)現(xiàn)，SGD對這些簡單的不變集具有隨機(jī)吸引力。

研究建立了一個基于損失函數(shù)曲率和隨機(jī)梯度引入的噪聲之間競爭的充分條件來解釋隨機(jī)吸引性。值得注意的是，研究現(xiàn)噪聲水平的增加會增強(qiáng)吸引力，導(dǎo)致出現(xiàn)與訓(xùn)練損失的鞍點或局部最大值相關(guān)的有吸引力的不變集。

研究從經(jīng)驗上觀察到，在預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中存在有吸引力的不變量集，這意味著SGD常常會坍縮為具有消失或冗余神經(jīng)元的簡單子網(wǎng)絡(luò)。研究進(jìn)一步證明了這種隨機(jī)坍縮的簡化過程如何有利于泛化。

最后，通過這一分析，研究從機(jī)理上解釋了為什么使用大學(xué)習(xí)率進(jìn)行早期訓(xùn)練有助于后續(xù)的泛化。

Daniel LeJeune，斯坦福大學(xué)，博士后研究員

題目：Emergent properties of heuristics in machine learning

在現(xiàn)代機(jī)器學(xué)習(xí)實踐中，成功的方法都是建立在設(shè)計者扎實的直覺和理論洞察力之上的，但最終往往都是啟發(fā)式的，并表現(xiàn)出意想不到的涌現(xiàn)行為。有時，這些涌現(xiàn)行為是有害的，但令人驚訝的是，許多涌現(xiàn)行為卻帶來了意想不到的好處。

通過從理論上描述這些涌現(xiàn)行為，我們可以開發(fā)出更強(qiáng)大的方法開發(fā)流程，在這個流程中，越來越多的理想行為可以通過設(shè)計納入其中，并以強(qiáng)大的方式加以利用。

本研究將討論啟發(fā)式方法和新興行為的幾個例子：線性回歸中的子采樣和草圖技術(shù)及其與嶺回歸的等價性；經(jīng)驗風(fēng)險最小化以及在分布變化下的相對性能的普適性；以及在dropout和特征學(xué)習(xí)模型中的適應(yīng)性，這些模型等價于促進(jìn)簡約的稀疏或低秩正則化。

Shuang Li，愛荷華州立大學(xué)，助理教授

題目：The Future Geometric Analysis of Optimization Problems in Signal Processing and Machine Learning

高維數(shù)據(jù)分析和估計經(jīng)常會出現(xiàn)在信號處理和機(jī)器學(xué)習(xí)應(yīng)用之中。這些高維數(shù)據(jù)的低維結(jié)構(gòu)，啟發(fā)我們?yōu)樾盘柼幚砗蜋C(jī)器學(xué)習(xí)中的基本問題，開發(fā)最優(yōu)化方法以及基于優(yōu)化的技術(shù)。

近年來，非凸優(yōu)化廣泛出現(xiàn)在工程領(lǐng)域，并被許多啟發(fā)式局部算法所解決，但缺乏全局保證。最近的幾何/形態(tài)分析為確定迭代算法是否能達(dá)到全局最優(yōu)提供了一種方法。

在一系列機(jī)器學(xué)習(xí)問題中，包括低秩矩陣因式分解、矩陣傳感、矩陣補(bǔ)全和相位檢索等，都對經(jīng)驗風(fēng)險形態(tài)進(jìn)行了廣泛研究。有利的幾何形狀保證很多算法可以避開鞍點并收斂到局部最小值。

本研究將討論未來信號處理和機(jī)器學(xué)習(xí)中優(yōu)化問題幾何分析的潛在方向。

Shiwei Liu，得克薩斯大學(xué)奧斯汀分校，IFML博士后研究員

題目：Sparsity in Neural Networks: Science and Practice

稀疏性通過有選擇地消除大部分模型參數(shù)，在模型壓縮領(lǐng)域表現(xiàn)出了卓越的性能。

為了發(fā)現(xiàn)強(qiáng)大的稀疏神經(jīng)網(wǎng)絡(luò)，通常需要先訓(xùn)練一個過參數(shù)化的密集模型，然后再進(jìn)行剪枝和重新訓(xùn)練。但隨著現(xiàn)代神經(jīng)網(wǎng)絡(luò)規(guī)模的指數(shù)級增長，密集預(yù)訓(xùn)練和更新的成本變得越來越高。

本研究將介紹一種無需任何預(yù)訓(xùn)練或密集更新，即可從頭開始訓(xùn)練稀疏神經(jīng)網(wǎng)絡(luò)的方法。

通過在時間上實現(xiàn)過參數(shù)化的特性，該方法展示了在僅使用極少部分權(quán)重的情況下，實現(xiàn)與完全密集網(wǎng)絡(luò)相當(dāng)?shù)男阅芩降哪芰Α?/span>

除了在模型壓縮方面的優(yōu)勢外，研究還將闡明稀疏性在神經(jīng)網(wǎng)絡(luò)中更廣泛的優(yōu)勢，包括可擴(kuò)展性、魯棒性、公平性，以及構(gòu)建大規(guī)模負(fù)責(zé)任人工智能的巨大潛力。

Yiping Lu，紐約大學(xué)，柯朗講師

題目：Simulation-Calibrated Scientific Machine Learning

機(jī)器學(xué)習(xí)（ML）在各種應(yīng)用中取得了巨大成功，為復(fù)雜的高維數(shù)據(jù)提供了一種建立靈活、通用和高效近似值的新方法。

這些成功激勵了許多研究人員將ML應(yīng)用于其他科學(xué)應(yīng)用領(lǐng)域，如工業(yè)工程、科學(xué)計算和運(yùn)籌學(xué)等經(jīng)常面臨類似挑戰(zhàn)的領(lǐng)域。

然而，大規(guī)模機(jī)器學(xué)習(xí)（尤其是深度學(xué)習(xí)）的數(shù)學(xué)理論仍然匱乏，經(jīng)過訓(xùn)練的ML預(yù)測器總是存在偏差，這些長期存在的問題為ML的輝煌成就蒙上了陰影。

在這項研究中中，作者將介紹一個新穎的SCaSML框架，它可以利用物理模型的結(jié)構(gòu)來實現(xiàn)以下目標(biāo)：

1）即使基于有偏差的機(jī)器學(xué)習(xí)預(yù)測器，也能做出無偏的預(yù)測；

2）通過使用估計器克服維度災(zāi)難（the curse of dimensionality）。

SCASML范式將可能有偏差的機(jī)器學(xué)習(xí)算法，與使用嚴(yán)格數(shù)值分析和隨機(jī)模擬的去偏差步驟設(shè)計相結(jié)合。

從理論上講，作者將嘗試了解SCaSML算法是否最優(yōu)，以及哪些因素（如平滑度、維度和約束性）決定了收斂速度的提升。

從實證角度，作者將介紹不同的估計器，這些估計器能用有偏差的機(jī)器學(xué)習(xí)估計器對物理量進(jìn)行無偏且可信的估計。

其應(yīng)用包括但不限于估計函數(shù)矩、模擬高維隨機(jī)過程、使用自助方法（bootstrap methods）進(jìn)行不確定性量化以及隨機(jī)線性代數(shù)。

Omar Montasser，加州大學(xué)伯克利分校，F(xiàn)ODSI-Simons博士后研究員

題目：Theoretical Foundations of Adversarially Robust Learning

盡管取得了非凡的進(jìn)步，但目前的機(jī)器學(xué)習(xí)系統(tǒng)在對抗性示例方面仍較弱：測試示例中看似無害，但經(jīng)過精心設(shè)計的擾動會導(dǎo)致機(jī)器學(xué)習(xí)預(yù)測器分類錯誤。

我們能否學(xué)習(xí)對抗攻擊魯棒性的模型？對于機(jī)器學(xué)習(xí)中的這一重大挑戰(zhàn)，實證研究界一直很感興趣。

在研究中，作者將從理論角度進(jìn)行闡述，說明超越傳統(tǒng)方法和原則（如經(jīng)驗（魯棒性）風(fēng)險最小化）的必要性，并提出具有更強(qiáng)魯棒性學(xué)習(xí)保證的新算法思想。

Ramchandran Muthukumar，約翰斯·霍普金斯大學(xué)，博士生

題目：Sparsity-aware generalization theory for deep neural networks

深度人工神經(jīng)網(wǎng)絡(luò)具有令人驚奇的泛化能力，但人們對這種能力的了解仍然很少。

在本文中，作者提出了一種分析深度前饋ReLU網(wǎng)絡(luò)泛化的新方法，該方法利用了隱層激活的稀疏程度。

通過開發(fā)一個框架，考慮到每個輸入樣本的有效模型大小的減少，研究人員能夠展示稀疏性和泛化之間的基本權(quán)衡。

重要的是，研究結(jié)果沒有對模型實現(xiàn)的稀疏程度做出強(qiáng)烈的假設(shè)，而且比最近基于規(guī)范的方法有所改進(jìn)。

研究通過有力的數(shù)字證明了結(jié)果，在特定環(huán)境下與依賴數(shù)據(jù)的先驗相結(jié)合時，即使是在過度參數(shù)化的模型中，也不會出現(xiàn)非空界（non-vacuous bounds）。

Ambar Pal，約翰斯·霍普金斯大學(xué)，博士生

題目：The Role of Parsimonious Structures in Data for Trustworthy Machine Learning

這項研究概述了對抗魯棒機(jī)器學(xué)習(xí)幾何基礎(chǔ)的最新理論成果。

現(xiàn)代ML分類器在受到特別設(shè)計的輸入擾動（對抗示例）時，可能會嚴(yán)重失效。另一方面，在一些涉及視覺的任務(wù)中，我們?nèi)祟愻敯粜愿鼜?qiáng)。

受這種現(xiàn)象的啟發(fā)，在本研究的第一部分，作者將深入探討何時才能避免對抗樣本的問題。

我們將看到，數(shù)據(jù)分布的一個關(guān)鍵幾何特性——集中在輸入空間的小體積子集上——決定了是否存在任何魯棒分類器。特別是，這表明自然圖像分布是集中的。

在本研究的第二部分，作者將針對一些集中的數(shù)據(jù)分布實證這些結(jié)果，并發(fā)現(xiàn)利用數(shù)據(jù)中的這種結(jié)構(gòu)，可以訓(xùn)練出在某些情況下?lián)碛懈玫目勺C明魯棒性保證的分類器

本研究內(nèi)容也基于NeurIPS 2023, 2020和TMLR 2023的工作成果。

Rahul Parhi，洛桑聯(lián)邦理工學(xué)院，博士后研究員

題目：On the Sparsity-Promoting Effect of Weight Decay in Deep Learning

深度學(xué)習(xí)在實踐中取得了巨大成功，最先進(jìn)的人工智能系統(tǒng)大多基于神經(jīng)網(wǎng)絡(luò)。然而，目前還缺乏一種嚴(yán)格的數(shù)學(xué)理論來充分解釋深度神經(jīng)網(wǎng)絡(luò)的驚人性能。

在本講座中，作者將介紹一個新的數(shù)學(xué)框架，為深入理解深度學(xué)習(xí)提供一個開端。

這個框架通過稀疏性的視角，精確地描述了訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)的功能特性。支持這一框架的關(guān)鍵數(shù)學(xué)工具包括變換域稀疏正則化、計算機(jī)斷層掃描的Radon變換和逼近論（approximation theory）。

該框架解釋了神經(jīng)網(wǎng)絡(luò)訓(xùn)練中權(quán)重衰減正則化的效果、網(wǎng)絡(luò)架構(gòu)中跳轉(zhuǎn)連接和低秩權(quán)重矩陣的重要性、稀疏性在神經(jīng)網(wǎng)絡(luò)中的作用，并解釋了神經(jīng)網(wǎng)絡(luò)為何能在高維問題中表現(xiàn)出色。

Bahareh Tolooshams，加州理工學(xué)院，博士后研究員

題目：Deep Interpretable Generative Learning for Science and Engineering

判別式人工智能和生成式人工智能是兩種深度學(xué)習(xí)范式，它們徹底改變了根據(jù)文本提示預(yù)測和生成高質(zhì)量圖像的方法。

然而，判別式學(xué)習(xí)無法生成數(shù)據(jù)，而生成模型則在解碼能力方面能力較弱。此外，這兩種方法都需要大量數(shù)據(jù)，而且可解釋性較低。

這些缺點嚴(yán)重阻礙了深度學(xué)習(xí)在以下方面的應(yīng)用：a) 獲取監(jiān)督數(shù)據(jù)成本高昂或不可行；b) 目標(biāo)超出數(shù)據(jù)擬合范圍，無法獲得科學(xué)見解。

此外，深度學(xué)習(xí)在逆問題等具有豐富數(shù)學(xué)和優(yōu)化框架的領(lǐng)域，或在可解釋性很重要的領(lǐng)域的應(yīng)用還相當(dāng)少。

這項研究將討論深度學(xué)習(xí)在數(shù)據(jù)有限或無監(jiān)督逆問題中的理論和應(yīng)用。這些應(yīng)用包括雷達(dá)傳感、圖像中「泊松去噪」和計算神經(jīng)科學(xué)。

Hongyi Wang，卡內(nèi)基梅隆大學(xué)，高級項目科學(xué)家

題目：Speeding up Large-Scale Machine Learning Model Development Using Low-Rank Models and Gradients

大規(guī)模機(jī)器學(xué)習(xí)（ML）模型，如GPT-4和Llama2，是人工智能領(lǐng)域最前沿的進(jìn)展。

然而，開發(fā)這些大規(guī)模ML模型需要大量的計算資源，以及對分布式ML和系統(tǒng)的深刻理解。

在這項研究中，作者將介紹三個框架，即ATOMO、Pufferfish和Cuttlefish，它們使用模型梯度和模型權(quán)重的低階近似來大大加快ML模型的訓(xùn)練。

- ATOMO 是一種通用壓縮框架，實驗證明，與稀疏梯度相比，使用低秩梯度可以大大加快分布式訓(xùn)練的速度。

- Pufferfish通過直接訓(xùn)練低秩模型，進(jìn)一步繞過了壓縮成本。不過，直接訓(xùn)練低秩模型通常會導(dǎo)致準(zhǔn)確率下降。Pufferfish通過訓(xùn)練全秩模型，然后轉(zhuǎn)換為低秩模型來緩解這一問題。不過，Pufferfish需要額外的超參數(shù)調(diào)整，例如確定從全秩模型到低秩模型的最佳轉(zhuǎn)換時間。

- Cuttlefish通過在訓(xùn)練過程中自動估計和調(diào)整這些超參數(shù)來解決這個問題。

研究中詳細(xì)介紹了大規(guī)模ML模型（包括LLM）分布式訓(xùn)練的大量實驗結(jié)果，以展示這些框架的效果。

Peng Wang，密歇根大學(xué)，博士后研究員

題目：Understanding Hierarchical Representations in Deep Networks via Intermediate Features

在過去十年中，深度學(xué)習(xí)已被證明是一種從原始數(shù)據(jù)中學(xué)習(xí)有意義特征的高效方法。這項研究試圖揭開深度網(wǎng)絡(luò)中分層特征學(xué)習(xí)的神秘面紗。

具體來說，在多類分類問題中，作者研究了深度網(wǎng)絡(luò)每層特征輸出，來探索網(wǎng)絡(luò)如何變換輸入數(shù)據(jù)。

為此，研究人員首先分別定義了中間特征的「類內(nèi)壓縮」和「類間區(qū)分指標(biāo)」。

通過對這兩個指標(biāo)的分析，他們發(fā)現(xiàn)，從淺層到深層，特征的演變遵循一個簡單而量化的規(guī)律：線性網(wǎng)絡(luò)的每一層都以線性速率逐步壓縮「類內(nèi)特征」，以亞線性速率提升「類間區(qū)分特征」。

據(jù)研究人員所知，這是首次對深度網(wǎng)絡(luò)分層表示中的特征演化進(jìn)行量化描述。此外，大量實驗從數(shù)值上驗證了這一理論發(fā)現(xiàn)。

Yaodong Yu，加州大學(xué)伯克利分校，博士生

題目：White-Box Transformers via Sparse Rate Reduction

這項研究中，作者將介紹白盒Transformer--CRATE（即編碼RAte reduction Transformer）。

研究人員認(rèn)為，表征學(xué)習(xí)的目標(biāo)是壓縮和轉(zhuǎn)換數(shù)據(jù)分布（例如標(biāo)記集），使其混合在不相干子空間上支持的低維高斯分布。

最終表示的質(zhì)量可以用一個統(tǒng)一的目標(biāo)函數(shù)——稀疏率降低來衡量。從這個角度來看，Transformer等流行的深度網(wǎng)絡(luò)可以自然地被視為漸進(jìn)優(yōu)化這個目標(biāo)的迭代方案。

特別是，研究人員展示了標(biāo)準(zhǔn)Transformer模塊可以通過對這一目標(biāo)的互補(bǔ)部分進(jìn)行交替優(yōu)化而推導(dǎo)：多頭自注意力算子可被視為梯度下降步驟，通過最小化有損編碼率來壓縮標(biāo)記集。

由此，這就產(chǎn)生了一系列在數(shù)學(xué)上可以解釋的白盒Transformer架構(gòu)。

最后實驗表明，這些網(wǎng)絡(luò)確實能學(xué)會優(yōu)化設(shè)計目標(biāo)：它們能壓縮和稀疏化大規(guī)模真實世界視覺數(shù)據(jù)集（如 ImageNet）的表示，其性能非常接近精心設(shè)計的Transformer（ViTs）。

另外，作者還介紹了CRATE在涌現(xiàn)行為、語言建模和自動編碼方面的一些最新理論和實證結(jié)果。

Ravid Shwartz Ziv，紐約大學(xué)，CDS特任研究員

題目：Decoding the Information Bottleneck in Self-Supervised Learning: Pathway to Optimal Representation

深度神經(jīng)網(wǎng)絡(luò)（DNN）在許多領(lǐng)域都表現(xiàn)出色，這主要?dú)w功于它們對監(jiān)督學(xué)習(xí)任務(wù)的熟練掌握。

然而，當(dāng)標(biāo)注數(shù)據(jù)稀缺時，對大量標(biāo)注數(shù)據(jù)的依賴就會成為制約因素。

自監(jiān)督學(xué)習(xí)（SSL）是一種很有前途的方法，它利用無標(biāo)記數(shù)據(jù)來學(xué)習(xí)有意義的表征。然而，自監(jiān)督學(xué)習(xí)如何在沒有明確標(biāo)注的情況下，它對如何過濾不相關(guān)的信息仍不清楚。

在本研究中，作者以信息瓶頸原理為重點，從信息論的角度來揭開SSL奧秘。

信息瓶頸原理可以解釋監(jiān)督學(xué)習(xí)中壓縮相關(guān)特征和保留信息的平衡，但在應(yīng)用于SSL時，卻因訓(xùn)練過程中缺乏標(biāo)簽而帶來了難題。

研究人員將深入探討SSL中「最優(yōu)表示」的概念、它與數(shù)據(jù)增強(qiáng)、優(yōu)化方法和下游任務(wù)的關(guān)系，以及SSL訓(xùn)練如何學(xué)習(xí)和實現(xiàn)最優(yōu)表示。

研究中的討論揭示了開創(chuàng)性發(fā)現(xiàn)，展示了SSL訓(xùn)練如何自然而然地創(chuàng)建與語義標(biāo)簽相關(guān)的最優(yōu)、緊湊表征。

值得注意的是，SSL似乎能協(xié)調(diào)學(xué)習(xí)到的表征與語義類別在多個層次上的對齊，這種對齊在訓(xùn)練過程中不斷加強(qiáng)，并在網(wǎng)絡(luò)深層上變得更加明確。

最后，研究人員基于這些見解設(shè)計更強(qiáng)大的自監(jiān)督學(xué)習(xí)信息算法，可提升遷移學(xué)習(xí)效果，建立更高效的學(xué)習(xí)系統(tǒng)，尤其是在數(shù)據(jù)稀缺的環(huán)境中。