解決擴散模型過擬合的創(chuàng)新框架T-LoRA
隨著預(yù)訓練的大型文本到圖像擴散模型的發(fā)展，越來越多的企業(yè)和個人開發(fā)者開始探索如何通過少量樣本對這些模型進行定制化，以生成特定的對象或風格。
但這種定制化過程面臨著一個嚴峻的挑戰(zhàn)：當訓練樣本數(shù)量有限時，模型往往會過度擬合訓練數(shù)據(jù)的背景和位置信息，導致生成的圖像缺乏多樣性和靈活性。
為了解決這一難題，來自 AIRI 和 HSE 大學的研究團隊提出了一種名為 T-LoRA 的新框架，旨在通過單張圖像對擴散模型進行定制化，同時避免過度擬合的問題。
T-LoRA框架的核心在于動態(tài)調(diào)整模型在不同時間步的訓練能力，以及通過一種特殊的方式初始化模型的參數(shù)，從而確保模型在訓練過程中能夠更好地學習和生成新的圖像。
在擴散模型中，生成圖像的過程可以想象成是從一片噪聲中逐步恢復出目標圖像的過程。這個過程被分成多個時間步，每個時間步都對應(yīng)著不同程度的噪聲。在早期時間步高噪聲階段，模型主要負責生成圖像的大致輪廓和形狀；而在后期時間步低噪聲階段，模型則專注于細節(jié)的完善。
T-LoRA的一個關(guān)鍵創(chuàng)新是動態(tài)調(diào)整模型在不同時間步的訓練能力。在高噪聲階段，T-LoRA 會減少模型對訓練數(shù)據(jù)的依賴；而在低噪聲階段后期時間步，則會增加模型對訓練數(shù)據(jù)的依賴。這樣做的目的是在高噪聲階段避免模型過度記憶訓練圖像的背景和位置信息，從而提高生成圖像的多樣性和靈活性；而在低噪聲階段，模型可以更好地學習和復現(xiàn)目標圖像的細節(jié)。
為了實現(xiàn)這一點，T-LoRA 引入了一種掩碼機制，可以根據(jù)當前的時間步動態(tài)調(diào)整模型的參數(shù)更新。在高噪聲階段，模型的參數(shù)更新會受到限制，而在低噪聲階段，模型的參數(shù)更新則會更加自由。這種動態(tài)調(diào)整的方式就像是給模型的訓練過程安裝了一個“調(diào)節(jié)閥”，使其在不同的時間步有不同的學習強度。
除了動態(tài)調(diào)整訓練能力，T-LoRA 還引入了一種特殊的參數(shù)初始化方法，稱為正交初始化。參數(shù)初始化是模型訓練的一個重要環(huán)節(jié)，它決定了模型的參數(shù)在訓練開始時的初始值。如果初始化不當，可能會導致模型訓練緩慢，甚至無法收斂。
在 T-LoRA 中，正交初始化技術(shù)的作用是確保模型在不同時間步的學習過程中，各個參數(shù)之間的信息流是相互獨立的。這樣可以避免參數(shù)之間的冗余和相互干擾，提高模型的學習效率和泛化能力。
正交初始化是通過一種特殊的數(shù)學方法來實現(xiàn)的。這種方法可以將模型的參數(shù)分解成幾個相互獨立的部分，然后對這些部分進行初始化。這樣做的好處是，模型在訓練過程中可以更有效地利用這些參數(shù)，避免因為參數(shù)之間的冗余而導致的訓練問題。
為了驗證 T-LoRA 的有效性，研究人員進行了廣泛的實驗。實驗結(jié)果顯示，T-LoRA 在圖像相似度和文本相似度兩個指標上均表現(xiàn)出色。與傳統(tǒng)的 LoRA 方法相比，T-LoRA 在高秩情況下例如，秩為 64的文本相似度提高了 0.024，而圖像相似度僅下降了 0.001。這表明 T-LoRA 在保持圖像概念準確性的同時，顯著提高了生成圖像與文本提示的一致性。
除了單圖像實驗外，研究人員還評估了 T-LoRA 在多圖像定制化任務(wù)中的表現(xiàn)。實驗結(jié)果表明，T-LoRA 在多圖像情況下同樣優(yōu)于 LoRA 和 OFT 等方法。特別是在使用兩張圖像進行訓練時，T-LoRA 的文本相似度比 LoRA 高出 0.031，而圖像相似度僅下降了 0.001。
為了全面評估 T-LoRA 的性能，研究人員還進行了用戶研究。結(jié)果顯示，用戶更傾向于選擇T-LoRA 生成的圖像，認為這些圖像在保持概念準確性的同時，更好地符合文本提示的要求。具體來說，在概念準確性方面，T-LoRA 的用戶偏好率達到 59.3%；在文本一致性方面，用戶偏好率達到 60.3%；在整體偏好方面，用戶偏好率達到 60.3%。
