EasyCache：無需訓練的視頻擴散模型推理加速——極簡高效的視頻生成提速方案

2025-07-14 08:51:00

本論文提出的 EasyCache，是一種無需訓練、無需模型結構改動、無需離線統計的推理加速新框架。它的核心思想非常直接：在推理過程中，動態檢測模型輸出的「穩定期」，復用歷史計算結果以減少冗余推理步驟。

論文作者團隊簡介：本文第一作者周鑫，共同第一作者梁定康，均為華中科技大學博士生，導師為白翔教授。合作者包括華中科技大學陳楷錦、馮天瑞、林鴻凱，曠視科技陳習武、丁宜康、譚飛楊和香港大學趙恒爽助理教授。

在HunyuanVideo上，EasyCache在復雜場景下保持與原視頻的一致外觀，同時顯著加速

1. 研究背景與動機

近年來，隨著擴散模型（Diffusion Models）和擴散 Transformer（DiT）在視頻生成領域的廣泛應用，AI 合成視頻的質量和連貫性有了飛躍式提升。像 OpenAI Sora、HunyuanVideo、Wan2.1 等大模型，已經能夠生成結構清晰、細節豐富且高度連貫的長視頻內容，為數字內容創作、虛擬世界和多媒體娛樂帶來了巨大變革。

但與此同時，推理慢、算力消耗高的問題也日益突出。以 HunyuanVideo 為例，生成一個 5 秒、720P 分辨率的視頻，單次推理在單張 H20 上需要 2 小時。這種高昂的資源代價，極大限制了擴散視頻生成技術在實時互動、移動端和大規模生產場景的應用落地。

造成這一瓶頸的核心原因，是擴散模型在生成過程中需要多次迭代去噪，每一步都要進行完整的神經網絡前向推理，導致大量冗余計算。如何在不影響視頻質量的前提下，大幅提升推理效率，成為亟需突破的難點。

論文標題：Less is Enough: Training-Free Video Diffusion Acceleration via Runtime-Adaptive Caching
論文地址：https://arxiv.org/abs/2507.02860
代碼地址（已開源）： https://github.com/H-EmbodVis/EasyCache
項目主頁：https://h-embodvis.github.io/EasyCache/

2. 方法創新：EasyCache 的設計與原理

2.1 擴散過程的「變換速率」規律

擴散模型的生成過程可以理解為「逐步去噪」：每一步都從當前潛變量出發，預測噪聲并更新狀態，逐漸還原出清晰的視頻內容。將一個 step 內的全部 DiT blocks 看做一個函數，可以考慮某個 step 的「方向導數」的一階近似：

為了便于分析，將其求均值和范數以簡化為數值（變換速率，Transformation rate）：

通過對擴散 Transformer 的內部特征分析，發現：

在去噪初期，模型輸出變化劇烈，可能需要完整推理以捕捉全局結構；
但在中后期，模型的「變換速率」趨于穩定，行為近似線性，細節微調為主。

這種「穩定性」意味著，許多步驟的輸出可以用之前某一步的結果做近似，大量冗余計算可以被跳過。

2.2 EasyCache 的自適應緩存機制

EasyCache 的具體實現流程如下：

（1）變換速率度量

定義每一步的「變換速率」

，用于衡量當前輸出對輸入的敏感度。我們驚訝地發現，盡管整個模型的輸入輸出在時間步層面變化劇烈且呈現不同的變化模式，Kt在去噪后期卻能保持相對穩定。

（2）自適應判據與緩存復用

設定累計誤差閾值，動態累計每步的輸出變化率（誤差指標Et）。具體而言，假定Kt在局部為常數，可以通過下一個 step 的輸入變化與Kt一起協同判斷輸出的變化率（局部穩定性判斷），將預估的輸出變化率累加可以作為累計誤差估計。
只要Et低于τ，就直接復用上一次完整推理的變換向量，否則重新計算并刷新緩存。
前 R 步為 warm-up，全部完整推理，確保初期結構信息不丟失。

（3）無需訓練與模型改動

EasyCache 完全在推理階段生效，不需要模型重訓練，也不需修改原有網絡結構，可以做到「即插即用」。

3. 實驗結果與可視化分析

論文在 OpenSora、Wan2.1、HunyuanVideo 等多個主流視頻生成模型上進行了系統實驗，考察了推理速度與生成質量的平衡。

3.1 定量實驗結果

EasyCache 在 HunyuanVideo 上實現 2.2 倍加速，PSNR 提升 36%，SSIM 提升 14%，LPIPS 大幅下降，視頻質量幾乎無損。在 Wan2.1 上也取得了超過 2 倍的加速比。
在圖像生成任務（如 FLUX.1-dev）同樣可帶來 4.6 倍加速，并提升 FID 等指標。