Framepack AI 是由斯坦福大學的研究人員開發的一種開創性的神經網絡結構，它徹底改變了視頻生成模型處理長篇內容的方式。

該論文核心是解決了長期以來一直困擾視頻生成系統的基本“遺忘漂移困境”。

通過實施一種創新的壓縮技術，根據幀的重要性對幀進行優先級排序，無論視頻時長如何，Framepack AI 都能保持固定的轉換器上下文長度。

這一成就使 AI 系統能夠在不增加計算要求的情況下處理更多的幀，使長視頻生成不僅成為可能，而且實用且高效。

Framepack AI 關鍵創新

• 固定上下文長度 無論輸入視頻長度如何，都能保持恒定的計算瓶頸，從而能夠高效處理較長的視頻
• 漸進式壓縮 對不太重要的幀應用更高的壓縮率，優化內存使用，同時保留關鍵的視覺信息
• 防漂移采樣 新穎的采樣方法，可生成具有雙向上下文的幀，以防止質量隨時間推移而下降
• 高兼容架構 通過微調與現有的預訓練視頻擴散模型配合使用，而無需從頭開始重新訓練

AI視頻生成中的遺忘漂移困境

視頻生成模型一直在努力創建更長的視頻，以便在其整個持續時間內保持一致性和質量。這種限制限制了 AI 生成視頻的實際應用。 當模型嘗試生成較長的視頻時，它們會：

• 忘記前一幀中的細節，導致字符、設置或動作不一致
• 累積錯誤，這些錯誤會隨著時間的推移而復合，導致視覺降級和偽影 FramePack 的創新方法同時解決了這兩個問題，為 AI 生成的內容創建開辟了新的可能性。

Framepack工作原理

漸進式幀壓縮

防漂移采樣方法

FramePack 引入了創新的采樣方法，這些方法以不同的時間順序生成幀，以防止質量下降。

Framepack性能結果

主要結論

• 倒置防漂移采樣方法在 7 個指標中的 5 個指標中取得了最佳結果，明顯優于其他方法。
• 與生成 1 或 4 幀相比，每個部分生成 9 幀會產生更好的感知，更高的人工評估分數證明了這一點。
• 與其他架構相比，FramePack 在所有指標上的漂移誤差都較低。
• 該方法通過微調與 HunyuanVideo 和 Wan 等現有視頻擴散模型兼容。

推理效率

場景應用

本文轉載自??沐白AI筆記??，作者：楊沐白