南洋理工大學與Netflix Eyeline Studios夢幻聯動：8K圖像、4K視頻電影級高清生成來場“免費革命”！
南洋理工大學S-Lab與Netflix Eyeline Studios研究者合作，提出全新推理范式CineScale，以解決視覺擴散模型生成高分辨率圖像和視頻的核心難題。受訓練數據和計算資源限制，多數開源擴散模型在低分辨率訓練，生成高分辨率內容時問題頻出。CineScale通過無需或極少量微調的推理技巧，釋放預訓練模型潛力，實現無需微調生成8K圖像、極少量LoRA微調生成4K視頻，還將高分辨率生成能力從文生圖、文生視頻擴展到更具挑戰的圖生視頻和視頻生視頻任務，拓寬了應用場景。
結果展示
文本轉視頻 (960 × 1664)
雖然所有變體都會產生粗略的結果，CineScale效果最佳。
文本到視頻比較（960 × 1664）
雖然其他基線在略高的分辨率下也能產生不錯的效果，但仍然存在不同程度的模糊問題。相比之下，CineScale 可以生成具有豐富視覺細節的高質量視頻。
文本到視頻比較（1920 × 3328）
與其他基線進行圖像定性比較。在比訓練時使用的分辨率高出數倍的分辨率下，LTX 和 Wan-DI 往往會完全失敗。雖然視頻超分辨率方法 UAV 仍然可以產生視覺上合理的結果，但它無法恢復低分辨率輸入中模糊或缺失的精細細節。相比之下，CineScale 始終能夠生成具有豐富而忠實的視覺細節的高質量視頻。
圖像到視頻燒蝕（960 × 1664）
雖然所有變體都會產生粗略的結果，CineScale方法效果最佳。
圖像到視頻生成（2176 × 3840）
通過最少的 LoRA 微調，CineScale 可以實現 4k 圖像到視頻的生成。
ReCamMaster 視頻到視頻燒蝕 (960 × 1664)
如果沒有 NTK-RoPE，由于位置編碼錯誤，很容易出現重復模式。雖然所有變體都會產生粗糙的結果，但我們的完整方法表現最佳。
局部語義編輯（2176 × 3840）
CineScale 支持高效編輯，允許用戶以低分辨率預覽結果，同時通過提示修改高分辨率局部語義。
相關鏈接
- 論文：https://arxiv.org/abs/2508.15774
- 項目：https://eyeline-labs.github.io/CineScale
- 代碼：https://github.com/Eyeline-Labs/CineScale
論文介紹
- 標題： CineScale：高分辨率電影視覺生成中的免費午餐
- 作者： Haonan Qiu, Ning Yu, Ziqi Huang, Paul Debevec, Ziwei Liu
- 機構： 南洋理工大學、Netflix Eyeline Studios
視覺擴散模型取得了顯著進展，然而由于缺乏高分辨率數據和計算資源受限，這些模型通常在有限的分辨率下進行訓練，從而限制了它們生成高分辨率高保真圖像或視頻的能力。近期研究探索了無需調整的策略，以展示預訓練模型尚未開發的高分辨率視覺生成潛力。然而，這些方法仍然容易生成具有重復模式的低質量視覺內容。關鍵障礙在于，當模型生成的視覺內容超過其訓練分辨率時，高頻信息不可避免地會增加，從而導致由累積誤差衍生出不良的重復模式。在這項工作中，我們提出了CineScale，一種新穎的推理范式，可實現高分辨率視覺生成。為了解決兩種視頻生成架構引入的各種問題，我們針對每種架構提出了專門的變體。與現有僅限于高分辨率 T2I 和 T2V 生成的基線方法不同，CineScale 擴展了生成范圍，支持高分辨率 I2V 和 V2V 合成，并構建于最先進的開源視頻生成框架之上。大量實驗驗證了我們范式在擴展圖像和視頻模型的高分辨率視覺生成能力方面的卓越性。值得注意的是，我們的方法無需任何微調即可生成8k圖像，僅需少量 LoRA 微調即可生成4k視頻。
方法概述
CineScale 的整體框架。 （a）定制自級聯上采樣。CineScale 首先從訓練分辨率對生成的圖像或視頻進行上采樣，然后逐漸向高分辨率潛在層添加噪聲，最后對其進行去噪以實現細節重建。在去噪過程中，部分干凈的潛在層被重新引入，以穩定生成并控制細節。（b）尺度融合。對于 UNet 結構，我們修改了自注意力層，使其結合全局注意力和局部注意力，通過高斯模糊將高頻細節和低頻語義融合到最終輸出。我們還使用約束擴張卷積使模型的卷積層適應高分辨率，以減少重復。（c）DiT 擴展。為了支持 DiT 模型，我們額外添加了 NTK-RoPE 和注意力縮放。在無需調優的設置基礎上，額外引入了最小 LoRA 微調，以幫助模型更好地適應修改后的 RoPE，從而提升性能。
實驗結果
與其他基線方法的圖像定性比較。論文的方法分別生成了 20482 和 40962 張生動圖像，且具有更好的內容連貫性和局部細節。
放大 8k 圖像的細節。FreeScale 可以根據模型學習到的先驗知識，在低分辨率下重新生成原始模糊區域。如下一行所示，兩張原本混亂模糊的臉在 8k 分辨率下清晰可見。
結論
論文介紹的 FreeScale 是一種旨在增強預訓練擴散模型高分辨率生成能力的新型推理范式。通過利用多尺度融合和選擇性頻率提取，FreeScale 有效地解決了高分辨率生成中常見的問題，例如重復模式和質量下降。然后將 FreeScale 擴展為 CineScale，以支持基于 DiT 的視頻擴散模型，并將任務范圍從 T2V 擴展到 I2V 和 V2V。實驗結果證明了 CineScale 在圖像和視頻生成方面的優勢，其視覺質量超越了現有方法。額外的局部控制功能為用戶提供了更大的靈活性。該方法僅需極少的 LoRA 微調即可實現 4k 視頻生成。雖然 CineScale 展現出強大的能力，但生成超高分辨率內容仍然需要相當大的計算成本。未來的工作將專注于通過架構優化、去噪加速和模型壓縮技術來提高推理效率，從而使高分辨率生成更加實用且易于實現。
本文轉載自???AIGC Studio???，作者：AIGC Studio
