家人們，消除“視頻閃爍”（比如畫面突然一白）有新招了！

回想一下，當(dāng)你看一部老電影或者用手機(jī)拍攝的視頻時，畫面偶爾會出現(xiàn)閃爍或顏色不一致等現(xiàn)象。

為了消除這些，來自美圖影像研究院、中國科學(xué)院大學(xué)，以及四川大學(xué)的研究人員提出了一種新算法。

新算法“BlazeBVD”可以自動消除視頻中的閃爍，而且處理速度非常快，據(jù)稱比現(xiàn)有方法快10倍。

更妙的是！這種方法甚至無需事先知道視頻閃爍的具體類型或程度。

換句話說，它是“盲”的，可以應(yīng)用于各種不同的視頻。

這下，即使拍攝環(huán)境光線變化，或者相機(jī)硬件跟不上也無需頭疼了。[doge]

目前相關(guān)論文已被計算機(jī)視覺頂會ECCV 2024接收。

感興趣的話，咱們接著康康~

BlazeBVD如何消除視頻閃爍？

首先，受經(jīng)典的STE（閃爍去除方法尺度時間均衡）啟發(fā)，BlazeBVD引入了直方圖輔助解決方案。

圖像直方圖被定義為像素值的分布，它被廣泛應(yīng)用于圖像處理，以調(diào)整圖像的亮度或?qū)Ρ榷取?/p>

打個比方，圖像直方圖就像是一個統(tǒng)計表，它告訴我們在一張照片中，不同亮度的像素有多少。

△ 圖片由Claude 3.5 Sonnet生成

而STE通過分析視頻中每一幀的直方圖，然后用一種叫做高斯濾波的方法來平滑這些直方圖，先初步矯正直方圖分布突變的圖像幀，能夠讓畫面看起來更加穩(wěn)定，減少閃爍。

雖然STE只對一些輕微的閃爍有效，但它驗證了：

• 直方圖比原始的像素數(shù)據(jù)更簡潔，能夠更有效地捕捉到視頻中的亮度變化和閃爍。
• 通過平滑直方圖，可以減少視頻中的閃爍現(xiàn)象，讓視頻看起來更穩(wěn)定。

因此，利用STE和直方圖的提示來提高盲視頻去閃爍的質(zhì)量和速度是可行的。

具體而言，BlazeBVD包括三個階段。

BlazeBVD三階段詳解

就像醫(yī)生治病一樣，BlazeBVD會首先檢查視頻的每一幀。

它引入了STE對視頻幀在光照空間下的直方圖序列進(jìn)行校正。

然后從處理過的幀中提取出重要信息，比如哪些幀閃爍最明顯（奇異幀集）、哪些地方光線需要調(diào)整（濾波后的光照圖），以及哪些地方曝光過度或不足（曝光圖）。

接下來，BlazeBVD開始進(jìn)行修復(fù)。

一方面，BlazeBVD使用一個叫做全局閃爍去除模塊（GFRM）的工具，利用之前提取的光照圖來調(diào)整整個視頻的光線，確保每一幀的亮度和顏色看起來都很自然。

另一方面，對于一些特別需要關(guān)注的局部區(qū)域，比如曝光過度或不足的地方，BlazeBVD會使用局部閃爍去除模塊（LFRM）。這個模塊會利用光流信息（就像追蹤物體在視頻中的運動）來修復(fù)這些區(qū)域的細(xì)節(jié)。

完成這一步，BlazeBVD最后進(jìn)行完善工作。

它引入一個輕量級的時序網(wǎng)絡(luò)（TCM），這個網(wǎng)絡(luò)就像是視頻的“美容師”，確保每一幀在視覺上都是平滑過渡的，沒有突兀的變化。

為了進(jìn)一步提高視頻的一致性，BlazeBVD設(shè)計了一種特殊的評分系統(tǒng)（自適應(yīng)掩模加權(quán)損失）。這個系統(tǒng)會給每一幀打分，確保它們在視覺上的一致性，讓整個視頻看起來更加流暢和自然。

至此，BlazeBVD完成了整個“診治”流程。

實驗結(jié)果

那么，BlazeBVD究竟效果如何呢？

直接看已有方法與BlazeBVD在盲視頻去閃爍任務(wù)上的結(jié)果對比：

其中Deflicker為已有方法，GT（Ground Truth）表示理想的無閃爍視頻，而KL散度表示處理后的視頻與理想無閃爍視頻之間的差異。KL數(shù)值越大，差異越大。

可以看出，BlazeBVD能很好地恢復(fù)照明直方圖，同時避免出現(xiàn)顏色偽影和顏色失真（例如第二列男人的手臂）。

再進(jìn)一步和基線方法進(jìn)行量化對比：

BlazeBVD在PSNR（峰值信噪比，數(shù)值越高表示視頻質(zhì)量越好）和SSIM（結(jié)構(gòu)相似性指數(shù)，數(shù)值接近1表示視頻質(zhì)量越好）上得分較高，且在Ewarp（數(shù)值越低，視頻越連貫一致）得分較低。

一句話，BlazeBVD超越了已有基線方法。

為了直觀展現(xiàn)這種差別，BlazeBVD與基線方法的可視化對比如下：

消融實驗也驗證了BlazeBVD所設(shè)計模塊的有效性：

概括而言，通過對合成視頻、真實視頻和生成視頻的綜合實驗，BlazeBVD展現(xiàn)了優(yōu)越的定性和定量結(jié)果，并且比最先進(jìn)的模型推理速度快10倍。

目前相關(guān)論文已公開，感興趣可以進(jìn)一步了解。

論文：https://arxiv.org/html/2403.06243v1。