當前位置: 妍妍網 > 碼農

這個開源AI視訊高畫質化計畫,讓10年前拍的視訊畫質倍增,我要給他點1w顆星星

2024-07-02碼農

回憶一下,大家有沒有遇到這樣的困惑......

想記錄美好的瞬間,但奈何拍的視訊太模糊....😤

好友發來的視訊經過壓縮變得模糊不清....😭

想看的電影分辨率低,觀看起來以為自己沒睡醒...😓

為此,接下來給大家介紹一個新技術!!🆕

命名為 EvTexture 的事件驅動的視訊超分辨率紋理增強方法。

掃碼加入AI交流群

獲得更多技術支持和交流

技術簡介

視訊超分辨率技術(Video Super-Resolution, VSR)是提高視訊品質的關鍵技術之一。

由中國科學技術大學和合肥綜合性國家科學中心共同研發的新型視訊超分辨率技術 EvTexture

Demo

下面欣賞一下 EvTexture 的套用效果 。🔥

技術要點

事件驅動的紋理恢復 :首次將事件訊號用於視訊超分辨率中的紋理恢復,填補了這一研究空白。

當前的 VSR 方法,無論帶有(EGVSR和EBVSR)還是不帶有(BasicVSR++)事件訊號。

仍然會受到紋理模糊或抖動的影響,導致紋理區域出現較大誤差。

相比之下, EvTexture 可以成功預測紋理區域,並大大減少恢復幀中的誤差。

雙分支網路結構 :EvTexture 設計了一個包含 動作學習分支和紋理增強分支 的雙分支網路,精確恢復高頻紋理細節。

叠代紋理增強 :透過 ITE 模組,利用事件訊號中的高頻資訊,逐步最佳化和提升紋理的品質和細節。

技術討論

EvTexture 在視訊監控、虛擬現實、電影後期制作等領域前景廣泛。對於需要處理大量動態視訊數據的套用場景尤為重要。

不過在快速移動和低光照條件下的視訊超分辨率,以及應對實際套用中常見的幀與事件之間的不對稱空間分辨率問題還有待解決。

期待 EvTexture 為我們帶來更清晰生動的視訊體驗!

🔗 計畫連結:

https://dachunkai.github.io/evtexture.github.io

關註「 開源AI計畫落地 」公眾號

與AI時代更靠近一點

關註「 AGI光年 」公眾號

獲取每日最新咨詢

關註「 向量光年 」公眾號

加速全行業向AI的轉變