圖片的高畫質化去年就已經很多了，做的已經比較完善，開源的效果也做的很好了
視訊高畫質化的也見過幾個，不過對於人物面部細節的高畫質化效果還不是特別穩定
昨天西安電子科技大學、西南科技大學的學生聯合開源了PGTFormer，解決了視訊中人物高畫質化的穩定性問題
掃碼加入AI交流群
獲得更多技術支持和交流
（請註明自己的職業）
計畫簡介
PGTFormer是一個視訊人臉恢復模型，透過解析引導的時空一致性變換器來最佳化面部恢復。在多個評估指標上超越了傳統方法，特別是在保持視訊幀之間連貫性方面表現出色。模型基於BasicSR架構，結合了Codeformer的程式碼，並利用VFHQ數據集進行訓練。
DEMO
技術亮點
1.無需預對齊的恢復： 與傳統依賴預對齊的方法不同，PGTFormer采用解析引導的方法直接從未對齊的低品質視訊中恢復出高品質的面部影像，有效減少了因對齊錯誤引入的偽影。
2.時空一致性變換器： 透過引入時間解析引導的變換器，PGTFormer能夠處理視訊中的面部姿態變化，並保持時間上的連貫性，大幅提升恢復品質。
3.語意解析引導： 利用面部解析結果來指導恢復過程，最佳化面部先驗的選擇，減少恢復過程中的錯誤和不自然的偽影，提高恢復效果的自然性和準確性。
架構
定量結果
定性結果
計畫連結
https://github.com/kepengxu/PGTFormer
論文連結
https://arxiv.org/abs/2404.13640
關註「 開源AI計畫落地 」公眾號
與AI時代更靠近一點
關註「 AGI光年 」公眾號
獲取每日最新資訊
關註「 向量光年 」公眾號
加速全行業向AI轉變
更多AI資訊，盡在www.dongaigc.com
