图片的高清化去年就已经很多了，做的已经比较完善，开源的效果也做的很好了
视频高清化的也见过几个，不过对于人物面部细节的高清化效果还不是特别稳定
昨天西安电子科技大学、西南科技大学的学生联合开源了PGTFormer，解决了视频中人物高清化的稳定性问题
扫码加入AI交流群
获得更多技术支持和交流
（请注明自己的职业）
项目简介
PGTFormer是一个视频人脸恢复模型，通过解析引导的时空一致性变换器来优化面部恢复。在多个评估指标上超越了传统方法，特别是在保持视频帧之间连贯性方面表现出色。模型基于BasicSR架构，结合了Codeformer的代码，并利用VFHQ数据集进行训练。
DEMO
技术亮点
1.无需预对齐的恢复： 与传统依赖预对齐的方法不同，PGTFormer采用解析引导的方法直接从未对齐的低质量视频中恢复出高质量的面部图像，有效减少了因对齐错误引入的伪影。
2.时空一致性变换器： 通过引入时间解析引导的变换器，PGTFormer能够处理视频中的面部姿态变化，并保持时间上的连贯性，大幅提升恢复质量。
3.语义解析引导： 利用面部解析结果来指导恢复过程，优化面部先验的选择，减少恢复过程中的错误和不自然的伪影，提高恢复效果的自然性和准确性。
架构
定量结果
定性结果
项目链接
https://github.com/kepengxu/PGTFormer
论文链接
https://arxiv.org/abs/2404.13640
关注「 开源AI项目落地 」公众号
与AI时代更靠近一点
关注「 AGI光年 」公众号
获取每日最新资讯
关注「 向量光年 」公众号
加速全行业向AI转变
更多AI信息，尽在www.dongaigc.com
