我们 手绘 一个动漫人物时,要先用铅笔将人物的大致轮廓进行勾勒,再将细节进行描绘,最后再进行上色。
但这个过程是我们看不到的。我们能看到的就是一个成形的动漫人物。
而开源项目Paints-Undo就能将这个过程一步步地展现给我们。
扫码加入AI交流群
获得更多技术支持和交流
(请注明自己的职业)
项目简介
Paints-Undo 提出了一系列模型,以 图像 作为输入,然后输出该图像的 绘制序列。
该模型能够展示各种人类行为,包括但不限于素描、着墨、着色、阴影、变换、左右翻转、颜色曲线调整、更改图层可见性,甚至能在绘画过程中更改整体想法。
Paints-Undo能够展现各种图画的的绘画顺序。能将手绘的
动漫人物
按照绘画顺序进行展现。
从图中我们可以看到动漫人物在绘画过程中从绘图到上色的全过程。
除了手绘人物以外, 动物、植物、山水 甚至一些 科幻的图像 的绘画过程一样能展现出来。
输入一张照片还能输出 多个不同 的动态绘画过程。
除了输入上色的绘画作品外,上传 草图 一样可以将草图的绘画过程展现出来。
除了将绘画过程以视频的形式展现之外,Paint-Undo另外的一个用途是能将画作的 不同程度的草图 展现出来。
这些功能的实现主要依靠两个模型: 单帧模型和多帧模型 。
单帧模型
输入
一张图片
和
一个
operation step
,输出一张图片。而operation step就是生成图片所用的步骤数(比如一笔画就是一步)。有多少个operation step就意味着Paints Undo要生成多少张中间照片。
而 多帧模型 是输入两张照片,输出两幅图像之间的 十六帧画面 。
在这个 repo 中,默认的方法是一起使用它们。先用单帧模型进行大约 5-7 次推理,得到 5-7 个「关键帧」,然后再使用多帧模型对这些关键帧进行「插值」,从而真正生成一段相对较长的视频。
应用前景
将 PaintsUndo 与 草图引导图像生成器 相结合,实现「 PaintsRed o 」,从而可以在任何已完成/未完成的作品中任意前进或后退,提升绘画效率。
使用 PaintsUndo 查看同一绘画作品的 不同过程 ,获取灵感。
将 PaintsUndo 的输出用作 After Effects 的一种视频或电影,以实现特定的创作目的。
项目链接:
https://github.com/lllyasviel/Paints-UNDO
关注「 向量光年 」公众号
加速全行业向AI的改变
关注「 开源AI项目落地 」公众号
与AI时代更靠近一点
关注「 AGI光年 」公众号
获取每日最新咨询