当前位置: 欣欣网 > 码农

Paints-UNDO:罕见的开源产品角度,再现绘画过程,提供绘画灵感

2024-07-15码农

我们 手绘 一个动漫人物时,要先用铅笔将人物的大致轮廓进行勾勒,再将细节进行描绘,最后再进行上色。

但这个过程是我们看不到的。我们能看到的就是一个成形的动漫人物。

而开源项目Paints-Undo就能将这个过程一步步地展现给我们。

扫码加入AI交流群

获得更多技术支持和交流

(请注明自己的职业)

项目简介

Paints-Undo 提出了一系列模型,以 图像 作为输入,然后输出该图像的 绘制序列。

该模型能够展示各种人类行为,包括但不限于素描、着墨、着色、阴影、变换、左右翻转、颜色曲线调整、更改图层可见性,甚至能在绘画过程中更改整体想法。

Paints-Undo能够展现各种图画的的绘画顺序。能将手绘的 动漫人物 按照绘画顺序进行展现。

从图中我们可以看到动漫人物在绘画过程中从绘图到上色的全过程。

除了手绘人物以外, 动物、植物、山水 甚至一些 科幻的图像 的绘画过程一样能展现出来。

输入一张照片还能输出 多个不同 的动态绘画过程。

除了输入上色的绘画作品外,上传 草图 一样可以将草图的绘画过程展现出来。

除了将绘画过程以视频的形式展现之外,Paint-Undo另外的一个用途是能将画作的 不同程度的草图 展现出来。

这些功能的实现主要依靠两个模型: 单帧模型和多帧模型

单帧模型 输入 一张图片 一个 operation step ,输出一张图片。而operation step就是生成图片所用的步骤数(比如一笔画就是一步)。有多少个operation step就意味着Paints Undo要生成多少张中间照片。

多帧模型 是输入两张照片,输出两幅图像之间的 十六帧画面

在这个 repo 中,默认的方法是一起使用它们。先用单帧模型进行大约 5-7 次推理,得到 5-7 个「关键帧」,然后再使用多帧模型对这些关键帧进行「插值」,从而真正生成一段相对较长的视频。

应用前景

PaintsUndo 草图引导图像生成器 相结合,实现「 PaintsRed o 」,从而可以在任何已完成/未完成的作品中任意前进或后退,提升绘画效率。

使用 PaintsUndo 查看同一绘画作品的 不同过程 ,获取灵感。

将 PaintsUndo 的输出用作 After Effects 的一种视频或电影,以实现特定的创作目的。

项目链接:

https://github.com/lllyasviel/Paints-UNDO

关注「 向量光年 」公众号

加速全行业向AI的改变

关注「 开源AI项目落地 」公众号

与AI时代更靠近一点

关注「 AGI光年 」公众号

获取每日最新咨询