當前位置: 妍妍網 > 碼農

Paints-UNDO:罕見的開源產品角度,再現繪畫過程,提供繪畫靈感

2024-07-15碼農

我們 手繪 一個動漫人物時,要先用鉛筆將人物的大致輪廓進行勾勒,再將細節進行描繪,最後再進行上色。

但這個過程是我們看不到的。我們能看到的就是一個成形的動漫人物。

而開源計畫Paints-Undo就能將這個過程一步步地展現給我們。

掃碼加入AI交流群

獲得更多技術支持和交流

(請註明自己的職業)

計畫簡介

Paints-Undo 提出了一系列模型,以 影像 作為輸入,然後輸出該影像的 繪制序列。

該模型能夠展示各種人類行為,包括但不限於素描、著墨、著色、陰影、變換、左右翻轉、顏色曲線調整、更改圖層可見性,甚至能在繪畫過程中更改整體想法。

Paints-Undo能夠展現各種圖畫的的繪畫順序。能將手繪的 動漫人物 按照繪畫順序進行展現。

從圖中我們可以看到動漫人物在繪畫過程中從繪圖到上色的全過程。

除了手繪人物以外, 動物、植物、山水 甚至一些 科幻的影像 的繪畫過程一樣能展現出來。

輸入一張照片還能輸出 多個不同 的動態繪畫過程。

除了輸入上色的繪畫作品外,上傳 草圖 一樣可以將草圖的繪畫過程展現出來。

除了將繪畫過程以視訊的形式展現之外,Paint-Undo另外的一個用途是能將畫作的 不同程度的草圖 展現出來。

這些功能的實作主要依靠兩個模型: 單幀模型和多幀模型

單幀模型 輸入 一張圖片 一個 operation step ,輸出一張圖片。而operation step就是生成圖片所用的步驟數(比如一筆畫就是一步)。有多少個operation step就意味著Paints Undo要生成多少張中間照片。

多幀模型 是輸入兩張照片,輸出兩幅影像之間的 十六幀畫面

在這個 repo 中,預設的方法是一起使用它們。先用單幀模型進行大約 5-7 次推理,得到 5-7 個「關鍵幀」,然後再使用多幀模型對這些關鍵幀進行「插值」,從而真正生成一段相對較長的視訊。

套用前景

PaintsUndo 草圖引導影像生成器 相結合,實作「 PaintsRed o 」,從而可以在任何已完成/未完成的作品中任意前進或後退,提升繪畫效率。

使用 PaintsUndo 檢視同一繪畫作品的 不同過程 ,獲取靈感。

將 PaintsUndo 的輸出用作 After Effects 的一種視訊或電影,以實作特定的創作目的。

計畫連結:

https://github.com/lllyasviel/Paints-UNDO

關註「 向量光年 」公眾號

加速全行業向AI的改變

關註「 開源AI計畫落地 」公眾號

與AI時代更靠近一點

關註「 AGI光年 」公眾號

獲取每日最新咨詢