我們 手繪 一個動漫人物時,要先用鉛筆將人物的大致輪廓進行勾勒,再將細節進行描繪,最後再進行上色。
但這個過程是我們看不到的。我們能看到的就是一個成形的動漫人物。
而開源計畫Paints-Undo就能將這個過程一步步地展現給我們。
掃碼加入AI交流群
獲得更多技術支持和交流
(請註明自己的職業)
計畫簡介
Paints-Undo 提出了一系列模型,以 影像 作為輸入,然後輸出該影像的 繪制序列。
該模型能夠展示各種人類行為,包括但不限於素描、著墨、著色、陰影、變換、左右翻轉、顏色曲線調整、更改圖層可見性,甚至能在繪畫過程中更改整體想法。
Paints-Undo能夠展現各種圖畫的的繪畫順序。能將手繪的
動漫人物
按照繪畫順序進行展現。
從圖中我們可以看到動漫人物在繪畫過程中從繪圖到上色的全過程。
除了手繪人物以外, 動物、植物、山水 甚至一些 科幻的影像 的繪畫過程一樣能展現出來。
輸入一張照片還能輸出 多個不同 的動態繪畫過程。
除了輸入上色的繪畫作品外,上傳 草圖 一樣可以將草圖的繪畫過程展現出來。
除了將繪畫過程以視訊的形式展現之外,Paint-Undo另外的一個用途是能將畫作的 不同程度的草圖 展現出來。
這些功能的實作主要依靠兩個模型: 單幀模型和多幀模型 。
單幀模型
輸入
一張圖片
和
一個
operation step
,輸出一張圖片。而operation step就是生成圖片所用的步驟數(比如一筆畫就是一步)。有多少個operation step就意味著Paints Undo要生成多少張中間照片。
而 多幀模型 是輸入兩張照片,輸出兩幅影像之間的 十六幀畫面 。
在這個 repo 中,預設的方法是一起使用它們。先用單幀模型進行大約 5-7 次推理,得到 5-7 個「關鍵幀」,然後再使用多幀模型對這些關鍵幀進行「插值」,從而真正生成一段相對較長的視訊。
套用前景
將 PaintsUndo 與 草圖引導影像生成器 相結合,實作「 PaintsRed o 」,從而可以在任何已完成/未完成的作品中任意前進或後退,提升繪畫效率。
使用 PaintsUndo 檢視同一繪畫作品的 不同過程 ,獲取靈感。
將 PaintsUndo 的輸出用作 After Effects 的一種視訊或電影,以實作特定的創作目的。
計畫連結:
https://github.com/lllyasviel/Paints-UNDO
關註「 向量光年 」公眾號
加速全行業向AI的改變
關註「 開源AI計畫落地 」公眾號
與AI時代更靠近一點
關註「 AGI光年 」公眾號
獲取每日最新咨詢