當前位置: 妍妍網 > 碼農

二次元狂喜!海螺釋出2D動畫專用視訊生成模型,日漫迪士尼插畫風都支持

2024-12-10碼農
作者:奇月
轉自:量子位 | 公眾號 QbitAI

MinMax海螺AI新模型,讓2D角色動起來了!

日漫 遊戲 插畫 等各種風格的靜態人物,都可以絲滑地轉變成生動的2D風格視訊。

量子位也馬上上手實測了一波——

首先請出今年的頂流 悟空 先生,輸入下面的prompt(輸入時是英文,此處意譯):

悟空在波濤洶湧的海面上準備戰鬥,金箍棒閃著金光,衣擺隨風被吹動,氣氛緊張

來看看海螺的生成效果:

不得不說,還真有大片裏面戰鬥即將開場的即視感了!

隨後,我們以經典動漫【 你的名字 】的海報為例,輸入了以下prompt:

男孩和女孩轉過身面對對方,表情很觸動,眼中含有淚水,逐漸靠近並最終擁抱在一起。

最終的生成效果真的很贊。

連人物動作的一些 停頓感 都把握到了。還有AI最不擅長的 頭發 問題,視訊中的效果也沒有太多違和感。

最後再來一個抽象的(doge):

鳴人向哆啦A夢索要草帽,一個女孩拿著草帽和哆啦A夢幻一起出場,然後柯南在一邊思考。

輸入影像:

來看看海螺的生成效果。

視訊中把 鳴人 哆啦A夢 草帽 這幾個要素都自然地組合在了一起,不過因為prompt中柯南用的是conan這個說法,它還沒能完全理解。視訊整體還是非常自然的,可以看到一些衣擺和頭發的運動都很生動。

Hailuo I2V-01-Live是海螺 Image-To-Video 系列的最新模型,在生成畫面的 流暢性 和動作的 生動連貫性 上有很大提升。

它主要針對 穩定性 細微表達 進行了最佳化,還支持非常豐富的美術風格,可以生成更流暢和精致的作品。

更多網友作品

網友們見狀自然是按捺不住,馬上創作了很多作品。

比如最近超火的【 雙城之戰 】中的Jinx舉牌:

對比之前的I2V-01模型,人物的動作都順滑了很多,體驗就像是從24幀提升到了60幀。

更復雜的插畫和水彩風格也輕松拿捏了:

再比如知名博主海辛Hyacinth嘗試的 中世紀插畫 風格:

還有類似經典動漫【超時空要塞】風格的飛船片段:

內建鏡頭排程的經典日本動漫風格+武士元素:

甚至連水墨風格、插畫風格、熟悉的迪士尼3D風也都可以:

國產AI視訊模型之光

提到MinMax的海螺AI(Hailuo),事實上已經在外網的視訊創作社群裏火了很久了,是這一波國產AI視訊模型裏面絕對的國產之光!


Vbench (知名視訊生成模型的測試基準)的多個維度上,它都名列前茅,尤其是在畫面的 生成品質 維度上,拿下了第3名的好成績。

此前也經常被國內外網友用來搞一些奇怪的 meme 或者 影視劇二創

比如惡搞【 黑客帝國 】:

還有專業 電影導演 Dave Clark用海螺生成非常有質感的科幻電影片段:

多位網友表示,海螺模型的優點主要是 生成表情更細膩 動作更流暢 方面。

一起看點例子感受一下:

比如下面這個國外爆火的視訊,畫面的女人瞬間就從 大笑變成了掩面哭泣 ,但是變化過程非常自然,看著還很有代入感:

仔細觀察還能看到小姐姐的眼眶的淚光逐漸增加,還有眉頭慢慢皺起的過程,這演技絕對影後級。

生氣、傷心、害怕、驚訝 ……多種表情都可以快速生成:

再看看下面這個海螺生成的 奔跑 畫面,作者表示,不僅生成更加自然,而且在 角色的一致性控制 上也非常完美。

One More Thing

影像和視訊生成模型的 下半程, 海螺專註發力二次元風格,而其他各家公司也都開始主打「風格化」、「差異化」

比如Runway的frames功能,可以 聯動修改 多個相關畫面:

還有最近爆火的recraft的 復古底片風 影像:

以及剛剛開源的 騰訊混元 的寫實主義:

有藝術家評論道,以後挑模型就像是在挑選不同風格的 相機品牌 一樣了,真的很有趣!

參考連結:
[1]https://x.com/Hailuo_AI/status/1863961575574622662
[2]https://huggingface.co/spaces/Vchitect/VBench_Leaderboard