作者:奇月
转自:量子位 | 公众号 QbitAI
MinMax海螺AI新模型,让2D角色动起来了!
日漫 、 游戏 、 插画 等各种风格的静态人物,都可以丝滑地转变成生动的2D风格视频。
量子位也马上上手实测了一波——
首先请出今年的顶流 悟空 先生,输入下面的prompt(输入时是英文,此处意译):
悟空在波涛汹涌的海面上准备战斗,金箍棒闪着金光,衣摆随风被吹动,气氛紧张
来看看海螺的生成效果:
不得不说,还真有大片里面战斗即将开场的即视感了!
随后,我们以经典动漫【 你的名字 】的海报为例,输入了以下prompt:
男孩和女孩转过身面对对方,表情很触动,眼中含有泪水,逐渐靠近并最终拥抱在一起。
最终的生成效果真的很赞。
连人物动作的一些 停顿感 都把握到了。还有AI最不擅长的 头发 问题,视频中的效果也没有太多违和感。
最后再来一个抽象的(doge):
鸣人向哆啦A梦索要草帽,一个女孩拿着草帽和哆啦A梦一起出场,然后柯南在一边思考。
输入图像:
来看看海螺的生成效果。
视频中把 鸣人 、 哆啦A梦 、 草帽 这几个要素都自然地组合在了一起,不过因为prompt中柯南用的是conan这个说法,它还没能完全理解。视频整体还是非常自然的,可以看到一些衣摆和头发的运动都很生动。
Hailuo I2V-01-Live是海螺 Image-To-Video 系列的最新模型,在生成画面的 流畅性 和动作的 生动连贯性 上有很大提升。
它主要针对 稳定性 和 细微表达 进行了优化,还支持非常丰富的美术风格,可以生成更流畅和精致的作品。
更多网友作品
网友们见状自然是按捺不住,马上创作了很多作品。
比如最近超火的【 双城之战 】中的Jinx举牌:
对比之前的I2V-01模型,人物的动作都顺滑了很多,体验就像是从24帧提升到了60帧。
更复杂的插画和水彩风格也轻松拿捏了:
再比如知名博主海辛Hyacinth尝试的 中世纪插画 风格:
还有类似经典动漫【超时空要塞】风格的飞船片段:
自带镜头调度的经典日本动漫风格+武士元素:
甚至连水墨风格、插画风格、熟悉的迪士尼3D风也都可以:
国产AI视频模型之光
提到MinMax的海螺AI(Hailuo),事实上已经在外网的视频创作社区里火了很久了,是这一波国产AI视频模型里面绝对的国产之光!
在 Vbench (知名视频生成模型的测试基准)的多个维度上,它都名列前茅,尤其是在画面的 生成质量 维度上,拿下了第3名的好成绩。
此前也经常被国内外网友用来搞一些奇怪的 meme 或者 影视剧二创 。
比如恶搞【 黑客帝国 】:
还有专业 电影导演 Dave Clark用海螺生成非常有质感的科幻电影片段:
多位网友表示,海螺模型的优点主要是 生成表情更细腻 和 动作更流畅 方面。
一起看点例子感受一下:
比如下面这个国外爆火的视频,画面的女人瞬间就从 大笑变成了掩面哭泣 ,但是变化过程非常自然,看着还很有代入感:
仔细观察还能看到小姐姐的眼眶的泪光逐渐增加,还有眉头慢慢皱起的过程,这演技绝对影后级。
生气、伤心、害怕、惊讶 ……多种表情都可以快速生成:
再看看下面这个海螺生成的 奔跑 画面,作者表示,不仅生成更加自然,而且在 角色的一致性控制 上也非常完美。
One More Thing
在 图像和视频生成模型的 下半程, 海螺专注发力二次元风格,而其他各家公司也都开始主打「风格化」、「差异化」
比如Runway的frames功能,可以 联动修改 多个相关画面:
还有最近爆火的recraft的 复古胶片风 图像:
以及刚刚开源的 腾讯混元 的写实主义:
有艺术家评论道,以后挑模型就像是在挑选不同风格的 相机品牌 一样了,真的很有趣!
参考链接:
[1]https://x.com/Hailuo_AI/status/1863961575574622662
[2]https://huggingface.co/spaces/Vchitect/VBench_Leaderboard
— 完 —