近期AI视频大战,像是Runway、清影、可灵等都涌现出来了,当然效果上还是参差不齐
回归主题,我们讲讲昨天新开源的CogVideoX, 不到24小时就在github拿了4.6k颗星
效果在目前开源的AI文生视频里还是不错的
CogVideoX是智谱AI开源的,跟清影是一个厂出来的,据官方说是跟清影同源
扫码加入AI交流群
获得更多技术支持和交流
(请注明自己的职业)
DEMO
先给大家看下官方demo,提示词直接帮大家翻译过来了
官方给的demo很真实 ,我用相同提示词测试得出的结果几乎一致
下面效果对比部分也放了我用其他提示词出的,效果并没有这么的惊艳,所以也不排除这些提示词是官方精选的
Prompt:一艘精致的木制玩具船,桅杆和船帆雕刻精美,平稳地滑过一块模仿海浪的蓝色毛绒地毯。船体漆成浓郁的棕色,有小窗户。地毯柔软而有质感,提供了完美的背景,类似于广阔的海洋。船周围还有各种玩具和儿童用品,暗示着一个好玩的环境。这个场景捕捉到了童年的纯真和想象力,玩具船的旅程象征着在异想天开的室内环境中无尽的冒险。
Prompt:镜头跟随一辆装着黑色车顶行李架的白色复古 SUV,它在陡峭的山坡上沿着松树环绕的陡峭土路加速行驶,轮胎扬起尘土,阳光照射在沿着土路飞驰的 SUV 身上,为场景投下温暖的光芒。土路缓 缓弯曲向远方,看不到其他汽车或车辆。道路两旁的树木都是红杉,点缀着一片片绿地。从后面看,汽车轻松地顺着弯道行驶,让人觉得它正在崎岖的地形上行驶。土路周围是陡峭的山丘和山脉,头顶是晴朗的蓝天,上面飘着薄薄的云彩。
CogVideo&CogVideoX
CogVideo是CogVideoX的前辈,2022年就开源了,效果比现在差了很多
还好现在还留有当时的demo,能给大家做下对比。
提示词是「 一个穿着红衬衫的女人在公园里跑步」
这是2年前CogVideo出的效果,感觉画面一直在闪动,可能在当时大家也会觉得很惊艳吧,但是现在来看确实是效果差了些。
这是我今天用CogVideoX出的效果,明显比之前好了太多,开发者已经可以尝试用起来了。
我输入的提示词比较简单, 实际运行的时候是会先把提示词给拓展的 ,比如这个视频,实际提示词会拓展为「A woman draped in a fiery red tank top, her hair neatly secured in a ponytail, powers through a verdant park, her sneakers softly thudding against the mulched trail. With steadfast resolve, she maintains her pace, her exhalations misting in the crisp dawn atmosphere. The park, alive with a spectrum of greenery, is flanked by majestic trees and punctuated by vibrant floral explosions. As she continues her jog, rays of sunlight pierce the leafy canopy, painting a mosaic of light and shadow on the path ahead, crafting a tranquil yet energizing tableau for her morning run.」
只是有一点疑问,生成的这个视频是不是腿上少了点什么,所以开发者在为用户提供C端服务的时候,一定要做好审核工作,避免出现类似的情况出现
模型介绍
官方标记的GPU内存最低为18G,实际跑下来可能用不了这么多,大概15G左右
视频长度是6秒,每秒8帧,分辨率720*480
huggingface有模型的试用体验,如果觉得部署麻烦的话,也可以直接去huggingface试玩下
这些相关链接给大家放在下面了,用得到的自取就好。
另外CogVideoX还会有一个图生视频的模型,据小道消息,近期也会发布,先给大家放个demo看看
项目链接
github项目:
https://github.com/THUDM/CogVideo
huggingface试用:
https://huggingface.co/spaces/THUDM/CogVideoX
关注「 开源AI项目落地 」公众号
与AI时代更靠近一点
关注「 AGI光年 」公众号
获取每日最新资讯
关注「 向量光年 」公众号
加速全行业向AI转变
更多AI信息,尽在www.dongaigc.com