近期AI視訊大戰,像是Runway、清影、可靈等都湧現出來了,當然效果上還是參差不齊
回歸主題,我們講講昨天新開源的CogVideoX, 不到24小時就在github拿了4.6k顆星
效果在目前開源的AI文生視訊裏還是不錯的
CogVideoX是智譜AI開源的,跟清影是一個廠出來的,據官方說是跟清影同源
掃碼加入AI交流群
獲得更多技術支持和交流
(請註明自己的職業)
DEMO
先給大家看下官方demo,提示詞直接幫大家轉譯過來了
官方給的demo很真實 ,我用相同提示詞測試得出的結果幾乎一致
下面效果對比部份也放了我用其他提示詞出的,效果並沒有這麽的驚艷,所以也不排除這些提示詞是官方精選的
Prompt:一艘精致的木制玩具船,桅桿和船帆雕刻精美,平穩地滑過一塊模仿海浪的藍色毛絨地毯。船體漆成濃郁的棕色,有小窗戶。地毯柔軟而有質感,提供了完美的背景,類似於廣闊的海洋。船周圍還有各種玩具和兒童用品,暗示著一個好玩的環境。這個場景捕捉到了童年的純真和想象力,玩具船的旅程象征著在異想天開的室內環境中無盡的冒險。
Prompt:鏡頭跟隨一輛裝著黑色車頂行李架的白色復古 SUV,它在陡峭的山坡上沿著松樹環繞的陡峭土路加速行駛,輪胎揚起塵土,陽光照射在沿著土路飛馳的 SUV 身上,為場景投下溫暖的光芒。土路緩 緩彎曲向遠方,看不到其他汽車或車輛。道路兩旁的樹木都是紅杉,點綴著一片片綠地。從後面看,汽車輕松地順著彎道行駛,讓人覺得它正在崎嶇的地形上行駛。土路周圍是陡峭的山丘和山脈,頭頂是晴朗的藍天,上面飄著薄薄的雲彩。
CogVideo&CogVideoX
CogVideo是CogVideoX的前輩,2022年就開源了,效果比現在差了很多
還好現在還留有當時的demo,能給大家做下對比。
提示詞是「 一個穿著紅襯衫的女人在公園裏跑步」
這是2年前CogVideo出的效果,感覺畫面一直在閃動,可能在當時大家也會覺得很驚艷吧,但是現在來看確實是效果差了些。
這是我今天用CogVideoX出的效果,明顯比之前好了太多,開發者已經可以嘗試用起來了。
我輸入的提示詞比較簡單, 實際執行的時候是會先把提示詞給拓展的 ,比如這個視訊,實際提示詞會拓展為「A woman draped in a fiery red tank top, her hair neatly secured in a ponytail, powers through a verdant park, her sneakers softly thudding against the mulched trail. With steadfast resolve, she maintains her pace, her exhalations misting in the crisp dawn atmosphere. The park, alive with a spectrum of greenery, is flanked by majestic trees and punctuated by vibrant floral explosions. As she continues her jog, rays of sunlight pierce the leafy canopy, painting a mosaic of light and shadow on the path ahead, crafting a tranquil yet energizing tableau for her morning run.」
只是有一點疑問,生成的這個視訊是不是腿上少了點什麽,所以開發者在為使用者提供C端服務的時候,一定要做好稽核工作,避免出現類似的情況出現
模型介紹
官方標記的GPU記憶體最低為18G,實際跑下來可能用不了這麽多,大概15G左右
視訊長度是6秒,每秒8幀,分辨率720*480
huggingface有模型的試用體驗,如果覺得部署麻煩的話,也可以直接去huggingface試玩下
這些相關連結給大家放在下面了,用得到的自取就好。
另外CogVideoX還會有一個圖生視訊的模型,據小道訊息,近期也會釋出,先給大家放個demo看看
計畫連結
github計畫:
https://github.com/THUDM/CogVideo
huggingface試用:
https://huggingface.co/spaces/THUDM/CogVideoX
關註「 開源AI計畫落地 」公眾號
與AI時代更靠近一點
關註「 AGI光年 」公眾號
獲取每日最新資訊
關註「 向量光年 」公眾號
加速全行業向AI轉變
更多AI資訊,盡在www.dongaigc.com