「讓圖片裏的物體動起來！」這種天馬行空的想法放在十年前或許是難以實作的。
但放在現在，可以輕松實作！😌
谷歌研究的 Generative Image Dynamics 方法能夠將靜止圖片轉換為動態視訊。
在很久之前就已經有研究團隊做出了靜止轉動態的方法，但實際套用效果並不理想，
Generative Image Dynamics
的釋出再次令我們眼前一亮。
並且可以實作指定不同的方向，讓圖片中物體沿指定的方向軌跡進行運動！
小編直呼「amazing！！」🤩
掃碼加入AI交流群
獲得更多技術支持和交流
計畫簡介
Generative Image Dynamics 方法可用於將單個影像轉換為無縫迴圈視訊或互動式動態場景。
並且可以透過調整運動紋理的振幅來縮小（頂部）或放大（底部）動畫運動。
同時還可以透過插入預測運動紋理來生成慢動作視訊。
這對於很多的套用場景都具有十分大的價值，例如模擬捕捉畫面的運動效果；生成電影中背景的動態場景；在VR遊戲中建立更加真實的環境動態；動態化藝術作品等等。🧐
為了更好地凸顯出該方法的價值和效果的驚艷，小編還拿來了當年火爆全網的app,這個軟體能夠讓圖片流動的功能讓人印象深刻。
小編拿來兩張圖片分別在該方法上進行測試，讓其中的花朵動起來，並將效果與介紹的方法進行比對。
之前方法
Generative Image Dynamics
這樣對比一看之前的方法處理的效果簡直一言難盡...看起來像是強行將圖片的像素進行了拉伸處理😅，無法像此文介紹的方法一樣讓花真正的動起來。下面來欣賞一下 Generative Image Dynamics 生成的更多效果吧。
Demo
計畫原理
該技術核心在於構建一個影像空間的從自然界中抽取的運動軌跡中學習而來運動先驗。
透過分析和訓練，模型能夠從單一的靜態圖片中預測出頻譜體積，這一預測結果之後可以轉換成運動紋理，用於生成即時動畫。
獲得運動紋理後，透過基於影像的渲染技術來實作動畫效果。使用基於深度影像的渲染模組填充缺失內容並細化扭曲的輸入影像。
使用神經網路進行圖片渲染後透過預測的運動場來變形原始圖片，生成連續的視訊幀。
下面是來自地面實況視訊的視訊片段由基線生成的時空切片，最後是 Generative Image Dynamics 方法生成的時空切片。
Generative Image Dynamics 已經能夠處理自然動態中的多種場景，如樹木搖擺、花朵隨風擺動等，谷歌研究團隊正進一步最佳化模型非周期性和高頻動態的模擬。
🔗 計畫連結：
https://generative-dynamics.github.io
關註「 向量光年 」公眾號
加速全行業向AI的改變
關註「 開源AI計畫落地 」公眾號
與AI時代更靠近一點
關註「 AGI光年 」公眾號
獲取每日最新咨詢
