3D生成模型層出不窮,但由多檢視角度生成還沒有出現,但......
今天,它來了!!✨
全新的3D生成模型—— CAT3D系統 !🚀
這種創新的3D場景建立方式正在改變我們從幾張圖片生成數位環境的思維方式。
想象一下,只需幾張無人機捕獲的影像,就能重建整個考古遺址、歷史文物或甚至是遙遠的地點。
Demo
🌐 什麽是CAT3D?
CAT3D代表「 在3D中創造任何東西 」。
這是一項由包括Ruiqi Gao和Aleksander Holynski在內的研究團隊開發的前沿技術。
該系統使用 多檢視擴散模型 來模擬現實世界的3D捕捉過程
允許從最少的輸入影像——甚至是單一影像——建立詳細的3D場景。
CAT3D與其他方法對比呈現出更逼真優秀的效果。
🎨 它是如何工作的?
這個過程主要分為兩個階段:
檢視生成 :CAT3D從初始的輸入影像生成大量的合成檢視,同時考慮這些檢視的攝影機角度和條件。
3D重建 :這些檢視隨後被用於一個強大的 3D重建管道 中,以建立NeRF(神經放射線場)表示,從而產生高品質的3D模型,可以從 任何角度 進行探索和渲染。
🏆CAT3D特點
⏱️ 速度與效率
CAT3D最令人印象深刻的方面之一是其 效率 。
從影像輸入到3D場景建立的整個過程可能只需 一分鐘 。
這比傳統方法有 顯著改進 ,傳統方法通常需要成百上千張影像和更長的處理時間。
🔍 它為什麽特別?
CAT3D不僅速度更快,而且提供了更一致、更高品質的結果,並且用 更少 的影像就能達成。
它利用了先進的擴散模型,這些模型通常用於影像和視訊生成,並將其獨特地適應於3D空間。
計畫連結 :
https://cat3d.github.io/
讓我們一起迎接3D的新天地, 創意與技術在這裏匯聚,從影像構建世界! 💡🌍
掃碼加入AI交流群
獲得更多技術支持和交流
關註「 向量光年 」公眾號
加速全行業向AI的改變
關註「 開源AI計畫落地 」公眾號
與AI時代更靠近一點
關註「 AGI光年 」公眾號
獲取每日最新咨詢