當前位置: 妍妍網 > 碼農

谷歌開源多檢視3D模型,將任何場景3D化,這次元宇宙真的落地了

2024-06-29碼農

3D生成模型層出不窮,但由多檢視角度生成還沒有出現,但......

今天,它來了!!✨

全新的3D生成模型—— CAT3D系統 !🚀

這種創新的3D場景建立方式正在改變我們從幾張圖片生成數位環境的思維方式。

想象一下,只需幾張無人機捕獲的影像,就能重建整個考古遺址、歷史文物或甚至是遙遠的地點。

Demo

🌐 什麽是CAT3D?

CAT3D代表「 在3D中創造任何東西 」。

這是一項由包括Ruiqi Gao和Aleksander Holynski在內的研究團隊開發的前沿技術。

該系統使用 多檢視擴散模型 來模擬現實世界的3D捕捉過程

允許從最少的輸入影像——甚至是單一影像——建立詳細的3D場景。

CAT3D與其他方法對比呈現出更逼真優秀的效果。

🎨 它是如何工作的?

這個過程主要分為兩個階段:

檢視生成 :CAT3D從初始的輸入影像生成大量的合成檢視,同時考慮這些檢視的攝影機角度和條件。

3D重建 :這些檢視隨後被用於一個強大的 3D重建管道 中,以建立NeRF(神經放射線場)表示,從而產生高品質的3D模型,可以從 任何角度 進行探索和渲染。

🏆CAT3D特點

⏱️ 速度與效率

CAT3D最令人印象深刻的方面之一是其 效率

從影像輸入到3D場景建立的整個過程可能只需 一分鐘

這比傳統方法有 顯著改進 ,傳統方法通常需要成百上千張影像和更長的處理時間。

🔍 它為什麽特別?

CAT3D不僅速度更快,而且提供了更一致、更高品質的結果,並且用 更少 的影像就能達成。

它利用了先進的擴散模型,這些模型通常用於影像和視訊生成,並將其獨特地適應於3D空間。

計畫連結

https://cat3d.github.io/

讓我們一起迎接3D的新天地, 創意與技術在這裏匯聚,從影像構建世界! 💡🌍

掃碼加入AI交流群

獲得更多技術支持和交流

關註「 向量光年 」公眾號

加速全行業向AI的改變

關註「 開源AI計畫落地 」公眾號

與AI時代更靠近一點

關註「 AGI光年 」公眾號

獲取每日最新咨詢