当前位置: 欣欣网 > 码农

谷歌开源多视图3D模型,将任何场景3D化,这次元宇宙真的落地了

2024-06-29码农

3D生成模型层出不穷,但由多视图角度生成还没有出现,但......

今天,它来了!!✨

全新的3D生成模型—— CAT3D系统 !🚀

这种创新的3D场景创建方式正在改变我们从几张图片生成数字环境的思维方式。

想象一下,只需几张无人机捕获的图像,就能重建整个考古遗址、历史文物或甚至是遥远的地点。

Demo

🌐 什么是CAT3D?

CAT3D代表「 在3D中创造任何东西 」。

这是一项由包括Ruiqi Gao和Aleksander Holynski在内的研究团队开发的前沿技术。

该系统使用 多视图扩散模型 来模拟现实世界的3D捕捉过程

允许从最少的输入图像——甚至是单一图像——创建详细的3D场景。

CAT3D与其他方法对比呈现出更逼真优秀的效果。

🎨 它是如何工作的?

这个过程主要分为两个阶段:

视图生成 :CAT3D从初始的输入图像生成大量的合成视图,同时考虑这些视图的摄像机角度和条件。

3D重建 :这些视图随后被用于一个强大的 3D重建管道 中,以创建NeRF(神经辐射场)表示,从而产生高质量的3D模型,可以从 任何角度 进行探索和渲染。

🏆CAT3D特点

⏱️ 速度与效率

CAT3D最令人印象深刻的方面之一是其 效率

从图像输入到3D场景创建的整个过程可能只需 一分钟

这比传统方法有 显著改进 ,传统方法通常需要成百上千张图像和更长的处理时间。

🔍 它为什么特别?

CAT3D不仅速度更快,而且提供了更一致、更高质量的结果,并且用 更少 的图像就能达成。

它利用了先进的扩散模型,这些模型通常用于图像和视频生成,并将其独特地适应于3D空间。

项目链接

https://cat3d.github.io/

让我们一起迎接3D的新天地, 创意与技术在这里汇聚,从图像构建世界! 💡🌍

扫码加入AI交流群

获得更多技术支持和交流

关注「 向量光年 」公众号

加速全行业向AI的改变

关注「 开源AI项目落地 」公众号

与AI时代更靠近一点

关注「 AGI光年 」公众号

获取每日最新咨询