TripoSR:开源3D重建模型,0.5秒就能完成2D到3D图转换

文摘   科技   2024-09-01 00:00   江苏  

TripoSR是由Tripo AI和Stability AI合作开发的最先进的开源模型,用于从单个图像中快速前馈3D重建。

项目链接
https://github.com/VAST-AI-Research/TripoSR


TripoSR利用大型重建模型(LRM)的原理,带来了显着提高3D重建速度和质量的关键进步。该模型以其快速处理输入的能力而闻名,在NVIDIA A100 GPU上不到0.5秒就能生成高质量的3D模型。TripoSR在定性和定量评估方面表现优异,在多个公共数据集上优于其他开源替代方案。下图展示了TripoSR与其他领先模型的性能对比。从效果上来看,是要比之前的OpenLRM等开源模型要好得多。
性能对比
该模型目标是让研究人员、开发人员和创意人员能够推动3D生成人工智能和3D内容创作的可能性。

安装要求
  • Python >= 3.8 

  • 安装CUDA 

  • 根据你的平台安装PyTorch:https://pytorch.org/get-started/locally/ [确保本地安装的CUDA主版本与PyTorch附带的CUDA主版本相匹配
  • 通过pip install --upgrade setuptools更新setuptools
  • 通过pip install -r requirements.txt安装其他依赖项
手动推理
python run.py examples/chair.png --output-dir output/
这将把重建的3D模型保存到output/目录下。你也可以指定多个由空格分隔的图像路径。默认选项对于单个图像输入大约需要6GB的显存。

要了解此脚本的详细使用方法,请使用 python run.py --help。
本地 Gradio 应用
安装Gradio:
pip install gradio
启动 Gradio 应用:
python gradio_app.py

        感谢你看到这里,也欢迎点击关注左下方公众号或者关注本公众号的官方读者交流群,一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术,欢迎一起交流学习💗~

AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
 最新文章