支持VR实时渲染,实景三维大模型书生3.0开源

科技   2024-08-30 17:45   广东  

上海人工智能实验室(上海AI实验室)近日宣布,其研发的书生·天际(LandMark)实景三维大模型已经完成最新版本3.0的迭代升级并开源发布。

此次升级显著提升了模型的渲染效率和应用场景的多样性,特别是加入了对虚拟现实(VR)设备的支持,进一步推进了技术成果向实际应用的转化。

书生·天际3.0的推出标志着该模型在技术上的重大突破。

相比前一版本,它的综合渲染效率提升了5.84倍,这意味着能够以更快的速度处理更大规模的三维场景数据,从而为用户提供更加流畅的体验。

此外,新版本还特别增加了对VR设备的支持,使得用户可以通过VR眼镜等终端设备获得沉浸式的三维空间交互体验。

书生·天际3.0在技术层面的主要改进包括:

1、渲染效率提升:书生·天际3.0的综合渲染效率比之前版本提高了近6倍。

这主要得益于研究团队在算法和技术上的创新,如连续渲染静态重用技术和双目去冗融合渲染技术。

前者显著提升了渲染精度,后者则在不增加额外算力的情况下解决了双目成像时的视差问题,确保了图像质量的一致性和流畅度。

2、硬件门槛降低:书生·天际3.0能够在单个GPU卡上实现实时渲染和交互编辑,而且渲染性能可以随着GPU卡数量的增加而线性增长。

这意味着即便是低配硬件也能支持高质量的三维重建任务,大大降低了用户的成本。

3、算法创新:研究团队提出的Octree-GS算法将八叉树结构应用于3D高斯算法中,通过细节层次(LOD)技术将模型分为多个级别,有效减少了大规模场景渲染中所需的3D高斯数量,从而在保证渲染质量的同时,显著提升了渲染速度。

除了算法和技术上的进步,书生·天际3.0还推出了配套的训练渲染系统(LandMarkSystem)。


该系统具有高度的兼容性和灵活性,能够支持多种算法和硬件资源,满足不同用户的需求。

LandMarkSystem不仅支持Scaffold GS、Octree GS等多种3D重建算法,还通过组件化和模块化的策略实现了对算子的优化,提高了实时渲染的能力,为低成本、高质量的大规模场景重建提供了技术支持。

书生·天际3.0的应用范围非常广泛,包括但不限于城市规划、智慧文旅、游戏开发、影视制作、具身智能环境模拟等多个领域。

通过该模型,用户不仅可以自由探索名胜古迹、城市街景或博物馆等场景,还能在这些重建的三维实景中进行直观且自由的编辑。

例如,利用少量航拍图像即可高效完成大场景重建训练和实时渲染编辑,这对于提高工作效率和用户体验具有重要意义。

随着书生·天际3.0的开源发布,更多的开发者和企业可以利用这项技术来推动各自领域的创新发展。

上海AI实验室通过开源的方式分享其研究成果,有助于加速相关技术在各个行业的普及和应用,为社会带来更多价值。

书生·天际3.0的推出不仅是上海AI实验室在实景三维重建技术领域的重要里程碑,也为未来的智慧城市建设和数字孪生技术发展奠定了坚实的基础。

书生·天际3.0的算法和系统均已开源,并提供免费商用,感兴趣的用户和开发者可以通过访问源代码。

直达链接:https://github.com/InternLandMark

关注我们:即可加入【AI交流群】,免费领取【AI大礼包】


晓得智能
每日聚焦最新AI,让每个人都能享受到AI带来的乐趣!
 最新文章