点击下方“计算机书童”卡片,每天获取顶刊论文解读
点击加入论文投稿、写作、阅读分享交流群
Deep Learning Methods for Calibrated Photometric Stereo and Beyond题目:深度学习方法在标定光度立体渲染及其它领域的应用
作者:Yakun Ju; Kin-Man Lam; Wuyuan Xie; Huiyu Zhou; Junyu Dong; Boxin Shi
源码:https://github.com/Kelvin-Ju/Survey-DLCPS
摘要
光度立体法通过多个不同阴影提示的图像来恢复物体的表面法线,即模拟每个像素点处表面方向与强度之间的关系。光度立体法在每个像素点的分辨率和精细重建细节方面具有优势。然而,由于非朗伯表面反射引起的非线性关系,这是一个复杂的问题。最近,各种基于深度学习方法在非朗伯表面光度立体法的背景下显示出了强大的能力。本文全面回顾了利用正交摄像机和方向光源的现有基于深度学习的校准光度立体法方法。我们首先从不同角度分析这些方法,包括输入处理、监督和网络架构。我们总结了深度学习光度立体模型在最广泛使用的基准数据集上的性能。这表明了基于深度学习的光度立体方法的先进性能。最后,我们根据现有模型的局限性提出建议,并预测未来的研究趋势。
关键字
深度学习
非朗伯
光度立体法
表面法线
I. 引言
从二维(2D)场景中获取三维(3D)几何形状是计算机视觉中的一个基本问题。它旨在建立计算模型,使计算机能够感知外部的3D世界。与使用不同视点场景计算3D点的几何方法(如多视图立体和双目)不同,光度立体法通过在固定视点下不同照明条件下观察到的不同阴影提示来感知物体的形状。与通常重建粗糙形状的几何方法相比,光度方法可以获得更详细的局部重建。因此,光度立体法在许多高精度表面重建任务中扮演着主流角色,如文物重建[2]、海底测绘[3]、月球表面重建[4]和工业缺陷检测[5]等。如图1所示,光度立体法方法从不同照明下的多个图像中获得详细的形状重建。在这项调查中,我们以DiLiGenT基准[6]中的“阅读”对象作为视觉示例,该对象具有空间变化和非朗伯材料,具有强烈的镜面反射和阴影。
II. 问题表述
III. 输入处理的分类
A. 逐像素方法
1) 稀疏输入问题:
2) 全局信息问题:
B. 逐补丁方法
1) 空间变化BRDF问题:
2) 模糊细节问题:
3) 融合效率问题:
4) 未校准条件:
C. 混合方法
IV. 网络架构
A. 卷积网络
B. 自注意力机制
1) 讨论:
V. 监督分类
A. 监督光度立体方法
1) 额外信息:
B. 自监督光度立体方法
VI. 基准评估结果
VIII. 未来趋势
VI. 基准评估结果
VIII. 未来趋势
IX. 结论
声明
#论 文 推 广#
让你的论文工作被更多人看到
你是否有这样的苦恼:自己辛苦的论文工作,几乎没有任何的引用。为什么会这样?主要是自己的工作没有被更多的人了解。
计算机书童为各位推广自己的论文搭建一个平台,让更多的人了解自己的工作,同时促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 计算机书童 鼓励高校实验室或个人,在我们的平台上分享自己论文的介绍、解读等。
稿件基本要求:
• 文章确系个人论文的解读,未曾在公众号平台标记原创发表,
• 稿件建议以 markdown 格式撰写,文中配图要求图片清晰,无版权问题
投稿通道:
• 添加小编微信协商投稿事宜,备注:姓名-投稿
△长按添加 计算机书童 小编