研究背景
全息三维显示技术通过干涉记录与衍射重建，能够捕捉完整的光场信息，提供包括聚焦、双眼视差和运动视差等视觉线索，广泛应用于医疗、工业检测、教育和娱乐等领域。传统的光学全息图需要复杂的操作步骤，而计算机生成的全息图（CGH）则克服了这些限制，能够精确呈现深度信息并将实现动态实时显示。近年来，深度学习在全息图生成中的应用取得了显著进展，尤其是在相位编码全息图的生成上。利用卷积神经网络（CNN）使用3D数据集进行训练，能够快速生成高质量的相位全息图，显著提高了处理速度与图像质量。然而，由于高质量3D数据集的缺乏，现有方法仍面临着数据多样性与计算资源的挑战。
要点信息
陆军装甲兵学院、北京邮电大学和陆军工程大学的研究人员联合提出了2D图像数据集训练CNN生成3D多深度全息图的新方法。针对神经网络编码能力与深度分布的关系，提出了一种以2D图像数据集用于3D多深度全息图生成的新方法。研究基于DIV2K数据集，应用随机映射和重采样方法（RMRM）为数据集分配虚拟深度（VD）值，确保深度分布的复杂度和均匀性。随后，采用卷积神经网络（CNN）架构，结合角谱法（ASM）计算多深度衍射场，生成高质量的相位全息图。此方法突破了传统深度与强度分布之间的特定关系，通过均匀深度与2D数据集多样化强度的结合，提高了网络的编码和泛化能力。该研究为全息图生成领域带来了创新思路，解决了该领域缺乏高质量3D数据集这一难点问题，提升了计算效率和图像质量。该研究成果发表在国际权威学术期刊Advanced Science。
图1. 生成多深度场景。（a）3D场景，（b）强度图像、深度图像和多深度图像，（c）多深度场景。
技术路线
如图1、图2所示，三维场景在CNN编码全息图训练过程中，深度图像承担了两个重要功能：首先，深度图像在输入到卷积神经网络（CNN）之前，负责对复振幅进行分割，从而使得衍射场能够在每一层进行逐层计算；其次，深度图像将不同深度下重建的复振幅堆叠起来，然后再进行损失函数的计算。
值得注意的是，这两个功能的实现与CNN内部的可优化参数无关，因为这些功能不依赖于CNN的梯度优化过程。通过这一点的分析，得出了一个反直觉的结论：神经网络的编码能力与强度和深度的分布密切相关，但与强度和深度之间的对应关系并无直接联系。这意味着，尽管网络通过不同深度的信息来构建和重建幅度图像，但它并不需要学习深度和强度之间的具体映射关系。神经网络的核心能力在于利用深度图像作为工具来辅助衍射场的计算和重建，从而在编码过程中对复杂振幅的处理更加灵活且高效。
图2. 多深度纯相位全息图CNN模型训练。（a）反向衍射场的计算，（b）CNN编码纯相位全息图，（c）通过多深度重建得到焦叠图像，（d）计算U2反向衍射场，（e）得到一个深度的对焦像素。
基于此，该研究提出了一种基于随机映射和重采样方法（RMRM）的虚拟深度（VD）生成技术（图3），旨在为2D图像赋予深度信息以用于CNN训练，以生成3D多深度全息图。实验表明，RMRM生成的虚拟深度图像在深度层分布上具有适度的复杂性，同时保证的不同深度的均匀性，与传统深度相机数据集相比，具有显著的统计优势。该方法不仅适用于快速生成高质量深度图像数据集，而且由于其简便的计算过程，适合集成到资源受限的硬件系统中。
图3. RMRM方法实现RGB图像生成虚拟深度（VD）。（a）Step 1提取灰度通道，Step 2对图像进行下采样，Step 3随机映射，Step 4对映射值进行上采样叠加随机偏差，（b）深度分布统计直方图表明，相对于深度相机数据集NYU和3D建模数据集，VD数据集在25个深度层上像素分布更为均匀。
结果讨论
基于CNN的全息图重建过程，重点讨论了不同数据集对重建质量的影响。通过三种数据集（深度相机数据集、3D建模数据集及本研究提出的VD数据集）进行对比实验，评估多深度全息图的质量（图5、图6、图7）。实验结果显示，VD数据集在PSNR和SSIM指标上表现最佳，且与数值重建的图像质量高度一致。通过三维室内场景和测试图案的光学与数值重建质量对比，验证了所提方法在处理复杂场景中的有效性（图8、图9）。此外，实验还表明，数据集的强度与深度分布对于神经网络全息编码能力有重要影响。
图4. 光学实验装置（只有红色激光是可见的）。
图5. 三个数据集上训练的CNN模型在室内三维场景的数值和光学重建对比。
图6. 三个数据集上训练的CNN模型在二值分辨率靶场景的数值和光学重建对比。
图7. 三个数据集上训练的CNN模型在二值网格场景的数值和光学重建对比。
图8. 偏真实场景测试集（包含20个不同类型场景的RGB-D），不同数据集训练神经网络模型的PSNR和SSIM。
图9. 二值场景测试集（包含20个二值场景的RGB-D），不同数据集训练神经网络模型的PSNR和SSIM。
结论
该研究表明，通过使用传统的2D数据集，可以利用CNN生成3D多深度全息图。数值和光学实验结果表明，基于VD数据集训练的神经网络能够重建高质量的场景，并在3D深度聚焦上表现出色。调整参数（如缩放、阈值和插值）进一步提升了3D重建效果，并在统计结果上超越真实场景数据集的表现。本文的研究为全息图像重建提供了新的视角和方法，具有重要意义。
该项目研究获得国家自然科学基金（62375286）的资助，谨此感谢。
WILEY
论文信息：
Generation of multiple-depth 3D computer-generated holograms from 2D-image-datasets trained CNN
Xingpeng Yan*, Jiaqi Li, Yanan Zhang, Hebin Chang, Hairong Hu, Tao Jing, Hanyu Li, Yang Zhang, Jinhong Xue, Xunbo Yu*, Xiaoyu Jiang
Advanced Science
DOI: 10.1002/advs.202408610
点击左下角 “ 阅读原文 ” ，查看该论文原文。
Advanced
Science
期刊简介
Advanced Science 是Wiley旗下创刊于2014年的优质开源期刊，发表材料科学、物理化学、生物医药、工程等各领域的创新成果与前沿进展。期刊为致力于最大程度地向公众传播科研成果，所有文章均可免费获取。被Medline收录，PubMed可查。最新影响因子为17.521，中科院2021年SCI期刊分区材料科学大类Q1区、工程技术大类Q1区。
WILEY
MaterialsViews
Wiley旗下材料科学类期刊官方微信平台
推送材料科研资讯｜访谈材料大咖新秀
分享撰稿投稿经验｜关注最新招聘信息
点击“分享”，给我们一点鼓励吧~
