前沿：傅里叶零频自校正的单像素成像与深度衍射神经网络相结合的新型图像认证方法

近年来，研究人员在单像素成像技术方面取得了显著进展。同时，随着人工智能和机器学习的大范围普及以及深度学习在图像处理与信号处理中所展现出的超强优势，众多研究人员将深度学习应用到了单像素成像领域。神经网络强大的学习能力和对复杂数据关系的建模能力为单像素成像提供了新的可能性。然而，随着人工智能的不断发展，各个项目团队研发出一些新型神经网络架构，其具备以往神经网络模型所不具备的优越性能，单像素成像与这些新型网络的结合仍然蕴藏着许多尚未发掘的潜力。

近日，杭州电子科技大学陈林飞教授团队提出了一种结合傅里叶零频自校正的单像素成像与D2NN的新型图像认证方法。研究团队提出了一种可以用于图像认证的D2NN模型，并对模型结构进行数次优化，并构建了一套具有较为准确的认证能力的网络结构。一般图像在进行傅里叶变换后，频域中心的零频信号表示图像中的平均亮度或直流成分，通过这一原理，研究团队将单像素成像模型与具有认证能力的D2NN模型相结合，构造了一套能够实现批量图像自动认证的高效认证系统，该系统最终通过单像素成像的恢复效果来直观地反映系统对图像的认证率。为了更直观地展现认证率与图像恢复效果之间的联系，研究团队创新性地提出了信噪比认证指标（SNRCI），以此作为衡量图像认证效率的依据。通过深入分析，团队成功揭示了这两者之间的线性关系，从而能够清晰、直观地反映认证系统的效率表现。该项目团队所提出的认证方法无需进行电子计算和复杂运算架构，只需要光学原理即可实现，极大地提高了认证系统运算速度，并且成功将D2NN模型与现有的光学系统进行结合，为D2NN的应用提供了新的前景。该研究以“Image authentication method based on Fourier zero-frequency replacement and single-pixel self-calibration imaging by diffractive deep neural network”为题，于2024年7月3日发表于光学国际期刊《Optics Express》。

图1 自校正照明图案生成的逻辑示意图。

随后，研究团队优化了先前提出的一种D2NN认证模型，采用自适应学习率算法对深度神经网络模型参数进行训练，使得每个神经元对振幅项以及相位项进行迭代调整，不断缩小误差函数，使其达到极小值，最终训练出了一套具有更加准确的认证能力的网络结构。通过D2NN系统认证的图像会在输出面生成一个认证光斑，通过输出面是否接收到认证光斑，即可完成对图像的快速认证任务。

将认证光斑与傅里叶零频自校正算法相结合，实现两个系统的互操作性，是本项研究的重点内容，具体方法如图2所示。图像在经过训练完成的D2NN后，通过输出面是否存在光斑来判断是否通过认证，认证光斑用滤波器进行筛选，进行筛选时，仅对中心2×2的光斑区域响应。强度信息在由D2NN执行认证任务时需要同时进行调制。如果光斑信息过于微弱，在进行零频信息替换时，会导致图案信息显得十分稀薄，从而使成像结果出现大量噪点，进而使信噪比认证过程变得更加困难。收集到的光斑信号传递到单像素检测器中，单像素检测器将收集到的信号将保存到空间光调制器（SLM），同时，随机生成一系列照明图案嵌入到SLM中，将照明图案进行傅里叶变换，并根据零频校正算法的逻辑，将接收到的光斑信号与照明图案的傅里叶频谱图的零频信息进行替换，实现神经网络认证系统与单像素系统的结合。再通过傅里叶逆变换把更新后的频谱图还原，用于后续单像素成像。由于通过认证的图像数量将直接影响照明图案的数量，从而影响单像素成像的质量，因此可以通过单像素成像的图像质量来反映系统的认证性能。

该方法成功实现了利用D2NN与单像素成像系统的结合，并利用该系统完成快速、高效的图像认证任务。研究团队搭建了包含四层衍射层的D2NN结构，每层衍射层112×112，即12544个神经元，整个D2NN结构共有50176个神经元，每个神经元之间相互连接，产生629407744个神经连接，为D2NN提供了强大的运算能力。D2NN的认证能力如图3所示，根据图示认证结果，该研究所构造的D2NN认证能力符合预期，能够完成指定的认证任务。

图3 D²NN测试认证结果。

为了验证认证系统最终对图像批量认证的能力，并归纳认证率与单像素成像的成像质量之间的关系，研究团队首先在测试实验中使用了8组具有不同认证率的认证图像集合进行测试，每组设置认证通过的图像分别为100张、200张、300张、400张、500张、600张、700张、800张，进行8次样本测试，并将得到的结果筛选，代入自校正算法与单像素成像系统。通过上述处理，研究团队得到了8组数量不同的照明图案组，生成8张恢复程度不同的图像。当D2NN认证的图像全为通过的图像，准确率大概为98%，恢复图像的噪声相对最少，而当认证通过的图像逐渐减少时，恢复图像的噪声也将逐渐提升，如图4所示。

由于只有通过认证的图像才能生成照明图案，而照明图案的数量会直接影响成像质量，而成像质量又可以通过图像的信噪比来反映。因此，该研究基于信噪比原理，提出了一种信噪比认证指标来作为系统的认证标准。信噪比认证指标与认证率之间的关系如图5所示，排除进行训练的样本数量带来的影响，可以得到两者几乎呈现出线性关系，因此可以通过这个方式来直观地反映系统的认证能力。

图5 SNRCI与认证率的关系图。

近年的科研工作中，深度学习已经逐步渗透到多个光学技术领域，推动了许多光学技术的进步。同时，航空航天观测、AR/VR 消费电子、手机摄影和超短焦投影仪等行业的迅速发展，对光学系统提出了更高且更复杂的设计需求。这些光学系统对性能的高要求使得光学元件的面形变得更加复杂，因此传统设计方法面临巨大挑战，崭新的光子AI模型能够适应高性能光学系统所带来的变化，深入研究人工智能在光学设计中的应用，将为光学技术的发展提供坚实的基础。为了能够更深入地发掘深度学习在光学设计中的潜力，该研究利用深度衍射神经网络模型对数字图像进行认证，并与光学成像系统进行结合。经过训练，该模型能够获得相应的光学参数，并可通过合适的光学材料和3D打印技术再现。完成训练后的模型可以对图像进行认证，获取认证光斑，并将其与自校正算法和照明图案相结合，从而通过单像素成像系统实现批量图像的自动认证功能。最后，该研究还提出了基于信噪比的认证方法，将认证率与图像恢复效果结合，实现更直观的可视化。整个认证过程无需电子计算，复杂的识别运算系统仅依赖光学原理即可完成，大幅提高了认证系统的运算速度。此外，该研究还成功将深度衍射神经网络模型与现有光学系统结合，为光子AI的应用开辟了新的前景。

陈林飞：通讯作者，杭州电子科技大学教授，主要开展光电信息处理、图像编码的基础理论与应用研究，获浙江省高校科研成果一等奖一项，国家教育部自然科学二等奖一项。相关工作在国内外权威光学期刊Optics Letters, Optics Express, Optics and Lasers in Engineering等上发表SCI论文30余篇，主要相关论文的总引用次数经Web of Science 检索1000余次。

声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理（按照法规支付稿费或立即删除），所有来稿文责自负，专委会仅作为分享平台。转载请注明出处，如原创内容转载需授权，请联系邮箱：cita@csoe.org.cn

公众号投稿请联系：cita@csoe.org.cn

商务合作/文章转载请联系：010-63726007

欢迎多多关注

  

   欢迎分享                                                 点赞，在看