显示专题 | 对JPEG压缩友好的全息图生成：端到端压缩感知计算全息 (Optica OE)
文摘
科技
2024-07-08 14:16
中国香港
对JPEG压缩友好的全息图生成：端到端压缩感知计算全息
End-to-End Compression-Aware Computer-Generated Holography纯相位全息图由于其独特的统计特性，在有损压缩过程中面临压缩效率低下和重建质量退化的问题。比如，简单将广泛用于自然图像压缩的联合摄影专家组（JPEG）标准方法用在全息图会导致严重失真。为此，来自清华大学（深圳国际研究生院）、中南大学、鹏城实验室、北卡罗来纳大学的研究人员提出了一种计算全息术克服了这一问题。该工作将全息图生成过程和JPEG压缩过程合并为一个可微分模型，通过一阶求解器实现联合优化，生成对JPEG压缩损耗鲁棒的全息图。具体而言，编解码部分沿用标准JPEG流程。与传统方法相比，在相同压缩率下，该方法在峰值信噪比（PSNR）和结构相似度（SSIM）指标上分别提高了4 dB和0.27。在相同重建质量下，该方法节约了35%的空间。实验结果证明了其对压缩损失的鲁棒性。特别地，该方法的全息图与JPEG标准兼容，对各种商业软件和边缘设备都很友好。这一成果发表在光学领域老牌期刊《Optics Express》。计算机生成全息术（CGH）被誉为终极显示技术。为了实现逼真和动态的全息显示效果，当前的CGH算法需要生成和处理大量的数据。然而，这些海量数据对通信信道和资源有限的边缘设备构成了巨大挑战。因此，全息图的压缩编码对于全息图的实际应用至关重要。现有的压缩技术，如联合摄影专家组（JPEG）和高效视频编码（HEVC），主要针对传统图像设计；而全息图的信号统计特性与传统自然图像和视频存在显著差异，导致这些传统压缩算法在全息显示应用中表现次优。使用这些标准对全息图进行直接有损编码和解码可能会在重建图像时引入错误，造成关键视觉信息的丢失。考虑到JPEG已被广泛兼容于各类硬件设备和软件，该研究选择JPEG作为编解码器，首先将JPEG压缩中的不可微分量化操作进行了可微分近似处理。在模拟全息图衍射之前，使用可微分的JPEG编解码过程，并以端到端的方式进行优化，最终生成能够抵抗JPEG压缩损失的全息图。首先，设计了量化操作的微分近似函数，以解决JPEG量化操作不可微分问题。![]()
随后，将这一可微分JPEG编解码过程整合到SGD（随机梯度下降）算法框架中，形成了Compression-aware SGD算法。在全息图模拟衍射前，纯相位全息图首先经过可微分JPEG的压缩编码和解压缩解码。为了进一步提升算法性能，研究者设计了总变分（TV）损失及其权重，以适应不同压缩质量水平下的量化噪声和散斑噪声。图1展示了算法的工作流程以及总变分（TV）权重随着编解码质量水平（q）的变化曲线。![]()
图1. 算法框架示意。（a）全息图经过可微分的JPEG编解码器，然后进行数值衍射，以获得重建图像；目标和重建图像之间的重建损失确保了每像素的重建精度。全息图的总变分（TV）用于抑制由于压缩而引起的散斑噪声；（b）不同质量水平下的总变异正则化的权重W。
图2通过定量实验对比显示，与常规SGD算法相比，所提出的JPEG-aware SGD在相同比特率（bpp）条件下最多提升了4dB的峰值信噪比（PSNR）和0.27的结构相似性（SSIM）。图3进一步展示了JPEG-aware SGD算法在压缩性能上相对于常规SGD算法的提升，即在相同重建质量下，JPEG-aware SGD算法最多节省了35%的空间。图4的光学实验进一步验证了所提出算法的有效性，特别是在每像素比特数（bpp）较小情况下，JPEG-aware SGD算法重建的图像具有更少的噪声。![]()
图2. 不同全息图生成算法在不同bpps下的重建性能。使用来自DIV2K验证集的100张高分辨率图像进行测试，并计算平均PSNR和SSIM。
![]()
图3. JPEG-aware SGD和SGD全息图生成算法在不同PSNR和SSIM下的结果的bpp比。
![]()
图4. SGD和JPEG感知的SGD全息图生成算法在638nm、520nm和450nm波长的不同bpps下的光学重建示意。
简要小结：该研究提出了一种将全息图生成、JPEG编解码、目标图像衍射重建的多个过程可微分建模，以及梯度下降联合优化的计算全息技术。与使用JPEG标准压缩的传统全息图相比，新算法能够在保持相同文件大小的同时，实现峰值信噪比（PSNR）及结构相似性（SSIM）提升。在相同重建质量下，能够节省高达35%的存储空间，显著降低了存储和传输的需求。该技术仅改变了全息图生成结果，而编解码采用了JPEG标准方法，与现有商用端侧设备兼容，无需特别部署专用解码器，具有高实用性。
Mi Zhou, Hao Zhang, Shuming Jiao, Praneeth Chakravarthula, and Zihan Geng*, "End-to-end compression-aware computer-generated holography," Opt. Express 31, 43908-43919 (2023)
https://doi.org/10.1364/OE.505447*该技术分享所涉及文字及图片源于发表论文和网络公开素材经适当编辑,不做任何商业用途。
INTELLIGENTOPTICSSHARING (I.O.S.) 运营以该领域的研究学者为主，非盈利非广告，希望能够结交共同兴趣方向的读者们，建立光学和计算机交叉学科领域内一个资讯分享交流的平台。如果喜欢，请点击“在看”和“点赞”，将有助于微信公众号平台对信息的定向统计和及时推送，小编团队在此不胜感激，谢谢！！
