为了突破传统高速成像系统硬件系统昂贵、数据传输带宽高等瓶颈，计算成像领域的研究人员袁鑫等人提出一套低成本、低传输带宽的高速场景采集方案——视频单曝光压缩成像系统。如图1所示，视频单曝光压缩成像系统由“光学硬件编码”和“重建算法解码”组成，其中：在光学硬件编码阶段，我们首先采用多张不同的二值化随机编码来调制高速场景，之后通过一个低成本工业相机在其每一个曝光时间内采集一系列压缩测量值；在重建算法解码阶段，我们将光学系统采集到的单曝光压缩测量值和相应的调制编码输入视频单曝光压缩成像重建算法恢复出高速场景。![]()
一方面，视频单曝光压缩成像系统的硬件编码部分已经发展地相对成熟。另一方面，基于深度神经网络的视频单曝光压缩成像重建算法也取得了高质量的重建结果。然而，现有的视频单曝光压缩成像系统的硬件系统体积较大，同时需要一台配备高性能显卡的笔记本电脑运行重建算法（如图2所示）。显然，为了推动视频单曝光压缩成像系统走向实用，我们需要小型化光学系统，同时将重建算法部署到移动端设备上。针对上述问题，袁鑫实验室提出首个低位量化的视频单曝光压缩成像重建框架Q-SCI。相关工作 “A Simple Low-bit Quantization Framework for Video Snapshot Compressive Imaging”以口头报告（Oral，接收率约为2.3%）的形式发表于计算机视觉顶级会议European Conference on Computer Vision（ECCV）。ECCV会议是计算机视觉三大顶级会议之一，录用论文代表了计算机视觉领域2024年最高的学术水平。袁鑫实验室2021级博士生曹淼为第一作者，袁鑫实验室博士后王理顺和高效智能计算实验室的王欢教授为共同作者，袁鑫教授为通讯作者。![]()
Q-SCI框架图如图3所示，其主要包括：1）带有偏移校正模块的Transformer分支（图3a所示）。我们通过实验发现在低位量化的Transformer分支中，索引和键值分布的均值存在一定程度的偏移量。为了解决这个问题，我们在量化的索引和键值后加入一个偏差学习模块用于校正量化引起的偏移量；2）带有辅助高位量化卷积算子的特征提取模块。我们通过实验发现直接对特征提取模块进行低位量化操作会带来很大的性能损失，因此Q-SCI框架在原始的低位量化特征提取模块（图3b红框所示）中加入辅助的八位量化的卷积核大小为1的3D卷积算子，其可以提取到高质量的特征；3）带有辅助高位量化卷积算子的视频重建模块。我们在原始的低位量化视频重建模块（图3c红框所示）中加入辅助的八位量化的卷积核大小为1的3D卷积算子，其可以将高质量的特征传递到网络输出端。![]()
在实验部分，我们首先在灰度仿真测试数据上进行测试验证不同重建算法的性能。然后，我们在两组真实测试数据上进一步验证Q-SCI在真实数据集上的泛化性。由于篇幅限制，这里只给出部分实验结果。其中：1）从表1可以看出，Q-SCI（8-bit）的重建质量（注：这里指的是PSNR）达到全精度模型EfficientSCI-S的水平，然而参数量和计算量却可以降低四倍左右；2）从表1可以看出，相比于全精度的EfficientSCI-S模型，Q-SCI（4-bit）的重建质量只下降了2.3%，然而理论上可以加速7.8倍；3）如图5所示，和之前最好的重建算法EfficientSCI-S和STFormer-S相比，Q-SCI（8-bit）和Q-SCI（4-bit）都可以给出清晰的真实数据重建结果。![]()
表1. 不同重建算法在仿真测试数据上的性能表现，其中最后三列结果中从左到右依次列出了PSNR（单位：dB），SSIM，参数量（单位：M），和计算量（单位：G）
![]()
为了降低当前视频单曝光压缩成像重建算法的计算复杂度，袁鑫课题组提出一种简单有效的视频单曝光压缩成像重建算法的网络量化框架Q-SCI。
大量的实验数据表明：相比于当前最好的视频单曝光压缩成像重建算法，Q-SCI可以给出相当的重建质量，然而重建算法的参数量和计算量却得以大大降低。在之后的研究中，我们计划将Q-SCI框架真正地部署到移动设备比如手机或者嵌入式平台，从而切实推动视频单曝光压缩成像系统的应用落地。
文章链接：https://www.ecva.net/papers/eccv_2024/papers_ECCV/papers/06851.pdf
代码链接：https://github.com/mcao92/QuantizedSCI
文章来源：西湖大学人工智能系
西湖大学工学院面向国家战略性新兴产业发展重大需求，着力建设交叉学科与新兴学科为特色的工程技术学科群，努力建成国家重大科学技术研究和拔尖创新人才培养的重要基地。西湖大学工学院以学术领军人才为学科带头人构建科研团队，分阶段、分领域打造一流人才队伍。
工学院目前重点建设三个系和一个中心——电子信息工程系、材料科学与工程系、人工智能系和先进工程科学与技术中心。围绕三个系和一个中心，工学院已建成一批高水平实验室和研究中心，其中已获批成立全省3D微纳加工和表征研究重点实验室、全省智能低碳生物合成重点实验室，建立微纳光电系统集成浙江省工程研究中心。同时，工学院联合生命科学学院和理学院，共同建立西湖大学合成生物学与生物智造中心。
扫描二维码 ｜ 关注我们
西湖大学工学院
School of Engineering
Westlake University
