【他山之石】顶刊TPAMI 2024!北大提出实用、紧致的图像压缩感知网络PCNet,代码已开源

科技   2025-01-22 18:01   辽宁  

“他山之石,可以攻玉”,站在巨人的肩膀才能看得更高,走得更远。在科研的道路上,更需借助东风才能更快前行。为此,我们特别搜集整理了一些实用的代码链接,数据集,软件,编程技巧等,开辟“他山之石”专栏,助你乘风破浪,一路奋勇向前,敬请关注!

前言压缩感知(Compressed Sensing, CS)是一种信号降采样技术,可大幅节省图像获取成本。CS 的核心思想是“无需完整记录图像信息,通过计算即可还原目标图像”本工作提出了一种实用、紧致的图像压缩感知网络 PCNet。

论文标题:
Practical Compact Deep Compressed Sensing

论文作者:

Bin Chen(陈斌) and Jian Zhang†(张健)(†通讯作者)

作者单位:

北京大学信息工程学院

收录刊物:

IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

发表时间:

2024年11月22日

正式版本:

https://ieeexplore.ieee.org/document/10763443

arXiv版本:

https://arxiv.org/abs/2411.13081

代码链接:

https://github.com/Guaishou74851/PCNet


任务背景

压缩感知(Compressed Sensing, CS)是一种信号降采样技术,可大幅节省图像获取成本。CS 的核心思想是“无需完整记录图像信息,通过计算即可还原目标图像”。CS 的典型应用包括:

  • 降低相机成本:利用廉价设备就能拍摄出高质量图像;

  • 加速医疗成像:将核磁共振成像(MRI)时间从 40 分钟缩短至 10 分钟内,减少被检查者的不适;

  • 探索未知世界,助力科学研究:将“看不见”事物变为“看得见”,如观测细胞活动等转瞬即逝的微观现象,以及通过分布式射电望远镜观测银河系中心的黑洞。

CS 的数学模型可表示为 ,其中 是原始图像, 是采样矩阵, 是观测值。定义压缩采样率为
CS 面临两大核心问题:
  1. 如何设计采样矩阵从而尽可能多地保留图像信息?
  2. 如何设计高效的重建算法从而精准复原图像内容?
然而,现有 CS 方法仍存在两方面局限:
  1. 采样矩阵信息保留能力不足:将图像切块,逐块采样,导致观测值信息量有限;
  2. 重建算法的计算开销过大、复原精度有限。

主要贡献
本工作提出了一种实用、紧致的图像压缩感知网络 PCNet,具有如下创新点:
  1. 一种新型压缩采样矩阵,能够融合图像的局部与全局特征,从而提高信息保留能力。具体采样过程分两步:首先,用一个小型卷积网络对图像滤波;其次,使用全局矩阵对滤波结果降维,生成压缩观测值;
  2. 一种新型图像重建网络,将传统近端梯度下降(Proximal Gradient Descent,PGD)算法与深度神经网络有机结合,利用先进模块设计显著提升重建精度。


▲ 图1. 提出的实用、紧致的压缩感知网络PCNet


▲ 图2. 提出的协同采样算子


实验结果

在 Set11、CBSD68、Urban100 和 DIV2K 等基准数据集上,PCNet 的性能显著优于其他方法,特别是在高分辨率(2K、4K、8K)成像任务中。此外,其采样矩阵可拓展至量化 CS 和自监督 CS 任务,展现了良好的通用性。

图3. 方法与其他CS方法的对比结果

更多细节、实验结果与理论分析请参阅论文。

击呗!

人工智能前沿讲习
领先的人工智能知识平台
 最新文章