张笑钦,范登平,肖国宝等 | COMPrompter:多提示重构SAM的伪装目标检测

文摘   科技   2024-12-29 12:00   北京  

研究团队

张笑钦,俞珍妮,赵丽:温州大学

范登平:南开大学

肖国宝:同济大学


文章下载

Xiaoqin ZHANG, Zhenni YU, Li ZHAO, Deng-Ping FAN & Guobao XIAO. COMPrompter: reconceptualized segment anything model with multiprompt network for camouflaged object detection. Sci China Inf Sci, 2025, 68(1): 112104, doi: 10.1007/s11432-024-4233-9



研究意义

当前Segment Anything Model (SAM) 在伪装目标检测(COD)中表现出色,凭借其强大的零样本泛化能力,能够在较低的计算成本下实现初步分割结果,为后续开发更加适配伪装目标特性的定制化方法提供了良好基础。然而,现有基于SAM的方法仍存在两大局限:一是过于依赖单一提示,未能充分挖掘多样化提示在伪装目标检测中的潜力;二是忽略了SAM原生提示类型之外的新提示设计与应用,导致分割性能受限。此外,现有的SAM方法在COD任务上与当前最先进方法(SOTA)之间仍存在显著差距,难以完全满足复杂伪装目标的检测需求。

本文工作

为解决现有方法中提示类型单一及性能受限的问题,本文提出了COMPrompter,一个面向伪装目标检测(COD)的多提示网络。COMPrompter通过调整SAM结构,结合原始框提示与边界提示,实现更精准的分割。边界提示由边缘梯度提取模块(EGEM)提取边缘与梯度信息,而框-边界互引导模块(BBMG)加强了框与边界的连接。此外,引入离散小波变换(DWT)捕捉图像细节信息。实验结果证明,COMPrompter在多个基准数据集上优于现有SOTA方法。

本文的创新点如下:

(1) 提出了一种多提示策略,即将SAM的原框提示和新边界提示结合起来作为COMPrompter的用户提示。

(2) 提出了两种高效的设计:EGEM和BBMG。EGEM从图像和GT中获得边界的梯度掩码。在BBMG,框提示和边界提示共同指导、相互补充以获得准确提示。

(3) 验证了COMPrompter在COD和息肉分割基准数据集上的性能,COMPrompter优于现有的SOTA方法。

实验结果

本文在四个广泛认可的伪装目标检测(COD)数据集上进行了实验,包括CAMO、CHAMELEON、COD10和 NC4K,以验证COMPrompter在COD任务中的效果。此外,为了更深入地评估模型性能,我们将COMPrompter应用于更具针对性的息肉分割任务,并在五个公开基准数据集上进行了测试,包括ETIS-Larib、CVC-ClinicDB、CVC-ColonDB、CVC-300和 Kvasir-SEG。

实验结果表明,COMPrompter在COD和息肉分割任务中均表现出色,进一步验证了其在不同场景下的有效性与适应性。





中国科学信息科学
《中国科学:信息科学》及其英文版《Science China Information Sciences》的宣传平台。
 最新文章