2024年第6期论文速览

长按扫码阅读全文或复制网址访问https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.20116

融合双阶段特征与 Transformer 编码的交互式图像分割

作者: 封筠, 张天, 史屹琛, 王辉, 胡晶晶

单位: 石家庄铁道大学信息科学与技术学院；北京理工大学计算机科学与技术学院

摘要：为了快速、精确地分割用户感兴趣的前景目标, 获得高质量且低成本的标注分割数据, 提出一种基于双阶段特征融合与 Transformer 编码的交互式图像分割算法. 首先采用轻量化 Transformer 骨干网络对输入图像提取多尺度特征编码, 更好地利用上下文信息; 然后使用点击交互的方式引入主观先验知识, 依次通过初级与加强阶段将交互特征融入 Transformer 网络; 最后结合空洞卷积、注意力机制和多层感知机对骨干网络获取的特征图解码. 实验结果表明, 所提算法在 GrabCut, Berkeley 和 DAVIS 数据集上的 mNoC@90%值分别达到 2.18, 4.04 和 7.39, 优于其他对比算法; 且算法的时间与空间复杂度低于 f-BRS-B, 对交互点击位置及点击类型的扰动变化具有较好的稳定性, 说明该算法能够快速、精确与稳定地分割用户感兴趣目标, 提升用户交互的使用体验感.

关键词: 交互式图像分割; 深度学习; Transformer 编码; 交互特征融合; 轻量化网络

长按扫码阅读全文或复制网址访问https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.19922

细化多尺度感知与优化轮廓的自适应道路场景语义分割网络

作者: 司马海峰, 许毓霜, 王静, 徐明亮

单位: 河南理工大学软件学院；郑州大学计算机与人工智能学院、软件学院

摘要：语义分割通常被描述为像素级的分类任务, 而集成卷积神经网络与 Transformer 的 MaskFormer 网络则将其描述为掩模级的分类任务. 为了解决语义分割形变建模能力差、物体轮廓分割模糊和收敛速度慢的问题, 提出一种细化多尺度感知与优化轮廓的自适应道路场景语义分割网络. 在编码器中, 采用标准卷积与可变形卷积堆叠形成的瓶颈结构提高网络的形变建模能力; 在解码器中, 采用特征细化模块过滤无关特征, 进一步提高特征金字塔网络的解码能力; 针对特征金字塔网络进行多层级特征融合时上采样特征出现像素点错位的问题, 引入特征校准模块优化物体轮廓的分割效果; 最后在 Transformer 模块中采用 Miti-DETR 解码器加快网络的训练速度, 提升分割精度. 实验结果表明, 所提网络在 Cityscapes 和 Mapillary Vistas 数据集上以较大的优势超过了现有的语义分割网络. 

关键词: 语义分割; 可变形卷积; 特征细化; 特征校准 

长按扫码阅读全文或复制网址访问https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.19857

结合局部熵与梯度能量的双通道医学图像融合

作者:  朱积成, 刘慧, 李珊珊, 李攀, 张彩明

单位: 山东财经大学计算机科学与技术学院；山东省数字媒体技术重点实验室；重庆医科大学附属第二医院；山东大学软件学院

摘要：多模态医学图像融合已成为有效结合正常组织结构和异常改变信息、提高医学诊断效率的强有力辅助技术. 针对空域融合技术在处理图像细节丢失、光谱退化等方面的缺陷, 提出一种在联合双边滤波器(JBF)域内实现图像结构与细节信息增强的双通道频域多模态医学图像融合方法. 该方法将源图像分解为结构和能量 2 个通道, 分别处理图像纹理细节信息和边缘强度信息. 在结构通道中, 通过改进梯度能量得到局部梯度能量算子, 进一步提升融合图像对小尺度细节信息的表达能力和对噪声的鲁棒性; 在能量通道中, 利用非下采样轮廓波变换提高模型的多方向多尺度特性, 并提出一种局部熵细节增强算子和脉冲耦合神经网络结合的高频子带处理框架, 达到增强能量通道中结构信息和细节信息的效果. 在 Atlas 公开数据集上, 与基于 MST、稀疏表示、PCNN 以及 JBF 的 6 种具有代表性的频域融合方法进行对比及消融实验的结果表明, 所提方法的融合图像与源图像相似度提升 35.0%, 空间频率提升16.2%, 边缘保持度提升 12.5%, 对比度提升 11.2%; 并在视觉方面有较好的效果, 明显优于对比方法. 

关键词: 医学图像融合; 联合双边滤波器; 非下采样轮廓波变换; 脉冲耦合神经网络; 相位一致性 

长按扫码阅读全文或复制网址访问https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.19899

消除背景噪声增强字符形状特征的场景文字识别

作者: 唐善成, 梁少君, 鲁彪, 张莹, 金子成, 逯建辉 

单位: 西安科技大学通信与信息工程学院 

摘要：为了解决现有方法未有效地消除背景噪声和字符自身噪声干扰的问题, 提出一种包含 3 个模块的消除背景噪声增强字符形状特征(EBEC)的文字识别模型. 空间注意力机制增强的 EBEC 网络只关注字符区域特征, 以消除背景噪声, 迫使网络仅学习字符形状特征, 增强字符形状特征; 特征提取模块采用 EfficientNet-B3 作为主干网络提取特征图; 基元表征学习模块学习特征图得到视觉文字表征, 通过对视觉文字表征解码得到识别结果. 实验结果表明, 与经典模型相比, 所提模型在合成场景数据集上识别准确率提高 9.76 个百分点, 在公开数据集 IIIT5K, ICDAR-2003, ICDAR-2015, CUTE80 上识别准确率平均提高 2.91 个百分点; 该模型可有效地消除背景噪声和字符自身噪声, 提高识别性能.

关键词: 场景文字识别; 空间注意力机制; 背景噪声; 字符自身噪声 

长按扫码阅读全文或复制网址访问https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.19861

边缘引导和拉普拉斯金字塔分解的古文本图像修复算法

作者: 刘畅, 张玲, 何英豪

单位: 武汉科技大学计算机科学与技术学院；武汉科技大学大数据科学与工程研究院；智能信息处理与实时工业系统湖北省重点实验室 

摘要：针对当前图像修复算法应用到古文本图像上时, 出现纹理模糊或结构内容不完整的问题, 提出边缘引导和拉普拉斯金字塔分解的古文本图像修复算法. 首先利用边缘修复模块对古文本图像的边缘结构进行修复, 重建缺损区域的边缘信息; 然后利用预训练的文字学习模块对局部缺损区域进行内容修复, 得到一幅局部内容修复图像, 并进行拉普拉斯分解; 最后在拉普拉斯金字塔修复模块中, 根据图像的低层和高层特征, 利用内容修复模块对图像进行递进修复, 内容修复模块中引入双交叉编码器和多尺度融合块, 有助于获取更加有效的特征信息, 生成纹理结构完整的图像修复结果. 在古文本图像数据集的测试集上进行实验的结果表明, 各项图像质量评估指标中, 峰值信噪比为 34.322 dB, 结构相似性为 0.970, 均方根误差为 5.203, 验证了所提算法的有效性和可行性. 

关键词: 图像修复; 古文本图像; 边缘图; 双交叉编码器; 多尺度融合块 

长按扫码阅读全文或复制网址访问https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.19865

基于困难样本对激励的小样本图像分类方法

作者: 郭璐, 刘斌, 李维刚, 甘平

单位: 大连海事大学船舶电气工程学院；梧州学院广西机器视觉与智能控制重点实验室 

摘要：使用少量标签样本训练得到的传统模型往往预测精度低、泛化能力弱, 很难应用到实际生产中. 针对小样本图像提出一种基于困难样本对激励分类方法, 包括预训练阶段和元学习阶段. 预训练阶段在基类数据集上训练编码器, 并作为元学习阶段的初始特征编码器; 元学习阶段将进一步优化此编码器, 元训练过程使用本质特征法降低异常样本对质心的影响; 结合度量学习与元学习设计了困难样本对激励损失函数, 从样本对角度出发, 在训练过程中引导模型扩大正负样本间距离, 使同类样本更加紧凑. 在公开数据集 mini-ImageNet, tiered-ImageNet 上进行实验的结果表明, 分类精度分别为 64.12%, 70.15%, 验证了所提方法的有效性和可行性. 

关键词: 困难样本对; 小样本学习; 元学习; 度量学习

长按扫码阅读全文或复制网址访问https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.19888

可视化与可视分析

数据新闻可视化研究: 理论与实践

作者: 程梦琴, 周葆华, 陈思明

单位: 复旦大学大数据学院; 复旦大学新闻学院 

摘要：进入大数据时代, 信息更迭迅速的新闻业中出现了越来越多数据可视化的元素, 可视化技术在新闻领域中占有越来越重要的位置. 文中从数据新闻实际案例中整理了 50 个有代表性的使用可视化的数据新闻项目, 基于数据新闻理论与实践 2 方面提出一种分类框架, 从数据新闻的生产和理解 2 个层面分析可视化发挥的作用. 在数据新闻生产层面, 讨论了角色分工、可视化类型以及在不同新闻流程中的生产技术; 在用户理解数据新闻层面, 对促进理解的数据新闻特性、用户的交互模式和用户认知进行讨论. 所提框架有助于更好地理解数据新闻与可视化的结合过程, 并且总结出相应框架内的问题和工作模式. 最后讨论可视化在数据新闻中的发展方向, 人们可以在新型传播方式下, 通过虚拟现实等技术手段与可视化进行交互, 把握自动生成技术的机遇; 该领域也会面临一些问题与挑战, 如权衡交互的复杂程度等, 为数据新闻从业者提出一些将数据新闻与可视化结合的建议. 

关键词: 数据新闻; 可视化; 故事叙述; 人机交互

基于 ConvGRU 的空气污染预测可视分析系统

作者: 杨璐, 陈聪, 毕重科, 邱晓滨, 李云龙

单位: 天津理工大学天津市先进机电系统设计与智能控制重点实验室; 机电工程国家级实验教学示范中心(天津理工大学); 天津大学智能与计算学部; 天津市海洋气象重点实验室; 天津市气象科学研究所; 国家超级计算天津中心 

摘要:  预测细颗粒污染物浓度是制定防污减排措施的主要途径之一. 针对传统的用于预测的大规模数值模拟需要在超级计算机上计算数小时乃至数天, 成本高、效率低, 甚至影响实效性的问题, 提出一种基于卷积门控循环单元(ConvGRU)的细颗粒物污染预测方法. 首先设计一个全面损失函数(C-Loss), 综合考虑预测结果与实况之间的绝对误差和相对误差, 通过与常用的均方损失函数对比, 证明 C-Loss 可以使预测模型更适合细颗粒物; 然后根据领域专家需求, 设计一个可交互的可视分析系统, 领域专家可以高效地获取一系列时刻的预测结果, 从而交互式地深入探索大气污染的形成过程与气象因素之间的相关性, 为进一步制定防污减排方案提供了科学依据. 通过一系列应用示例全面地分析了污染物的形成原因, 并验证了预测模型的有效性. 

关键词: 大气污染; 可视分析; 基于卷积门控循环单元 

长按扫码阅读全文或复制网址访问

https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.19897

负面评论引导的高维多元数据可视分析系统

作者: 吕梦雅, 王晓龙, 李凯旋, 孙梦梦, 周莉莎, 郭栋梁, 赵静

单位: 燕山大学信息科学与工程学院; 河北省计算机虚拟技术与系统集成重点实验室; 河北省软件工程重点实验室

摘要:  随着互联网平台以及多用户社交网络的成熟, 群体用户消费体验的参考价值日趋扩大, 在海量评论数据中,负面评论对企业和消费者的参考价值更为突出, 有效的面向负面评论的可视分析是有必要的. 针对评论数据高维多元的特征, 为了给企业和消费者提供全新的评论分析视角, 以负面评论为切入点, 给出负面评论的划定范围, 提出了一个交互式的可视分析系统. 首先, 利用情感分析和意见挖掘方法处理用户评论数据, 并提出评论个体影响力差异量化方法; 其次设计了主题情感波纹图、评论比较视图等一系列交互式可视化表示方法, 利用动态交互式方法构建多维度关联视图探索影响负面评论产生的因素, 负面评论产生的原因及其个体化差异. 3 个案例的结果表明, 所提系统是有效和实用的; 同时, 该系统还可扩展应用于其他领域的评论文本可视分析中. 

关键词: 负面评论; 情感分析; 意见挖掘; 可视分析

长按扫码阅读全文或复制网址访问

https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.19874

融合趋势嵌入和粒度增强网络的小样本医学时间序列预测

作者: 于敬楠, 张春霞, 薛新月, 薛晓军, 牛振东 

单位: 北京理工大学计算机学院

摘要:  随着大数据分析和深度学习的迅猛发展, 时间序列预测方法被广泛应用于医学、金融、气象和交通等领域, 为众多应用任务提供决策支持. 针对小样本医学数据特征维度低和现有深度学习方法易于造成过拟合问题, 研究小样本医学时间序列预测任务, 提出融合趋势嵌入和粒度增强网络的预测方法. 首先在卷积神经网络的框架下, 粒度增强网络分别从时间维度和特征维度将医学时间序列数据提升为三维张量; 然后以医学时间序列样本的一阶差分作为方向向量, 基于方向导数生成趋势嵌入表征; 再构建静态空间邻接矩阵和动态时间邻接矩阵, 并通过时空图卷积网络学习时空嵌入表征; 最后将构建的时空嵌入、预测嵌入和趋势嵌入整合到基于图卷积网络、门控循环单元和残差网络的网络架构之中, 实现医学时间序列预测. 在 Cancer, ILI, Baries 和 COVID-19 这 4 个数据集上的实验结果表明, 与预测结果最佳的基线模型 T-GCN 相比, 所提方法在每个数据集的 MAE, MAPE 和 RMSE 这 3 个评价指标上分别降低 34.0607, 0.0107, 70.6728; 11.1808, 0.0950, 20.7285; 0.3546, 0.1127, 0.4553 和 449.2437, 0.0144, 1174.7273, 其性能优于基线方法, 验证了该方法的可行性及有效性. 

关键词: 时间序列预测; 趋势嵌入; 粒度增强网络; 时空图卷积网络

长按扫码阅读全文或复制网址访问

https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.19880

增强多层网络心理地图保持效果的力引导布局算法

作者: 奎晓燕, 王子潇, 郑智浩, 赵欢喜, 杨燕贻, 张潮, 夏佳志

单位: 中南大学计算机学院; 中南大学湘雅二医院健康管理中心; 青海师范大学高原科学与可持续发展研究院

摘要:  为了增强多层网络可视化中网络布局的心理地图保持效果, 减轻读者在跨层分析任务中的认知负担, 提出一种应用于切片式多层网络可视化的力引导布局算法. 首先计算节点副本间的单向吸引系数; 然后根据单向吸引系数和各节点副本的当前位置计算各节点副本的理想位置及距离差; 最后结合距离差损失项、KK 算法能量函数和节点副本间距损失项构建损失函数并优化得到布局方案. 通过在 10 个公开数据集, 包括 7 个社交网络数据集、3 个遗传网络数据集上, 与同类型算法对比在心理地图保持指标, 即节点移动总距离上的表现的结果表明, 所提算法能够显著增强多层网络布局的心理地图保持效果. 

关键词: 多层网络布局; 心理地图保持; 力引导算法

长按扫码阅读全文或复制网址访问

https://www.jcad.cn/article/doi/10.3724/SP.J.1089.2024.19881