《计算机辅助设计与图形学学报》15篇论文入选中国科协2024年度“长摘要双语传播工程”

长摘要双语传播工程

摘要：为了充分融合RGB和深度信息以进一步提高语义分割精度,引入注意力机制实现了RGB与深度2个模态特征的互补融合.基于编码器-解码器框架,提出了RGB-D双模态信息互补的语义分割网络,编码器采用双分支结构分别提取RGB图像和深度图像的特征,解码器采用逐层跳跃连接的结构渐进地融合不同粒度的语义信息实现逐像素语义分类.编码器对2个分支学习到的低层特征,利用RGB-D信息互补模块进行互补融合.RGB-D信息互补模块包括Depth-guided Attention Module (Depth-AM)和RGB-guided Attention Module (RGB-AM) 2种注意力.其中, Depth-AM将深度信息补充给RGB特征,解决由于光照变化引起的RGB特征不准确问题;RGB-AM将RGB信息补充给深度特征,解决由于缺乏物体的纹理信息而导致的深度特征不准确问题.在采用相同结构backbone的条件下,RGB-D双模态信息互补的语义分割网络与RDF-Net相比,在SUNRGB-D数据集上的平均交并比,像素精度和平均精度分别提升1.8%, 0.5%和0.7%;在NYUv2数据集上的平均交并比,像素精度和平均精度分别提升1.8%, 1.3%和1.9%.

关键词:RGB-D语义分割；注意力机制；编码器-解码器；RGB-D信息互补；深度学习

作者：郭奕臻，刘永翔，纪信佑，李庭瑶，马利庄，吴恩华，盛斌

单位：上海交通大学计算机科学与工程系；中国科学院软件研究所计算机科学国家重点实验室 

摘要：全局光照渲染技术在虚拟现实应用中日益普及,但其图像高分辨率采样带来的高时间成本严重影响用户感受.为解决上述问题,提出分段式卷积神经网络模型,对低分辨率采样渲染结果进行实时降噪并获得更高质量的渲染图像结果.该模型分为2段,针对已有降噪模型处理时序渲染结果序列时出现的不稳定性瓶颈,前段使用多层跳跃连接的循环卷积神经网络将渲染结果以序列为单位进行处理,保障降噪结果的时序稳定性;针对降噪模型在时序降噪中的效果瑕疵,后段串联多层渲染图像降噪卷积神经网络对处理结果进行优化;为加快模型训练速度并进一步提升降噪效果,使用低分辨率采样的场景反射率图、法线向量图、场景深度图、阴影图等渲染辅助图像信息作为辅助输入.所提模型综合了已有图像和视频降噪模型的优点,在5种自定义场景上的降噪实验结果表明,该模型具有良好的时序稳定性和降噪效果,镜面处噪点数量明显少于当前主流的OptiX降噪器;在降噪结果与目标图像的结构相似性(SSIM)指标上,与OptiX降噪器相比,该模型在5个场景中分别有5.8%, 12.2%, 1.5%, 4.7%和1.8%的提升.

关键词:实时降噪；渲染；循环卷积神经网络；降噪卷积神经网络    

单位：深圳大学可视计算研究中心

摘要：点云是表达三维数据的常见形式,点云数据提取出的几何基元能够帮助人们快速地理解并处理场景信息,也方便后续其他任务的开展.为了更好地利用人造物体中普遍存在的全局结构关系,增强基元检测过程中全局结构的正向引导,提出参数化基元检测网络——RelationNet,包括2个子模块.首先,为了更好地编码三维点与其所在基元的结构关系,通过空间偏移预测模块预测三维点所在基元中心的偏移向量,提升点对其所在基元的位置感知能力,为后续分割任务提供更多的特征依据;其次,人造物体的基元与基元之间常常具有如平行、垂直、轴对齐等结构关系,为了更好地利用这些关系实现对几何基元检测结果的改进,还包含全局结构关系提取模块,利用基元拟合后获得的参数判断各个基元之间的结构关系,并通过设置相应的损失函数对提取到的结果进行引导监督.在大型ABC数据集与基元监督拟合(SPFN), ParseNet等主流算法进行对比的实验结果表明, RelationNet在基元分割和基元分类任务上的MIoU分别达到85.32%和90.10%,与当前先进方法相比有明显的效果提升.

关键词: 几何基元检测；全局结构关系；参数化

单位：吉林大学数学学院

摘要：3D图形匹配在计算机视觉领域有着广泛的应用,其中对称图形因其几何特征十分相似,难以区分,其匹配问题一直是难点之一.针对多节肢动物模型,提出一种基于几何特征的多对称图形匹配的新算法.主要步骤为:首先选取特征点,即在热核信号极值点的基础上,采用最远点采样法和融合算法对特征点个数进行调整,得到特征点集;然后对特征点进行分类,引入对称差异度和支持点对的概念将特征点分为对称点和非对称点,再利用测地距离将对称点进一步分侧,以提高后期的匹配准确率;最后进行图形匹配,通过算法在非对称点集中确定一个参考点,利用对称点与该参考点的距离排序完成初始匹配,针对可能出现的左右交叉错误问题,对初始匹配结果进行调整,即确定模型的正方向,通过判断对称点与参考点所成向量的外积方向与正方向是否一致,将交叉错误的匹配结果进行矫正,得到正确的匹配结果.在TOSCA数据库中Ant和Spider数据集上的实验结果表明,与已有算法相比,所提算法的正确率和运行效率均有所提高, Ant模型的正确率达到了100%, Spider模型的正确率达到了80%.

关键词: 3D图形；对称点检测；图形匹配

单位：深圳大学计算机与软件学院

摘要：植物叶片自动识别算法在植物教学和生态保护等领域有着广泛应用,但由于植物种类繁多且类间差异小,传统深度学习方法需要大量的数据标注才能获得较好的训练效果.为此,提出一种基于深度半监督学习的植物叶片自动识别方法.首先,基于一致性正则化思想,为提升数据扰动质量设计了显性、隐性数据扰动流程;然后,运用深度特征提取网络DenseNet,有效地提升了植物叶片细粒度特征的辨别能力;最后,基于模拟退火训练策略过滤训练过程中的异常数据,从而缓解过拟合现象.在分别含有5 284幅和18 000幅植物叶片图像的公开数据集MalayaKew-D3和私有数据集LeafSZU-2021中获得的实验结果表明,与全量标注数据下监督学习模型相比,该方法在仅使用30%～50%标注数据量时,仍能达到92.36%～96.85%的植物叶片识别准确率;在相同数据标注量下,其平均识别准确率比当前最新的半监督球面均值聚类方法提高了2.95%,且模型参数量降低了38.12%,识别速度提高了61.51%.

关键词: 深度学习；半监督学习；卷积神经网络；特征提取；植物叶片识别

单位：浙江大学 CAD&CG 国家重点实验室; 工业和信息化部电子第五研究所

摘要：NURBS曲面逆向求值是CAD几何内核中最基础的算子之一,即计算NURBS曲面上三维空间点对应的二维参数值.然而,当前求解算法计算效率不高、鲁棒性不强,严重制约了CAD软件处理大规模复杂CAD模型的性能.现有的GPU加速算法也往往仅对传统算法进行简单并行化,没有充分利用GPU共享显存等架构特性.为此,提出一种全GPU运行的并行求解算法.基于NURBS矩阵表示的GPU逆值求解算法通过矩阵表示代替传统的B-Spline基函数递归表示,适配GPU缓存机制,实现GPU缓存优化,解决数据公用、寄存器占用和缓存频繁申请与释放等问题,从而提高求解效率.同时,该算法采用多层次求解算法,以自适应曲面细分算法得到粗略解,再辅以Gauss-Newton迭代法得到精确解,提高处理复杂模型的效率和鲁棒性.采用多张简单曲面和复杂曲面进行测试,结果表明,该算法每毫秒最多可求解超过10 000个逆值点,相比于传统算法,将NURBS曲面逆向求值速度提高了至少2个数量级.

关键词: CAD；NURBS曲面；逆向求值；矩阵表示；GPU并行计算

单位：清华大学软件学院；先进计算与关键软件海河实验室

摘要：模型数据表示是CAD几何引擎的基础,边界表示(B-Rep)和构造实体几何(CSG)表示是常用的2种模型数据表示方法,随着混合建模的发展,B-Rep和CSG混合建模开始应用于船舶等模型量大的场景,其中B-Rep与CSG实体的互相转换是一个关键性功能.针对类型多样的基本实体的B-Rep转CSG问题,设计了解析B-Rep几何结构并根据拓扑结构组合为CSG实体的转换流程.针对复杂实体的B-Rep转CSG问题,根据凹凸性将实体划分为不同类型的区域,将区域的边界作为切割环,据此提出了切割环识别算法.基于切割环识别,设计了二叉分解树进行实体分解和CSG树生成流程.对15种基本实体以及4个复杂模型的若干B-Rep实体,测量了其转换为CSG实体的转换误差和转换时间.实验结果表明,模型尺寸归一化后,文中方法可以在0.05%模型尺寸的误差范围内完成B-Rep实体向CSG实体的转换,并已支撑船舶产品设计系统(SPD)的部件小样建模平台的模型轻量化功能.

关键词: B-Rep转CSG；船舶CAD；实体分解；切割环

单位：山东大学软件学院

摘要：针对高分辨率的锥形束计算机断层扫描图像难以获取的问题,提出一种基于先验生成对抗网络的锥形束计算机断层扫描图像超分辨率方法,其通过微型断层扫描图像作为参照,对超分辨率网络进行弱监督训练.首先训练一个生成对抗网络,用于生成高质量的单颗牙齿的微型计算机断层扫描图像,并将其嵌入到一个U型的主干网络中作为先验解码器;然后利用低分辨率的多颗牙齿的锥形束计算机断层扫描图像对主干网络进行训练,先定位到锥形束计算机断层扫描影像中的每一颗牙,再分别提高分辨率;最后解决锥形束计算机断层扫描与微型计算机断层扫描之间的域差距,通过设计基于小波变换噪声提取的域适应退化模块,间接优化生成器生成更符合微型计算机断层扫描信息分布的图像.在锥形束计算机断层扫描数据集上进行实验的结果表明,与现有的超分辨率方法相比,所提方法的峰值信噪比提高了0.79～6.02 dB,感知相似度评价指标降低了0.01～0.72,并且在牙齿部分获得了更好的视觉效果,具有较强的竞争力.

关键词: 超分辨率；锥形束计算机断层扫描图像；先验生成对抗网络；弱监督学习

单位：河北工业大学人工智能与数据科学学院；河北省大数据计算重点实验室

摘要：视网膜血管分割对于辅助医生进行临床筛查与诊断眼科疾病、糖尿病等大规模疾病具有重要意义.针对现有视网膜血管分割算法对细微血管分割不足、分割易受复杂背景区域影响的问题,提出一种融合注意力机制和U-Net的TCU-Net算法对视网膜血管进行分割.首先,通过单通道特征提取、图像裁剪等预处理方法,对原始眼底图像进行特征增强与数据扩充;然后,基于U-Net结构对预处理后的图像进行分割,编码器结合ResNet与Transformer对图像细节与全局特征信息进行捕获,可有效地增强血管特征提取能力,解码器引入改进通道注意力模块辅助上采样过程,细化分割结果.在DRIVE和CHASEDB1数据集上的实验结果表明, TCU-Net算法的准确率分别为0.968 4和0.974 8,灵敏度分别为0.789 9和0.825 6,受试者工作特性曲线下方的面积分别为0.982 0和0.987 6;综合分割性能较U-Net,CIEU-Net等算法均有较大提升.

关键词:图像分割；视网膜血管；ResNet；Transformer；改进通道注意力

单位：中国科学院大学数学科学学院；中国科学技术大学数学科学学院

摘要：多边洞曲面填充是计算机辅助设计(computer-aided design, CAD)领域的基础问题,在工程设计和曲面建模中有着广泛应用.针对该问题,提出了一种基于广义非均匀有理B样条(generalizednon-uniformrationalB-splines,GNURBS)的多边洞曲面填充算法,对于任意给定的曲面边界,可以构造全局G¹连续的填充曲面.首先,将多边洞区域剖分为四边形网格,并定义该网格对应的GNURBS基函数,然后,由边界连续性约束和能量优化方法确定GNURBS表示的控制点的位置和权值.由于新算法与非均匀有理B样条(non-uniform rational B-splines, NURBS)完全兼容,可以在CAD软件中无损传递.将基于GNURBS的填充曲面和商业CAD软件CATIA生成的填充曲面进行对比时,多组测试结果表明,基于GNURBS的填充曲面具有更好的边界连续性和曲面质量.

关键词: GNURBS；多边洞曲面填充；Bézier提取算法；能量法

单位：哈尔滨工业大学电子与信息工程学院；哈尔滨工业大学仪器科学与工程学院

摘要：协同显著性检测指从一组相关图像集中识别出共同出现且显著的物体,其难点是如何挖掘与利用图像帧内、帧间的显著性线索.文中提出一种统一分级图神经网络的协同显著性检测方法.首先利用超像素分割算法将图像分割,并提取图像帧内分级显著性特征构建图模型;然后挖掘图像帧间分级显著性图嵌入,形成统一的二维分级特征体系;最后充分利用图像帧内和图像帧间的线索,提出几何注意力模块.在iCoSeg数据集上的消融实验结果表明,所提出的统一分级图神经网络中各个模块均是有效的;所提方法基于iCoSeg数据集测试的最大F-measure、平均绝对误差以及S-measure分别为0.848 6, 0.107 6和0.813 4,可以媲美或优于其他9种对比方法,最终获得的显著性图的高亮一致性和边缘均得到明显的改善.

关键词: 协同显著性检测；图神经网络；分级特征；注意力机制

单位：中国科学院软件研究所计算机科学国家重点实验室；中国科学院大学；中国科学院自动化研究所模式识别国家重点实验室；四川大学计算机学院；澳门大学

摘要：光线投射至地面的人体影子可以为人体重建任务提供约束信息,有助于缓解单目图像中的深度歧义问题和自遮挡问题.为了重建三维人体模型,提出一种基于影子输入和深度神经网络的重建方法.首先搭建2个独立的卷积神经网络模块用于提取图像特征和影子特征,并估计对应的人体模型参数;然后建立一个可导投影算子(differentiableprojectionoperator,DPO)对齐2个网络的输出;最后将DPO构建的损失函数应用于微调神经网络和直接优化输出.在Human3.6M合成影子数据集上的实验结果表明,与基线方法相比,微调神经网络的关节误差指标下降了1.4～4.9 mm;在自采集的一个含真实影子的3人2视角小规模数据集上的定性实验结果表明,直接优化的人体姿态更加接近原始图像.

关键词: 三维人体重建；人体影子轮廓；参数化人体模型；深度神经网络

单位：昆明理工大学机电工程学院

摘要：城市街道场景实例分割是无人驾驶不可忽略的关键技术之一,针对城市街景实例密集、边缘模糊以及背景干扰严重等问题,提出一种自适应调控卷积与双路信息嵌入的城市街景实例分割模型RENet.首先使用自适应调控卷积替代原有的残差结构,利用可变形卷积学习空间采样位置偏移量,提高模型对图像复杂形变的建模能力,同时对多分支结构进行通道混洗以加强不同通道间的信息流动,并应用注意力机制实现通道权重的自适应校准,提高模型对复杂场景下模糊、密集目标的分割精度;然后设计低维空间信息嵌入分支,对不同尺度特征图进行空间信息激励与重编码,在抽象语义特征中嵌入低维空间信息,提高模型轮廓分割准确性;最后引入高级语义信息嵌入模块,实现特征图与语义框的对齐,弥补特征图间语义与分辨率的差距,提高不同尺度下特征信息融合的有效性.在自建数据集上的实验结果表明,与原始YOLACT网络模型相比,RENet模型在复杂街道背景下的平均分割精度最高达到51.6%,提高了10.4个百分点;网络推理速度达到17.5帧/s,验证了该模型的有效性和在工程中的实用性.

关键词: 密集实例；街景分割；自适应调控卷积；复杂形变建模；双路信息嵌入

单位：杭州师范大学信息科学与技术学院；南京航空航天大学机电学院

摘要：点云被广泛使用在各种三维应用场景中,但是实际应用中通常存在扫描、标注费时费力等局限性,因此基于小样本数据集的点云分类网络更加符合应用需求.为了有效地提高深度学习分类算法在小样本点云数据集上的分类效果,提出一种针对小样本数据集的点云分类方法.针对训练数据集不平衡问题,首先采用基于相似度依赖的Dirichlet中餐馆过程对数据集进行预处理,在无需人工指定聚类个数的前提下对样本进行重新聚类,以提升分类网络在小样本数据集上的性能;然后在重新聚类后的样本上使用模型无关(model agnostic meta learning, MAML)算法训练PointNet++,达到用少量点云样本就能快速适应新任务的能力.所提方法不但降低了模型对数据量的依赖,提高了模型泛化能力,而且成功地把MAML算法从二维图像分类拓展到三维点云分类中;在Modelnet40数据集上的实验结果表明,与PointNet++相比,该方法的训练时间减少了一半,分类准确率平均提高6.67%,验证了该方法在小样本数据集上的有效性.

关键词: 小样本学习；点云分类；模型无关的元学习；中餐馆过程；Dirichlet过程