New Research Results
科研进展
近日，上海国家应用数学中心（上海交通大学分中心）、自然科学研究院周冰心博士及其合作者结合谱图卷积算法和交替方向乘子算法开发开发双项优化机制，为含有大量节点和边噪音的图数据寻找可靠的向量表示方法，显著提升深度图神经网络在分类任务上的预测效果。此项研究成果以“Graph Denoising with Framelet Regularizers”为题，于2024年4月24日发表在机器学习和人工智能领域顶级期刊IEEE Transactions on Pattern Analysis and Machine Intelligence
原文链接
https://ieeexplore.ieee.org/document/10508114
现实世界中收集的图数据通常包含噪音，直接进行学习会影响深度学习的预测准确度，比如在用于流行性疾病诊断的社交网络图中，患者（节点）可能夸大症状（节点属性）或隐藏连接（边）——对这种不准确的邻域信息进行聚合会导致对社区风险水平进行错误分类。因此开发具有鲁棒性的图表示学习工具十分必要。然而尽管类似的研究在图片和表格数据中经常被讨论，针对图数据的去噪研究还相对较少。现有的少量研究通常利用特征平滑的方式，通过对邻居向量进行加权平均来削弱节点噪音，但是这种方法没有考虑边特征的噪音。另一方面，通常使用的L2范数会引导图神经网络寻找全局平滑的节点表示方法，这一过程中会压缩许多局部特征，对节点邻域信息的表达能力产生限制。
作为一项探索图去噪方法的工作，本文关注两个研究问题：（1）如何度量嘈杂图中特征信号和结构空间的平滑程度？（2）如何设计一个与各种图卷积层都兼容的去噪方法？
双项优化机制的概念架构。DoT从输入图（蓝框）中逐步更新特征和结构信息（灰框）。输出表示（绿框）可以传导至下一层，用于标签预测或进一步操作。
围绕两个核心问题，文章首先统一了基于时空间和谱图空间卷积网络的优化框架，并进一步为图卷积神经网络介绍全新的正则化目标来处理图数据节点和结构上的局部噪音，利用凸优化ADMM（Alternating Direction Method of Multipliers）交替方向乘子算法对模型进行优化。文章所介绍的双项优化机制（DoT）在保留核心图属性的同时，检测和消除图表示中的噪声。节点去噪、边去噪和逼近约束的三位一体共同构成了整体优化框架（如上图所示）。噪声水平通过以节点度为权重的图范数来衡量，引导更活跃节点（即具有更多邻居的节点）承担更小的含噪风险。对于节点特征噪声，我们将普遍使用的L2范数替换为L1范数，以促进转换域的稀疏性，而不过分追求平滑性。对于边噪声，我们采用L-2,1图范数，将错误集中在连接的节点上，并减少重要估计错误的可能性。这一方法能够有效收敛到最优解，从而为每个节点找到具有丰富局部特征的向量表示。同时，实验结果表明这一方法在同构图和异构图上都有很好的表现，且即使在处理节点和边上具有大量噪音的输入数据上也显著优于其他的去噪方法。
上海国家应用数学中心（上海交通大学分中心）、自然科学研究院周冰心博士为第一作者与通讯作者，自然科学研究院王宇光副教授为主要合作者。工作得到了国家自然科学基金委青年基金支持。
长按识别二维码关注我们
长按扫描二维码｜关注我们
图文编辑 I 刘海彤
责任编辑 I 程芳
