本文介绍来自华北电力大学孙笠老师团队发表在NeurIPS 2024上的一篇文章“Spiking Graph Neural Network on Riemannian Manifolds”。脉冲神经网络由于其低功耗和事件驱动的特性受到深度学习领域的关注。在图学习问题上，现有脉冲图神经网络仅支持在欧几里得空间建模，忽略了图结构的内蕴几何，并且受到传统的BPTT训练方式的高时间延迟问题的影响。
鉴于上述问题，作者提出在黎曼流形上的脉冲图神经网络，设计了一种简单而有效的黎曼流形脉冲图神经网络（MSG）。它可以应用于任何测地线完备的流形，如常曲率空间（CCS）及其积空间与商空间。
为构建该脉冲网络，本文设计了一种黎曼脉冲神经元，其基于流形的微分通路（DvM）为训练脉冲神经网络提供了一全新的视角，可避免BPTT训练高延迟的缺陷。在理论上，作者揭示了MSG与黎曼流形常微分方程的深刻联系。在现实数据集的实验中，MSG展现出优于现有脉冲图神经网络的表达能力，并且其能源效率相比于典型的黎曼图神经大大提高。该研究为脉冲神经网络和黎曼图学习带来了新的可能。
本文介绍来自华北电力大学孙笠老师团队发表在NeurIPS 2024上的一篇文章“Spiking Graph Neural Network on Riemannian Manifolds”。脉冲神经网络由于其低功耗和事件驱动的特性受到深度学习领域的关注。在图学习问题上，现有脉冲图神经网络仅支持在欧几里得空间建模，忽略了图结构的内蕴几何，并且受到传统的BPTT训练方式的高时间延迟问题的影响。
鉴于上述问题，作者提出在黎曼流形上的脉冲图神经网络，设计了一种简单而有效的黎曼流形脉冲图神经网络（MSG）。它可以应用于任何测地线完备的流形，如常曲率空间（CCS）及其积空间与商空间。
论文名称：
Spiking Graph Neural Network on Riemannian Manifolds
论文链接：
https://arxiv.org/abs/2410.17941
一、背景与研究动机
传统的图神经网络（GNN）通过复杂的浮点运算获得强大的表达能力，但与此同时带来了高昂的能耗开销；脉冲神经网络（SNN）利用脉冲神经元进行稀疏和事件驱动的通信，具有功耗低的特点。近年来，脉冲图神经网络（Spiking GNN）逐渐受到学界的关注，并设计了一系列脉冲网络架构，例如图卷积、注意机制、变分自编码器和连续图神经网络。虽然上述工作取得了阶段性的成功，但是脉冲图神经网络仍然面临亟待解决的挑战:
(1)表示空间
现有脉冲图神经网络在欧几里得空间中建模图结构，忽略了图结构所蕴含的几何特性。大量的研究表明图结构具有典型的非欧特性，且基于欧式空间的嵌入会导致不可避免的失真。近年来，基于黎曼流形的图表示学习取得了巨大的成功，然而其尚未与脉冲神经网络建立联系。
(2)训练算法
离散的脉冲序列并不可微，这成为了训练脉冲神经网络的主要障碍。现有方法通常将脉冲图神经网络类比于循环神经网络，进行梯度替代并采用BPTT方法训练模型。这类训练方法需要逐时间步地梯度回传，也因而存在高延迟的问题。
二、黎曼流形脉冲图神经网络（MSG）
2.1 流形脉冲层
2.2学习方法：基于黎曼流形的微分通路（DvM）
Pushforward、Pullback and Dual Space
三、理论：MSG与神经微分方程
在理论上，作者揭示了MSG与神经微分方程的内在联系：MSG在极限意义上等价于黎曼流形常微分方程的求解器。
作者利用黎曼流形的图卡（chart）这个概念来研究MSG和黎曼流形常微分方程之间的关系。黎曼常微分方程如下：
MSG利用动态chart（图3）的思想分析黎曼流形常微分方程的解。动态chart求解器的定义如下：
四、实验与评估
4.1 实验结果和讨论
4.1.1表达能力
4.1.2消融实验
在不同的表示空间中，训练时间的对比实验如图4(a)所示：DvM的反向传播时间明显少于BPTT算法。此外，作者计算了DvM的反向梯度，并在图4(b)中绘制了每一层的梯度范数，这表明DvM不会出现梯度消失或者梯度爆炸的问题。
4.1.3能耗开销
4.1.4可视化与讨论
五、总结与展望
本文作者从崭新的黎曼几何视角研究了脉冲图神经网络，设计了一种基于黎曼流形的脉冲神经元。其以微分同胚关联黎曼流形与脉冲序列，并提供了基于黎曼流形的微分（DvM）通路以避免传统BPTT训练的高延迟问题。作者进一步揭示了其数学构形与流形常微分方程的内在理论联系；大量的实验证实该模型取得了当前最优的结果。
本文为在提出脉冲神经网络训练方法的同时，也为低能耗的黎曼神经网络设计开辟了新的路径。作者也指出其网络架构主要适用于无向、同质图，而其他类型的图学习仍然是开放的研究问题。
扫码观看！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线600+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
