神经信息处理系统大会（Conference on Neural Information Processing Systems，NeurIPS）是机器学习领域最权威的会议之一，与 ICML、ICLR 并列为机器学习三大顶级会议。今年的会议 NeurIPS 2024 将于 12 月 9 日至 15 日在加拿大温哥华的 Vancouver Convention Center 举行，大会总共收到了 15671 篇有效投稿，最终录用率为 25.8%。MNNDL的 fMRI foundation model 相关工作被 NeurIPS 2024 录用并评为 Spotlight.Poster时间: Wed 11 Dec 11 a.m. PST – 2 p.m. PST地点: East Exhibit Hall A-C #4007
论文题目：
Brain-JEPA: Brain Dynamics Foundation Model with Gradient Positioning and Spatiotemporal Masking
作者：
Zijian Dong*, Ruilin Li*, Yilei Wu, Thuan Tinh Nguyen, Joanna Su Xian Chong, Fang Ji, Nathanael Ren Jie Tong, Christopher Li Hsian Chen, Juan Helen Zhou
National University of Singapore
*Equal Contribution
论文链接：https://arxiv.org/abs/2409.19407
代码链接：https://github.com/Eric-LRL/Brain-JEPA
我们提出了一种全新的大脑活动分析框架。这个模型引入了Joint-Embedding Predictive Architecture（JEPA），专注于处理大规模的功能磁共振成像（fMRI）数据，通过自监督学习来解码复杂的大脑活动。相比于传统的任务特定模型，Brain-JEPA 具有更好的泛化能力，尤其是在不同的种族和疾病预测任务中表现卓越。该模型的核心技术包括Brain Gradient Positioning和Spatiotemporal Masking，通过构建功能性坐标系和优化掩码策略，Brain-JEPA 提高了对大脑动态活动的解析能力，并为疾病预测和个体特征评估提供了更有效的工具。
![]()
上图展示了Brain-JEPA的核心架构，模型通过Vision-Transformer（ViT）对fMRI数据进行编码和预测。首先，fMRI数据被分割成多个“patch”，并通过Spatiotemporal Masking技术分为Cross-ROI、Cross-Time和Double-Cross区域。模型选取一个“Observation”作为输入，通过Observation Encoder生成表征，然后利用Brain Gradient Positioning技术对大脑功能区域进行坐标编码，并用正弦和余弦函数进行时间编码。接着，轻量Encoder对Observation的表征进行预测，最后通过与Target Encoder的输出对齐来优化模型。
这里展示了大脑功能网络在不同梯度轴上的分布，反映了大脑区域间的功能连接。
Brain-JEPA在多个下游任务中的性能对比，显示了其在年龄、性别和神经退行性疾病诊断中的领先表现。随着模型规模的增大，性能显著提升；相较于BrainLM，Brain-JEPA拥有更稳健的linear probing性能。
消融实验表明Brain Gradient Positioning更自然地捕捉了大脑功能分区的信息，提升了模型对大脑动态的学习能力；Brain-JEPA使用的时空掩码技术，在较少预训练迭代（epoch）时就已经超过了传统掩码策略的性能。结果表明，Brain-JEPA的时空掩码不仅提高了模型的性能，还加速了预训练过程，显著提升了模型的训练效率。
注意力机制在不同大脑网络上的分布，揭示了Brain-JEPA在不同种族群体中的一致性表现。
Reference:
Dong, Zijian*, Ruilin Li*, Yilei Wu, Thuan Tinh Nguyen, Joanna Su Xian Chong, Fang Ji, Nathanael Ren Jie Tong, Christopher Li Hsian Chen, and Juan Helen Zhou. “Brain-JEPA: Brain Dynamics Foundation Model with Gradient Positioning and Spatiotemporal Masking.” arXiv preprint arXiv:2409.19407, 2024. https://arxiv.org/abs/2409.19407文章的共同第一作者是三年级博士生董子剑，师从周涓副教授。他的研究方向包括神经影像大模型的预训练和微调，以及通用的表征学习。 文章的共同第一作者之一是博士后李芮林。他的研究方向包括生成式模型，多模态，自监督学习，迁移学习，脑机接口等等。如果您对神经科学、脑图像、精神疾病相关的研究感兴趣，欢迎关注我们的 Twitter 和网站！
Twitter：https://twitter.com/mnndl_lab
网站：https://neuroimaginglab.org/
记忆
