![]()
我们提出了第一个可用于大脑功能性连接轨迹嵌入编码的可解释框架(Brain TokenGT)，应用于神经退行性疾病中的诊断和预后。![]()
1）利用大脑功能性连接轨迹的独特特征，我们开发了图不变和变体嵌入，它能够生成节点和时空边的嵌入；2) 将嵌入视为令牌(token)，使用可训练令牌类型标识符和不可训练节点标识符来增强令牌，并将它们输入到标准transformer编码器中进行读出而不是全局池化，从而进一步从其中提取信息并通过令牌级任务缓解过度拟合问题；3) 我们在两个公开静息状态 fMRI 数据集(ADNI、OASIS) 上进行了广泛的实验，其中包括三个不同的任务（健康 (HC) 与轻度认知障碍(MCI) 分类、AD 转换预测和淀粉样蛋白阳性与阴性分类）。我们的模型以大脑连接轨迹作为输入，并伴有节点和边级别的解释，显示出优异的结果。
方法
在GIVE中，INE通过对动态邻域图进行演化卷积来生成节点嵌入，而VEE通过定义时空边来组合不同时间点，将整个轨迹转换为对偶超图并产生时空边嵌入。这些嵌入通过可训练类型标识符和不可训练节点标识符进行增强，用作标准transformer编码器的输入，以便在 BIGTR 内读出。
结果
![]()
我们的方法明显优于浅层学习（蓝色）、单时间点可行的深度学习（黄色）、多时间点可行的深度学习（绿色）和我们的消融（粉色）。![]()
我们展示了模型认为重要的节点和边。蓝色箭头指向左颞叶和海马旁区域，绿色箭头指向上额叶区域。
这项研究提出了首个可解释的大脑功能性连接时间轨迹嵌入框架，该框架可用于神经退行性疾病的诊断和预后，尤其是在小规模数据集上，即Brain Tokenized Graph Transformer（Brain TokenGT）。实验结果显示，我们的框架具有出色的性能，内置的解释能力出色，支持特定于AD的脑网络退行性变。这项研究的未来研究方向可能涉及增强模型的“时间分辨率”。例如，在诊断和预后中估计不确定性，考虑疾病进展，并提供特定于时间的节点和边缘级别的解释。
Reference:
Dong Z, Wu Y, Xiao Y, Chong JSX, Jin Y, Zhou JH, Beyond the Snapshot: Brain Tokenized Graph Transformer for Longitudinal Brain Functional Connectome Embedding, The International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), Vancouver, Canada, 2023 论文链接：https://arxiv.org/abs/2307.00858 代码链接：https://github.com/hzlab/2023_Dong_MICCAI_Brain-TokenGT![]()
文章的第一作者是来自MNNDL的二年级博士生董子剑，本科毕业于北京航空航天大学生物与医学工程学院，现为新加坡国立大学电子与计算机工程学院在读博士生。从事神经影像领域的表征学习研究。如果您对神经科学、脑图像、精神疾病相关的研究感兴趣，欢迎关注我们的 Twitter 和网站！
Twitter：https://twitter.com/mnndl_lab
网站：https://neuroimaginglab.org/
![]()
记忆
