最新论文发表于MICCAI 2024：我们提出了ScaPT（用于fMRI大模型的支架提示(Prompt)调参），用于高参数效率地将fMRI大模型适配下游任务。
文章链接：https://www.arxiv.org/abs/2408.10567Poster Session 2: Machine Learning: Learning Strategies and Clinical applications: Neuroimaging and Ultrasound 时间： October 7, 2024, 15:00 to 16:30
ScaPT的核心在于其分层的提示结构，能够将知识从高资源任务有效转移到低资源任务。此外，我们开发的深度条件输入-提示映射（DIP）能够捕捉复杂的输入-提示关系。
![]()
实验结果表明，与全局调参和提示调优的基线方法相比，ScaPT在神经退行性疾病诊断/预后和人格特质预测方面展现出优异的性能。![]()
提示可视化与解释：40个表型提示自然聚类成三个组别，注意力分数分析揭示了模型对不同任务的相关焦点。![]()
相较于全局调参和其他的基于提示的微调方法，ScaPT拥有卓越的参数效率。![]()
Reference:
Dong, Zijian, Yilei Wu, Zijiao Chen, Yichi Zhang, Yueming Jin, and Juan Helen Zhou. “Prompt Your Brain: Scaffold Prompt Tuning for Efficient Adaptation of fMRI Pre-trained Model.” In Proceedings of the 27th International Conference on Medical Image Computing and Computer-Assisted Intervention – MICCAI 2024. https://www.arxiv.org/abs/2408.10567![]()
文章的第一作者是三年级博士生董子剑，师从周涓副教授。他的研究方向包括神经影像大模型的预训练和微调，以及通用的表征学习。如果您对神经科学、脑图像、精神疾病相关的研究感兴趣，欢迎关注我们的 Twitter 和网站！
Twitter：https://twitter.com/mnndl_lab
网站：https://neuroimaginglab.org/
![]()
记忆
