深度学习+神经元形态，详细梳理最新进展！（下）

文摘 2024-10-18 12:17 中国香港

在上一期的内容中,我们介绍了深度学习方法在建模神经元的形态方面的几个典型的应用深度学习+神经元形态，详细梳理最新进展！(上）还没有了解背景知识的同学，可以先阅读上一篇文章哦！在这一篇推送中，我们将继续介绍深度学习方法在分析和建模神经元形态上的几篇最新的代表性工作。

GraphDino

GraphDino模型将图神经网络（GNN）和对比学习结合起来，使用了更强的Encoder增强了表示能力。

神经元作为一种特殊的图，自然也可以被图神经网络来进行处理。类似的，GraphDINO也采用了对比学习的pipeline，但GraphDINO使用了EMA更新和更复杂的Encoder，比起TreeMOCO的LSTM-based Encoder而言，基于GNN和Attention的模型表达力更强。

GraphDINO使用基于Transformer的图神经网络作为backbone网络，利用Attention 机制来学习所有其他图节点到某一节点的信息。

对于Position Embedding而言，GraphDINO通过度矩阵D和邻接矩阵A求得拉普拉斯矩阵L = I − D^−1/2AD^−1/2 作为图的结构表示，L的最大奇异值则作为Position Embedding。此外，Attention层加入邻接矩阵A来考虑图的邻接关系，因此作者称其为AC-Attention (Adjacency-Conditioned Attention)。

GraphDINO在每次更新模型时，采用EMA（指数移动平均）方法来进行平均，即更新的模型权重实际上是最近的一系列模型的平滑，越近的模型的权重越高。

作者在GraphDINO中使用了做了较为详细的消融实验，指出了各个Augmentation的作用，以及Attention层的重要性。但对于N个节点的网络而言，其邻接矩阵A为N✖N的矩阵，这在空间上的消耗是比较大的。

在单个数据集上，GraphDINO的性能已经较为不错。但如果可以整合多个数据集进行学习，也许可以进一步提高性能。而基于流行的预训练模型的MorphRep就解决了这一问题。

MorphRep

下面，我们来介绍MorphRep。和之前的所有模型不同的是，MorphRep是一个预训练模型，在许多已有的神经元上进行训练，这意味着可以利用大规模神经元数据集学习到一些可泛化知识，再应用于在具体的数据集上进行微调。

这是MorphRep的pipeline。MorphRep使用了神经元形态学重建中的所有信息，包括(x,y,z,type,r)和结构信息A。

在数据增强方面，MorphRep沿用了之前的思路，对神经元进行增强，包括了抖动、旋转、下采样、删除分支等方式。此外，MorphRep也使用了GraphDINO中的AC-Attention，利用结构信息来计算Attention，因此效果更好。同样类似的是，MorphRep使用了拉普拉斯矩阵L作为图的结构编码，以保证不同神经元的结构信息被编码在注意力机制中。

MorphRep使用了EMA Update来更新模型的参数，这是一种经典的对比学习策略。MorphRep的主要损失函数借鉴了计算机视觉领域的预训练模型 DinoV2，使得模型能学习到神经元的多层次鲁棒表示。在下游微调中，MorphRep使用了Adapter的结构，在原始模型的基础上添加了Adapter层，可增加模型在小数据上微调的鲁棒性和泛化性。

在模型评估方面，MorphRep首先在七个数据集上全面评测了模型相比于之前的非预训练模型的优势，并探索了MorphRep在多层次神经元参考图谱构建，神经元形状属性分析等任务上，神经元疾病检测等任务上的潜在应用。下图展示了MorphRep 在神经元疾病检测上的优异性能。

总体来看，MorphRep是预训练Transformer在生物学问题上的实际应用，它在寻找神经元表示的下游任务上表现出色，成为了目前该领域的SOTA模型。

DSM

相比于前述将神经元形态学数据编码为图结构数据的做法，发表于Patterns的DSM采取了另一个不同的思路。DSM将图结构的神经元形态数据通过深度优先搜索转换为序列结构的数据。同时，与之前方法直接使用神经元节点的三维坐标作为特征不同的是，DSM引入了辅助的大脑坐标系，将原始的三维空间坐标映射到了预先定义好的空间脑区。通过这些预处理方式，DSM将神经元形态的图结构数据转换为了序列数据，可以直接使用 VAE，LSTM 等结构的网络建模神经元形态数据。

DSM模型在神经元聚类，神经元分类等任务上均取得了优秀的效果，但该方法并未与前文所述的一系列方法进行效果比较。

总结

从MorphVAE到MorphRep，神经元表示模型随着深度学习的发展而发展，性能也越来越强。不同的模型循着不同的路径，用不同的方法表示神经元。事实上，模型的进化并不是没有规律的，每个模型都考虑了更多的因素，用上了更多的信息，用可以处理更多信息的模型。

MorphVAE作为一个生成模型，既可以用来生成神经元表示，也可以根据VAE进行生成。CAJAL模型思路简单，效果较好，模型的可解释性强，但在大规模数据集上计算速度很慢。TreeMOCO用上了对比模型，并生成了增强数据扩充了数据集的大小，考虑了“相近”和“不相近”的概念，而GraphDINO增强了模型的表示能力，利用Transformer代替了TreeMOCO的LSTM-base Encoder，并用上EMA来更新模型。MorphRep利用了已有的大量神经元数据集进行预训练，在相关数据集上进行微调。进一步完善了更多的下游任务。

或许在多模态大模型迅速发展的当下，随着测量方法的提高，神经元更多维度和模态的信息可以被用于生成神经元的完善表示。如果进一步考虑时间信息，模型或许可通过最终的形态来模拟神经元随时间变化的过程，这对于人类脑部生长的研究有所帮助。从时间的角度看，这一系列模型都可以促进人类对神经元的认识，提高人类理解自身的智能和“深度学习的基础模型”神经网络的原理。

【注意：转载请联系本公众号获得授权。】如果您对我们的内容有任何疑问需要咨询或想要联系作者，可以备注“AIMS”联系课代表。也欢迎大家投稿！

AIMShare课代表咨询

童鞋，看这里

目前已有1000+人关注加入我们

推荐阅读

high-quality content

结构生物学“去污名化”：AI虽好，也不能贪杯喔

AIMShare

DNA语言模型：理解基因组的强大新工具

AIMShare

学术先锋｜源自OpenAI老对手, 揭秘AlphaFold背后“神秘组织”的前世今生

AIMShare

http://mp.weixin.qq.com/s?__biz=MzkyODczMTY4OQ==&mid=2247484760&idx=1&sn=b30fa257d9b12cb44f2efdae85892aab

AIMShare

AlMShare（Al with Mission and Social responsibility）是以推动实现有社会使命的人工智能为目标的高质量知识分享平台。我们专注于AI交叉领域研究与人才培养，致力于打破该领域信息差。

最新文章

申请季前谈：如何准备面试（委员会Commitee）

利用结构预测工具，开发RNA适体设计新方法！

特朗普当选美国总统：留学与科研或将迎来大地震

生信研究如何画图？收下这份硬核无广入门指南！

Nature: 研究生如何在老板面前抗压？

“数学天才”姜萍违反规则：科学同样需要质疑与真诚

如何在学术会议上拿捏成果展示？Nature有好建议！

单细胞研究必看！如何在自己的课题中使用单细胞大模型？

Nature：如果导师不愿意给推荐人写推荐信，怎么办？

绘制糖蛋白结构来揭示黄病毒科进化史，登上Nature

深度学习+神经元形态，详细梳理最新进展！（下）

空间转录组学数据怎么玩转自如？建图就可以了！

深度学习+神经元形态，详细梳理最新进展！(上）

申请季前谈：申请季面试，你准备好了吗？实用指南在此

DNA语言模型：理解基因组的强大新工具

学术先锋｜源自OpenAI老对手, 揭秘AlphaFold背后“神秘组织”的前世今生

结构生物学“去污名化”：AI虽好，也不能贪杯喔

CytoCommunity：图神经网络革新细胞邻域识别

不止于Alphafold3！深度解析AI预测生物分子相互作用那些事～

从AF2到AF3，AlphaFold又进化了！

如何将ChatGPT用于科研？Nature有建议！

机器学习在抗菌肽识别与设计中的应用

基于对比学习的酶蛋白功能预测工具，登上Science的工作如何在一年内产生深远影响？

从小白到Nature子刊发表，AI forBiology/Science学习路径

如何申请MPhil项目？港大学长经验贴

通俗解析生物信息学中的多模态研究：单细胞多组学

如何将本科毕业设计在Nature外部送审,发表在Nature Biotechnology?

语言模型革新同源蛋白检测，Nature Biotechnology一作聊聊论文里没有的细节！

如何写一个Research Proposal-以《基于煸炒过程加蒜技术的红烧牛肉烹饪方法》为例

从数据处理到模型训练，一文速览单细胞大语言模型进展

生物信息大模型卷起来了：应用与前景浅谈

申请季前谈：如何选择适合自己的课题组

破解RNA逆向折叠难题，扩散模型在生物大分子数据上的又一妙用！

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉