人脑由百亿级异质性神经元构成，是目前已知唯一能够实现通用智能的复杂系统。自20世纪中期人工神经网络概念提出以来，科学家们始终致力于在人工系统中模拟大脑的卓越认知能力。近年来，随着计算能力的飞速提升和对大脑认知机制的深入研究，整合神经科学、计算机科学和认知科学，以开发更高效、更智能的计算系统，已成为研究的关键方向。
近日，北京航空航天大学邓岳教授和清华大学郭雨晨助理研究员，基于其团队在单细胞认知解析技术（Nature Methods 2019）和人工智能交叉应用（Nature Biotechnology 2022, Nature Communications 2024）的长期积累，提出了一种基于自抑制神经元的异质脉冲框架（Heterogeneous spiking Framework with self-inhibiting neurons，HIFI），显著提升了神经网络的效率和准确性，展现了其在复杂认知任务中的应用潜力。相关研究成果以“Biologically inspired heterogeneous learning for accurate, efficient and low-latency neural network”为题发表于《国家科学评论》（National Science Review，NSR）。
HIFI原理图
HIFI模型
与传统方法仅优化网络层级的突触权重参数不同，HIFI通过双层嵌套策略交替优化神经元参数和突触权重，显著增强了网络的学习和记忆能力。此外，该嵌套学习机制也具备一定的生物学可解释性，即随着时间的推移，神经突触会在神经元的进化过程中逐渐消除或形成，反映了生物系统的适应性进化特性。
自抑制神经元的生物保真性
可训练的自抑制神经元为探索哺乳动物脑神经元复杂的神经动力学提供了新的视角。研究表明，所提出的模型能够准确再现单个神经元和神经元群体在统计学上的特性，显著提升了人工神经元的动力学拟合能力。
该模型为脑机接口场景提供了优异正则，提高了下游解码任务的效率，展示了其作为神经网络构建单元的潜力。
这种自抑制神经元模型为理解大脑信息处理机制提供了生物学上的保真性，也为开发更高效的人工智能系统奠定了基础。
HIFI的高效能计算特性
相比传统模型，HIFI实现了更快、更高、更强：处理速度提高最多5倍，准确性最多提高10%，能耗降低最多17.83倍。
静态图像数据：HIFI实现了更准确、更鲁棒、更高效
此外，HIFI从神经形态数据中学习到的神经元参数在分布特性上与哺乳动物神经元的参数呈现相似性，表明该模型不仅具有优异的性能表现，还在一定程度上具备生物学上的合理性，进一步支持了其在类脑计算领域的应用前景。
神经形态数据：HIFI学习的参数分布部分近似于生物先验
HIFI的科学发现
HIFI识别罕见细胞类型
这项跨学科研究提出了一种具有高精度、高效能和低延迟的学习框架，具有广泛应用于通用机器学习任务的潜力，为生物启发的人工智能领域提供了新的视角。研究结果展示了该框架在多种复杂任务中的应用前景，推动了生物启发的计算模型向通用智能的方向迈进。
该研究受到国家自然科学基金委（No. 62325101和No. 62031001）的资助。
了解详情，请阅读原文
[点击下方链接或阅读原文] ▼
Biologically inspired heterogeneous learning for accurate, efficient and low-latency neural network
https://doi.org/10.1093/nsr/nwae301
