分享信息，整合资源
交流学术，偶尔风月
近日，《国家科学评论》（National Science Review, NSR）在线发表了华南理工大学数学学院刘锐教授团队和中国科学院分子细胞科学卓越研究中心陈洛南研究员的研究成果。
该研究团队开发了一种基于单神经元的“小模型”深度学习框架（one-core-neuron system, OCNS），这一系统仅通过单个核心神经元实现了高精度且可解释的时序预测，为构建高效深度学习提供了新的思路和潜力。
当前，深度学习领域的“大模型”正面临严峻挑战。这些模型通常包含数十亿甚至上千亿的参数，训练和运行需要大量的计算资源，耗费巨大的能源，并带来不可持续的碳排放问题。这不仅限制了这些模型在资源受限场景中的应用，还对环境产生了潜在威胁。在这样的背景下，如何实现高效、低能耗的人工智能成为学术界和工业界关注的焦点。
基于延迟嵌入理论，该团队通过时空信息（spatiotemporal information transformation）转换和多延迟反馈设计的单核心神经元框架“小模型”，将高维系统的状态数据编码为一维时间序列，不仅理论上和计算上可保证由一维时间序列表征高维数据，而且能够极大地减少参数规模，同时保持甚至超越“大模型”的时间序列预测性能。
图1 OCNS的整体框架
图2 OCNS在基准数据集上和其他方法的预测性能比较
这一突破不仅为深度学习和类脑科学研究开辟了高效新路径，展现了广泛的应用潜力和深远的影响，也为绿色人工智能的未来提供了有力支持。
华南理工大学数学学院刘锐教授和中国科学院分子细胞科学卓越研究中心陈洛南研究员为该论文共同通讯作者，华南理工大学数学学院彭昊博士和陈培教授为论文共同第一作者。该研究感谢苏州大学马欢飞教授的建议和帮助。该工作得到了国家自然科学基金、上海市科学技术委员会、广东省基础与应用基础研究基金等项目的资助。
扩展阅读
