《国家科学评论》（National Science Review，NSR）今年第8期出版了“机器学习自动化”专题（Special Topic: Machine Learning Automation），专题特邀编辑为：西安交通大学徐宗本院士、南京大学周志华教授，以及清华大学朱文武教授。本专题共收录9篇文章，包含1篇Editorial、2篇Research Highlight、4篇Perspective和2篇Review，展示了该领域的最新进展，并讨论发展方向。
专题编者按
徐宗本（西安交通大学）、周志华（南京大学）、朱文武（清华大学）
随着大数据和大模型技术的迅猛发展，机器学习学科已经进入了一个前所未有的黄金时代。这一时代的典型特点是机器学习在各个领域不断涌现新型的技术方法，包括数据利用、网络架构开发、损失函数设置和算法创新等。这些进步使得机器学习的应用有效扩展到不同领域，如自动驾驶、艺术创作、科学研究等。尽管如此，但配置和部署机器学习系统的复杂性也随之不断增加，大大提升了其有效应用的困难程度，为一般用户使用机器学习算法带来了巨大的挑战。
机器学习自动化（Machine Learning Automation, MLA）是应对上述挑战的一个重要研究方向。其主要目的是提高机器学习的适应性和效率，特别是对于动态变化的开放环境以及不同的任务，并有望以最小的成本设计出有效的算法。近年来，这一领域吸引了很多研究关注，推动了一系列兼具创新性与实用性的解决方案的出现。
本期NSR专题致力于展示机器学习自动化领域的前沿进展，并为这一重要领域的未来探索提供参考。本专题共收录8篇文章，包括研究亮点（Research Highlight）2篇、观点文章（Perspective）4篇，以及综述文章（Review）2篇。
两篇Research Highlight文章分别介绍了两种最近发展的MLA方法：开放环境机器学习（OpenML）和模拟学习方法论（SLeM）。它们分别适用于处理开放环境中和动态变化下的任务。第一篇文章中，澳大利亚迪肯大学李罡教授和印度韦洛尔技术大学Aswani Kumar Cherukuri教授介绍了OpenML的主要思想及其对鲁棒人工智能的内在贡献。第二篇文章中，北京大学姚方教授介绍了SLeM超越当前机器学习框架的任务泛化能力，并主要强调了其在数据层面的泛化能力。
四篇Perspective文章中，徐宗本等全面介绍了SLeM的框架、理论、算法和应用，并特别介绍了基于该框架构建的一些MLA实现算法，如数据自动选择、模型自动调整、损失自动设置、算法自动设计等，展示了SLeM对提升机器学习在实际数据和任务上应用效果的潜在应用价值。大连理工大学刘日升和北京大学林宙辰展示了一项有趣的研究，通过利用双层优化策略，从而能够在统一优化的角度下对不同类型的MLA任务进行统一建模，这一思想有望为解决一般MLA问题提供优化工具。清华大学朱军教授介绍了用于模拟连续域数据分布，并为某些学习任务自动生成新样本的扩散模型，并强调了扩散模型的训练稳定性和强大的模型拟合能力。清华大学黄高则对动态网络进行了简要介绍。与在推理过程中依赖固定计算图和静态参数的传统深度学习模型不同，动态网络可以根据变化的输入动态调整其架构和参数。这种灵活性在准确性、计算效率、适应性和其他关键性能指标方面具有显著优势。
两篇Review文章中，南方科技大学唐珂和香港岭南大学姚新概述了一系列近期研究，这些研究利用来自特定类别优化问题的一组训练示例来归纳共享知识，从而用以减轻繁重的算法配置过程。这篇综述在“学习优化”（Learn to Optimize）框架内展开讨论，强调了该领域的关键概念和重大挑战。清华大学的王鑫和朱文武综述了神经网络架构搜索方面（neural architecture search, NAS）的最新进展、实际应用、工具方法、测评基准和未来方向。这一研究方向有利于系统地探索复杂神经网络架构空间，以最少的手动干预识别最佳的神经网络配置方案。
虽然该专题无法涵盖MLA领域的所有方法和进展，但它重点展示了该领域一些最具代表性的最新成果。我们希望这些文章能够激发进一步的研究，并鼓励更多的研究人员探索这一领域，从而进一步推动MLA研究的进展。
专题篇目
Machine learning automation
机器学习自动化
作者：徐宗本（西安交通大学）、周志华（南京大学）、朱文武（清华大学）
RESEARCH HIGHLIGHT
Embrace Open-environment Machine Learning for Robust AI
拥抱开放环境机器学习，实现稳健人工智能
通讯作者：李罡（澳大利亚迪肯大学）
https://doi.org/10.1093/nsr/nwad300
本文对南京大学周志华教授NSR综述文章“开放环境机器学习”（OpenML）进行推介。作者深入解析了新的OpenML范式，揭示了其在动态环境中实现稳健人工智能的变革性意义。OpenML可以推动自动化机器学习及通用人工智能的发展。
A Learning Theory of Meta Learning
元学习的学习理论
作者：姚方（北京大学）
https://doi.org/10.1093/nsr/nwae133
本文概述了元学习领域的最新理论进展，尤其介绍了模拟学习方法论（Simulate Learning Methodology，SLeM）框架。作者认为，SLeM有望像SRM（结构风险最小化原理）推动传统机器学习发展一样，为元学习的发展提供有力支持。
PERSPECTIVE
Simulating learning methodology (SLeM): An approach to machine learning automation
通讯作者：徐宗本、束俊、孟德宇（西安交通大学）
https://doi.org/10.1093/nsr/nwae277
Bilevel optimization for automated machine learning: a new perspective with framework and algorithm
通讯作者：刘日升（大连理工大学）
https://doi.org/10.1093/nsr/nwad292
本文基于双层优化技术，阐述了机器学习的方法论，为理解和解决机器学习自动化问题提供了新的视角。
Synthetic data generation by diffusion models
用扩散模型生成合成数据
作者：朱军（清华大学）
https://doi.org/10.1093/nsr/nwae276
Dynamic neural networks: advantages and challenges
动态神经网络：优势与挑战
作者：黄高（清华大学）
https://doi.org/10.1093/nsr/nwae088
深度神经网络的复杂程度已经逼近人脑，但其能量效率仍显著低于后者。近年来兴起的“动态神经网络”具有可变的结构与参数，有潜力弥合这一差距。本文对动态神经网络进行分类介绍，并探讨了该研究领域的机会与挑战。
REVIEW
Learn to Optimize - A Brief Overview
通讯作者：唐珂（南方科技大学）
https://doi.org/10.1093/nsr/nwae132
机器学习任务往往依赖于某个优化问题的求解，后者常常涉及繁琐、费时的优化算法参数配置（调参）过程。目前已有大量研究尝试借助机器学习的方法论来实现高效、高质量的优化算法自动调参乃至从头设计，形成了“学习优化”（Learn to Optimize）这一研究方向。本文对该领域的进展进行综述。
Advances in neural architecture search
神经网络架构搜索前沿进展
通讯作者：王鑫、朱文武（清华大学）
https://doi.org/10.1093/nsr/nwae282
作为一种自动化机器学习技术，神经网络架构搜索在学术界和工业界引起了广泛关注。本文系统性总结了神经网络架构搜索的核心技术进展，深入探讨了算法原理、评测基准和开源平台，并展望了其在多领域中的广泛应用，为未来的研究提供了重要的方向指引。本文将收录于NSR“机器学习自动化”专题。
