作者：黄曦
（图片来自网络）
研究背景
在当代人工智能技术发展与应用实践中，人们提出了许多神经网络设计与优化技术。如今，深度神经网络（DNN）已成为公认的机器学习主导模型，被广泛应用于计算机视觉、自然语言处理等诸多领域。与此同时，对DNN优化过程的理解及系统性的改进仍显著落后于其应用发展的速度。为了深入理解DNN训练优化的动态过程，现有理论工作从最优控制理论的视角出发，将 DNN的参数传递与优化过程理解成为离散时间动态系统寻求最优控制序列的优化问题。然而，这些理论洞见仅限于满足马尔科夫性质的一类离散时间动态系统（对应常见的链状拓扑前向神经网络），无法适用至有着更复杂结构的DNN（如残差神经网络）。在后一类神经网络中，其对应的动态系统状态演化不再满足马尔科夫依赖关系。如何对最优控制理论视角进行扩展延伸，以理解具有复杂结构的DNN动态优化过程，仍有待解答。
图1 已有最优控制理论视角难以解释存在非马尔科夫依赖关系的神经网络
研究方法
为解决上述问题，该研究工作基于离散时间多参与者动态博弈（Discrete-Time Multi-PlayerDynamic Game，简称 MPDG）模型视角出发，重新审视DNN训练优化过程。该工作聚焦拓扑为有向无环图（DAG）的一类DNN。在 MPDG 模型中，一个神经网络被划分为多层，每一层对应同个动态系统在单个阶段（time-step）的状态变化。在各阶段内，存在不少于一个的网络层模块（networklayer module）。每个模块被视为一个参与者，根据其对当前系统状态的观察（即当前层的全部输入）以及其它模块的可能决策，决定当前模块内的所有权重参数选择，以最小化其能量损失。由于同一层内各模块的决定共同影响系统跨越多个阶段的状态转变，因此参与者在每个阶段内都要制定对应的策略与其他参与者展开博弈。该动态博弈过程等价于对有着复杂网络结构的DNN 进行参数优化的过程。
为了研究多参与者间的博弈将使DNN 优化陷入何种均衡态，该工作定义了几种不同的信息结构（Information Structure，简称 IS），每一类信息结构定义了参与者 n在每一阶段 t 内所维护的信息集合。根据不同的信息结构，参与者将做出不同的决策。
第一类是开环信息结构（Open-loop IS），即每个参与者在各阶段内都只知道该系统的初始化状态信息（可理解为DNN的输入）。该信息结构下，参与者的独立决策与系统各阶段状态无关，故称为开环信息。而参与者博弈最终进入的均衡态被称为开环纳什均衡（Open-loop Nash Equilibrium）。
第二类是闭环信息结构（Closed-loop IS），即每个参与者在各阶段内能够获取该系统从初始到当前阶段的中间状态信息。换言之，该信息结构包含了过去阶段内系统的响应状态，即闭环信息。由于这一结构包含了更多网络状态信息，参与者需要制定更为复杂的依赖系统状态的条件策略，博弈最终的均衡态被称为反馈纳什均衡（Feedback Nash Equilibrium）。
第三类是面向合作博弈的信息结构。这类结构是对开/闭环信息结构的扩展。简单来说，合作博弈蕴涵了参与者之间达成合作协议，共同优化某一总体目标函数，同时满足群体理性（Group Rationality）和个体理性（Individual Rationality）等最优性原则。在合作博弈下，各参与者的信息结构不仅包含系统状态信息，还包含了在先前阶段内其它参与者的策略。在这一信息结构下，参与者通过交换更丰富的信息进行合作，共同优化神经网络的性能。
图2 基于多参与者动态博弈的 DNN 训练优化器
研究结果
图3 基于多参与者动态博弈的 DNN 优化器性能比较
该工作在MNIST、SVHN、CIFAR-10和CIFAR-100等图像分类基准上验证了基于多参与者动态博弈的DNN 优化器的有效性。作者还进行了消融实验，验证了动态博弈理论视角带来的额外信息结构的好处。结果表明，让标准训练方法利用更丰富的信息结构，能帮助复杂结构DNN的训练优化更稳定，并在分类任务上达到更好的性能。与标准训练方法，该优化器在训练过程中显著降低了训练过程中的方差与损失函数值，并取得了更高的分类准确率，如上图所示。这一结果不仅拓展了研究DNN优化控制的理论视角，也为复杂结构 DNN 训练性能的提升提供了新的方案。
相关论文
[1] Liu Guan-Horng, Tianrong Chen, and EvangelosTheodorou. "Dynamic game theoretic neural optimizer." InInternational Conference on Machine Learning, pp. 6759-6769. PMLR, 2021.
写在最后
我们的文章可以转载了呢~欢迎转载与转发呦
想了解更多前沿科技与资讯？
点击上方入口关注我们！
欢迎点击右上方分享到朋友圈
香港中文大学（深圳）
网络通信与经济实验室
微信号 : ncel_cuhk
