论文简介
近年来，随着神经网络在回归任务中取得的巨大成功，许多研究人员尝试将其用于解决复杂的约束优化（决策）问题，但如何才能使得神经网络的输出满足指定约束是亟需解决的关键问题。标准激活函数（如ReLU、Sigmoid和Softmax）能够施加一些简单的约束，但对于更一般的线性约束则无能为力。为使神经网络的输出满足约束，直观的想法是在损失函数中引入罚项，但这种方法存在惩罚系数难以选择、无法从理论上保证约束违反量有界的问题。
为此，团队提出了GLinSAT，即用于满足一般线性约束的神经网络激活层。团队将一般线性约束的可满足性问题建模为含线性约束的熵正则优化问题，并证明了上述问题可以转化为具有 Lipschitz 连续梯度的无约束凸优化问题。在此基础上，团队提出了GPU上无需矩阵分解的可微求解器用以求解上述问题，通过加速梯度下降法并利用GPU的并行性来加速前向和反向传播。与现有的约束可满足层相比，所提方法是第一个用于满足一般线性约束的神经网络激活层且其中所有操作均是可微、无需矩阵分解的，从而能够在保证约束满足的前提下显著提升训练效率。通过在约束旅行商问题、带异常值的部分图匹配、预测投资组合分配和电力系统机组组合问题上的实验，团队证明了所提出的GLinSAT相较于现有的约束可满足层可以实现十倍甚至百倍的加速。
GLinSAT的工作流程
审核 | 李琦
清华大学电机系微信官方公众号
发布清华大学电机系新闻动态、师生活动、系友风采，弘扬电机系优秀文化、传统与精神，欢迎大家关注、转发并积极供稿。
长按二维码关注我们
