交通 | 求解单边界约束严格凸二次问题的随机积极集方法

科技   2024-12-23 20:03   德国  

积极集方法旨在寻找最优解对应的正确积极集,是解决界约束的严格凸二次问题的有力方法。为了保证有限步收敛,现有的积极集方法都需要严格的条件或一些额外的策略,这会影响算法的效率。为此,我们在积极集的更新过程中引入随机性,提出了一种随机积极集方法。我们证明了无需对问题加任何额外条件,该算法以概率1有限步终止。数值实验表明,该算法可以通过较少次迭代得到正确的积极集,并且比现有方法具有更好的效率和鲁棒性。

01.

优化问题

本文中,我们考虑的优化问题是具有单边界约束的凸二次问题。不失一般性,我们将约束设置为非负约束,问题表述如下:

其中是一个对称正定矩阵。

由于问题(1)是凸的并且满足线性独立约束条件,因此求解该问题等价于求解其Karush-Kuhn-Tucker(KKT)系统,即

其中是拉格朗日乘子。

对于任何索引集,我们用来表示由索引的的分量。类似地,对于矩阵和索引集表示的子矩阵。后续我们使用  表示积极集,  表示非积极集,也就是  ,其中是(1)的最小值点。通过互补松弛,我们可以得到  和 。定义上述符号之后,KKT系统(2)可以重写为

02.

随机积极集方法

在积极集方法中,当给定索引集时,可通过式(3)中的前两个方程,解得。根据元素的符号,可以进一步划分为 可以划分为,再交换部分以获得新的进行下一次迭代,直至成为空集,KKT系统(3)完成求解。如Fletcher的经典积极集方法[1]每次迭代只交换一个索引,而KR方法[2]每次交换全部。KR方法确实在很多问题上大大减少了积极集方法的迭代次数,但当的条件数不满足假设时,KR方法可能出现迭代循环[3],导致不收敛。因此,后续一些研究通过添加不确定索引集、设置可行迭代等策略在理论上保证算法的有限中止性。
我们提出一个随机积极集方法(RAS)[4],其核心思想是在选择要交换的索引时引入随机性,避免出现循环。一个通用RAS算法框架如下:

在步骤2中,我们定义作为索引集的子集,其中是与长度相同的向量,的第个元素存在于中的概率。这里,我们要求每个概率都从中选择,这使得中的每个索引都具有一定的概率删除或者保留。可以证明,通用RAS可以以概率1有限步终止。

03.

随机积极集方法的概率设置

我们对RAS中具体的概率设置采用先分类再调参的策略。分类依据有两点。第一是的概率设置应不同。因为对应方程组求解,而不参与。另外,受二维情形启发,可推测将索引移出的概率应高于将索引移出的概率。第二是结合上一次迭代中索引所属集合,比如我们倾向于以更高的概率移动在连续两次迭代中不可行的索引。因此,我们考虑两步索引隶属类别的6种不同组合,如表1所示。

表1:当前迭代和上一次迭代中集合的组合

针对这6种组合,相应地给出6个概率参数。以它们为变量构造一个新的极小化问题,其目标函数是RAS求解几个测试问题所需的迭代总数。该目标函数无表达式且不连续,因此我们将其视为黑盒优化问题并通过Matlab中的surrogateopt函数求解。由于问题的随机性,我们重复求解50次,取平均值作为最终结果,得到。这组概率符合上述的预期。RAS算法的完整流程如下:

04.

数值结果

在数值实验部分,我们主要将RAS同以下几个方法进行对比:积极集方法(KR方法[2],MKR[5])、内点法(MATLAB-quadprog)和梯度投影法(BoxVABBmin)。数值实验包含随机生成的问题和测试集问题。
首先是随机生成的数据。算例1的生成方式与[5]中6.1节一致。三种积极集方法都可以在较少的迭代次数内终止,如表2所示。时间上RAS与KR接近,优于MKR。

表2:RAS、KR和MKR在算例1中的比较,,初始积极集索引为。数值为10次平均。

算例2使用[3]中的生成方式,结果见表3。条件数增加时,KR出现不收敛的情况,MKR和RAS迭代次数增多,两者相较于内点法在时间上保持优势。另发现随着稠密度增大,MKR和RAS迭代次数也会变多,MKR更为明显。

表3:算例2结果对比。

算例3采用稠密矩阵和等比的特征值分布,结果见表4。KR无法求解的情况依然很多,MKR中需要求解线性方程组的次数也已经超过1000,而RAS可以稳定在50以内。在时间方面,RAS对比内点法也具有优势。

表4:算例3结果对比。

对于测试集问题,我们测试了[5]中的Harmonic和Biharmonic方程问题以及Chain80数据集。Harmonic和Biharmonic方程问题的表现类似,其中Biharmonic方程问题的对比见表5,RAS与MKR相似,优于内点法和梯度投影法。对于Chain80数据集的101个问题,我们对比了RAS、MKR和BoxVABBmin,结果如图1所示,RAS优于其他两种算法。

表5:Biharmonic方程问题测试。

图1:MKR、RAS、BoxVABBmin在Chain80数据集上的性能概况。

作者简介

顾然,南开大学统计与数据科学学院副教授,博士生导师,南开大学百名青年学科带头人。主要研究最优化理论与算法及其在材料科学和管理科学中的应用,在Mathematics of Computation、Transportation Research Part E、npj Computational Materials等国际权威期刊发表学术论文近二十篇。主持国家自然科学基金青年项目,参与国家重点研发计划,入选国家高层次人才引进计划青年项目。担任中国运筹学会算法软件与应用分会理事,天津市工业与应用数学学会常务理事,副秘书长,青年工作委员会主任委员。


高冰,南开大学数学科学学院讲师。研究方向为相位恢复、稀疏恢复、非凸算法,相关论文发表在ACHA、IEEE TSP等期刊。

参考文献 

向下滑动阅览

[1] R. Fletcher, “A general quadratic programming algorithm,” IMA Journal of Applied Mathematics, vol. 7, no. 1, pp. 76–91, 1971.

[2] K. Kunisch and F. Rendl, “An infeasible active set method for quadratic problems with simple bounds,” SIAM Journal on Optimization, vol. 14, no. 1, pp. 35–52, 2003.

[3] F. E. Curtis, Z. Han, and D. P. Robinson, “A globally convergent primal-dual active-set framework for large-scale convex quadratic optimization,” Computational Optimization and Applications,

vol. 60, pp. 311–341, 2015.

[4] R. Gu and B. Gao, “A random active set method for strictly convex quadratic problem with simple bounds,” Mathematics of Computation, 2024.

[5] P. Hungerlander and F. Rendl, “A feasible active set method for strictly convex quadratic problems with simple bounds,” SIAM Journal on Optimization, vol. 25, no. 3, pp. 1633–1659, 2015.

供稿:顾然,高冰

排版:柚子美编九号(西安交大金融优化组姜姜)


微信公众号后台回复

加群:加入全球华人OR|AI|DS社区硕博微信学术群

资料:免费获得大量运筹学相关学习资料

人才库:加入运筹精英人才库,获得独家职位推荐

电子书:免费获取平台小编独家创作的优化理论、运筹实践和数据科学电子书,持续更新中ing...

加入我们:加入「运筹OR帷幄」,参与内容创作平台运营

知识星球:加入「运筹OR帷幄」数据算法社区,免费参与每周「领读计划」、「行业inTalk」、「OR会客厅」等直播活动,与数百位签约大V进行在线交流



                    


        




文章须知

文章作者:顾然,高冰

责任编辑:江镕行

微信编辑:疑疑

文章转载自『柚子优化』公众号,原文链接:求解单边界约束严格凸二次问题的随机积极集方法





关注我们 

       FOLLOW US





































运筹OR帷幄
致力于成为全球最大的运筹学中文线上社区
 最新文章