优化 | 求解全局优化问题的填充函数方法及两个进展

科技   2024-11-16 20:01   德国  


摘要


对于具有多个局部极小点的全局优化问题,经典的优化算法通常很难找到其全局极小点。为避免算法囿于局部极小点所在邻域,研究者设计了多种机制来跳出局部最优,其中填充函数方法是一种由葛人溥教授于20世纪80年代开发的可以从当前局部极小点跳到更优可行区域的较为有效的确定性算法。通过构造名为填充函数的辅助函数来跳出局部最优,其原理简单,易于实现。近三十年来,填充函数方法不断完善,日臻成熟,已经被应用于求解无约束优化问题、约束优化问题、整式规划问题、双层规划问题和非线性方程组等。但由于填充函数方法的性能深受填充函数形式的影响,如需要调节的参数会影响求解效率和解的精度,指数项和对数项会导致数值计算不可行,不可微甚至不连续导致基于梯度信息的优化算法不能用于求解填充问题等,填充函数方法仍需不断改进和完善。最近,我们在填充函数方法方面有两个进展:(1) 提出一种新的无参数连续可微填充函数,发表在 Journal of Computational and Applied Mathematics;(2)提出了一种与目标函数具有相同局部极小点的单参数填充函数,发表在 Optimization。


1

引言


现实中的优化问题由于其实际背景,往往是非凸问题,可归结为如下最小化多模态目标函数的全局优化问题:

其中为决策变量,为可行域,是多模态的目标函数。

经典优化方法求解全局优化问题时往往陷入非全局最优的局部最优解,为此研究者提出了一系列跳出局部最优的全局优化算法。根据设计原理,全局优化算法可分为两类:随机性算法和确定性算法。随机性算法借助随机因子寻找问题的最优解,如模拟退火法、遗传算法、粒子群算法和鲸鱼优化算法等。确定性算法借助问题的数学性质可以找到较高精度的解,如分支定界方法、打洞函数方法和填充函数方法。
填充函数方法作为一种有效的确定性优化方法,容易实现、计算效率高、对存储资源的需求小,受到研究人员的青睐。该方法的主要思想:(1)通过极小化目标函数得到一个局部极小点;(2)在处构造填充函数,以附近的点为初始点对填充函数进行极小化,从而跳出所在的盆谷,找到一个比更优的可行点;(3)以为初始点极小化目标函数。不断重复上述步骤,直到满足终止条件(填充函数的极小点不再是比目标函数当前局部极小点更优的可行点),此时将目标函数的局部极小点视为全局极小点。图1给出了填充函数方法的全局寻优框架。

图 1: 填充函数方法框架


2

填充函数方法的演化


自葛人溥教授于20世纪80年代提出填充函数方法以来,填充函数方法从完善填充函数定义和改进填充函数形式两个方面进行不断演化,在这一演化过程中填充函数方法的应用范围也不断被拓宽。
葛人溥教授首次提出的填充函数定义为

定义2.1.(见[1])设的一个局部极小点,函数被称为在点处的一个填充函数,如果具有以下性质:

  1. 的一个局部极大点,而且处的盆谷成为峰的一部分;
  2. 在比盆谷高的盆谷中没有极小点或平稳点;
  3. 如果有低于的盆谷,则的连线上存在极小点
该定义的第三个条件很难实现,使用局部搜索方法可能无法找到比目标函数当前局部极小点更优的可行点。张连生教授等人改进了定义2.1的第三个条件,提出了一种新的填充函数定义(定义2.2),使填充函数算法更容易实现。

定义2.2. (见[2]) 设的一个局部极小点,函数被称为在点处的一个填充函数,如果具有以下性质:

  1. 的一个局部极大点,而且处的盆谷成为峰的一部分;
  2. 在比盆谷高的盆谷中没有极小点或平稳点;
  3. 如果有低于的盆谷,则的连线上存在极小点, ,其中是盆谷最低点的邻域。
后来,杨永建教授和尚有林教授在定义2.2的基础上进一步完善填充函数定义,提出定义2.3,使构造填充函数和找到其局部极小点更容易。

定义2.3. (见[3]) 函数是目标函数在局部极小点处的填充函数,只要其满足:

  1. 的一个严格局部极大点;
  2. 内没有驻点;
  3. 如果不是的全局极小点,那么 在  内一定有局部极小点。
葛人溥教授最早应用填充函数法[1]寻找无特殊结构的多模态函数的全局极小点,所提出的填充函数形式如(2.1)所示:

(左右滑动查看公式)

其中是两个参数,如果这两个参数选择不当,则填充函数算法的第二阶段不会收敛。另外,当的值太小,或者的值太大时,填充函数的导数几乎是0,填充函数算法将会在一个假鞍点处结束。

后来,葛人溥和秦永峰提出两个单参数填充函数,以减少参数选择的计算量。但是他们提出的填充函数中还存在对数项,当可行域足够大或者当变量的值变大时,对数项会导致目标函数全局极小值的丢失。因此,刘显在2001年提出一种不含指数项的单参数填充函数,但是由于该填充函数在内没有定义,不能采用基于梯度信息的局部极小化算法极小化填充函数。2002年,Lucidi等人提出一种连续可微的填充函数,不过这个填充函数包含两个难以调节的参数。为了克服参数调节困难,指数项和对数项对数值计算的影响以及不可微甚至不连续使得基于梯度信息的高效算法难以用于极小化填充函数等问题,国内外学者陆续提出不含对数项和指数项的双参数、单参数、无参数、连续可微的填充函数。
在填充函数定义和形式不断改进完善的过程中,其应用范围不断被拓宽,如引入离散局部优化算法求解无约束整数规划、填充函数方法和罚函数方法以及拉格朗日乘子方法结合求解约束优化问题、将非线性方程组和数据拟合问题转化为全局优化问题使用填充函数方法求解等。



3

填充函数方法的两个新进展


到目前为止,填充函数方法已经取得了很大的进步,但在处理一些优化问题时仍然囿于局部极小点,算法的性能不是很理想。这些可能是由以下原因引起的:(1)指数项或对数项的存在影响算法的稳定性;(2)包含多个参数,增加了计算成本;(3)填充函数在某些点没有定义或不可微甚至不连续,不能使用基于梯度信息的局部极小化算法;(4)现有算法的设计可能不够严谨,导致在实际计算中存在不足。为了克服这些问题,我们最近做了两个工作,分别发表在 Journal of Computational and Applied Mathematics 和 Optimization 上。


3.1

一种新的无参数连续可微填充函数


为了克服参数调节以及指数项和对数项引发的数值不稳定的困难,且应用基于梯度信息的局部极小化算法极小化填充函数,我们提出了一个新的无参数连续可微填充函数,并将其应用于求解非线性方程组和数据拟合问题[4]。
所提填充函数形式为

其中的局部极小点,

填充函数(3.1)具有以下优点:首先该填充函数是连续可微的,极小化填充函数时可以使用牛顿法和共轭梯度法等经典的基于梯度信息的局部极小化算法,可显著提高填充函数算法的效率。其次,该填充函数没有参数,克服了参数难以调节的困难。最后,该填充函数没有指数项和对数项,不会造成数值溢出,保证了算法的数值稳定性。


3.2

一种与目标函数具有相同局部极小点的单参数填充函数


填充函数的极小点通常不是目标函数的极小点,仅是其更优的可行点,为了寻得目标函数更优的极小点需要再次极小化目标函数。为了简化全局寻优框架,提出一种与目标函数具有相同局部极小点的单参数填充函数[5],填充函数的极小点是目标函数更优的极小点,可省去再次极小化目标函数的步骤,简化填充函数方法的算法框架。
所提填充函数形式为

其中是一个容易调节的参数,连续可微且满足下面的性质:

其中表示的导数,条件(2)意味着内单调递减。
填充函数(3.2)也是连续可微的,具有一个易于调节的参数,使得填充函数算法的实现十分简单。另外,该填充函数与目标函数具有相同的局部极小点,避免对目标函数和填充函数进行交替极小化,有效地降低计算成本。同时还提出一种改进的填充函数算法,打破传统填充函数算法的框架,有效地提高了算法的性能。图2示例了所改进的填充函数算法的全局寻优进程。

图 2: 算法迭代过程图解

假设是一个一维函数,选择满足条件(1)和(2)。设是在可行域中随机选择的一个点, 以作为初始点来极小化目标函数,如图(a)所示,为得到的目标函数的局部极小点。图(b)显示在极小点处构造和目标函数具有相同极小点的填充函数。图(c)展示了填充函数优化过程, 获得填充函数的局部极小点。在图(d)极小化填充函数的过程中,使用邻域中有限个点作为初始点,都不能找到比更优的局部极小点,被认为是的全局极小点,算法终止。


4

结论


目前,填充函数方法已经得到较大发展,能够有效地解决全局优化问题。但是填充函数方法还存在一些问题亟待解决。本文所提出的两个填充函数符合填充函数的定义,并且具有一些较好的性质,试验结果表明所提的填充函数方法具有较好的适用性和有效性。未来将致力于研究具有良好性质的填充函数,并把这类方法拓展到更多领域。


参考文献


[1] R.P.Ge, A filled function method for finding a global minimizer of a function of several variables, Math. Program 46 (1990) 191-204.

[2] L.S.Zhang, C.K.Ng, D.Li, W.W.Tian, A new filled function method for global optimization, Journal of Global Optimization 28 (2004) 17-43.

[3] Y.J.Yang, Y.L.Shang, A new filled function method for unconstrained global optimization, Applied Mathematics and Computation 173 (2006) 501-512.


[4] Y.L.Shang, D.Q.Qu, J.X.Li, R.X.Zhang, A new parameter-free continuously differentiable filled function algorithm for solving nonlinear equations and data fitting problems, Journal of Computational and Applied Mathematics 454 (2025) 116198.

[5] Y.L.Shang, G.L.Sun, X.Q.Wang, R.X.Zhang, A class of one-parameter filled functions with the same local minima as the objective function for global optimization problems, Optimization (2024) 1–23.


作者简介

尚有林,河南科技大学数学与统计学院二级教授,博士(),博士生导师,享受河南省政府特殊津贴专家,省高层次人才,省学术技术带头人,省一级重点学科(数学)带头人,数学与应用数学国家一流本科专业负责人。(曾)任中国运筹学会常务理事,中国运筹学会数学规划分会资深理事,河南省运筹学会理事长,河南省大数据智能分析与优化创新实验室主任等社会兼职。从事非线性规划、全局优化理论、算法及应用研究,在本领域国内外重要期刊发表论文150多篇,其中80多篇被SCIEI收录。主持国家自然科学基金面上项目4项、河南省自科基金项目、国际合作项目多项。获得省自然科学二等奖、省科技进步二等奖、教育厅科技成果一、二等奖、市科技进步一、二等奖,河南省自然科学优秀学术论文一等奖等若干奖项。


孙广磊202212月在河南科技大学博士毕业并于20231月起在河南科技大学数学与统计学院工作,从事全局优化理论、算法及应用研究,主要包括群智能优化算法、填充函数算法以及全局优化算法在供应链管理等领域中的应用。曾参与多项国家自然科学基金、河南省高等学校重点科研项目基础专项等课题的研究工作;发表学术论文10余篇,其中SCI/EI论文8篇,2篇论文被人大复印报刊资料全文转载;获河南省教育厅科技成果一等奖1项、二等奖1项。


屈德强20246月上海理工大学博士毕业到河南科技大学数学与统计学院工作。主要从事最优化理论、算法及其在电力系统优化调度中的应用研究。在Omega-International Journal of Management ScienceOptimizationInternational Journal of Electrical Power & Energy SystemsJournal of Process ControlJournal of Industrial and Management OptimizationComputational Economics,系统工程理论与实践,系统科学与数学,运筹学学报,工程数学学报等国内外主流期刊发表学术论文10余篇,授权和申请专利多项,获河南省教育厅科技成果一等奖1项,是国际期刊Omega-International Journal of Management Science的审稿人。

排版:柚子美编十一号(西安交大金融优化组林木) 
如需转载请联系公众号


微信公众号后台回复

加群:加入全球华人OR|AI|DS社区硕博微信学术群

资料:免费获得大量运筹学相关学习资料

人才库:加入运筹精英人才库,获得独家职位推荐

电子书:免费获取平台小编独家创作的优化理论、运筹实践和数据科学电子书,持续更新中ing...

加入我们:加入「运筹OR帷幄」,参与内容创作平台运营

知识星球:加入「运筹OR帷幄」数据算法社区,免费参与每周「领读计划」、「行业inTalk」、「OR会客厅」等直播活动,与数百位签约大V进行在线交流



                    


        




文章须知

文章作者:尚有林等

责任编辑:Road Rash

微信编辑:疑疑

文章转载自『柚子优化』公众号,原文链接:求解全局优化问题的填充函数方法及两个进展





关注我们 

       FOLLOW US




































运筹OR帷幄
致力于成为全球最大的运筹学中文线上社区
 最新文章