交通 | Introduction to Linear Optimization——从分离超平面到对偶的反向论证

科技   2024-10-20 20:02   德国  

前言

上一节,我们通过对偶定理推导出 Farkas 引理,并介绍了线性不等式。

本节将从第一原理出发,证明分离超平面的一般结果,其后建立 Farkas 引理,并证明由 Farkas 引理可以推导出对偶原理,从而实现从分离超平面到对偶的反向论证。

基本定理


闭集

若集合具有以下性质,则其被称为闭集:若中收敛于的一个元素序列,那么有。换言之,包含其任意元素序列的极限。直观地,集合包含其边界值。

【定理 1】

任意多面体都是闭集。

Weierstrass 定理

下面定理是实际分析的基本结果,其提供了优化问题最优解存在的条件。

【定理 2】

Weierstrass 定理是连续函数,且的非空闭有界子集,则存在,使得对所有均成立。类似地,存在使得对所有均成立。

若集合不是闭集,则 Weierstrass 定理是无效的。例如,考虑集合,存在的元素序列收敛于零,但不属于,即该集合不是闭集。另一方面,成本函数不在中任一点取极小,对于任意,均存在成本更小的正数,且没有可行的是最优的。通过严格不等式定义可行集导致集合不闭合,因此,多面体和线性规划问题的定义不允许存在严格的不等式,以保证 Weierstrass 定理的有效性。

分离超平面定理

若给定非空闭凸集和点,则可以找到一个超平面使得位于不同的半空间(如图 1),该超平面称为分离超平面
图1 分离点和凸集的超平面

【定理 3】

分离超平面定理的一个非空闭凸子集,且为不属于的向量,则存在向量,使得对于所有均成立。


Farkas引理回顾


     下面证明 Farkas 引理可以由分离超平面定理推导得出。

本节仅考虑 Farkas 引理中较为复杂的部分,即证明以下命题:若方程组无解,则存在向量使得

且向量不属于。显然,集合是凸集,且由可得其非空。此外,集合也是闭集,证明如下:是多面体轴上的投影,则其本身也是多面体,因此是闭集。

根据分离超平面定理可以分离,并且可知存在向量使得对所有成立。由,可得。进一步,对于的每一列和任意,有。将后一不等式两端除以,并令其取趋于无穷的极限,可得。上述结论对任意均成立,因此可得,证毕。


对偶定理回顾


     下面将通过 Farkas 引理推导对偶定理。

本节仅考虑约束形式为时的证明,更一般情况的证明可以沿着相同的思路构造。
考虑下列主问题和对偶问题,

并且假设主问题有一个最优解。下面证明对偶问题有一个具有相同成本的可行解,由此即可从弱对偶定理推导出强对偶定理。

处积极约束的指标集合,下面首先证明对任意,任何满足的向量,也必定满足。考虑满足的向量,设是一个正标量,则对所有。另外,若充分小,则不等式可以推导出。由此可得,当充分小时,是一个可行解。由的最优性,可得,证毕。根据 Farkas 引理,可以表示为向量的非负线性组合,并且存在非负标量,使得
对于,定义,则有,且式(1)表明向量满足对偶约束。此外,

上式表明对偶可行解的成本与最优主问题成本相同,由此可推导得对偶定理。



总结

本节首先证明了分离超平面定理,其后利用分离超平面定理建立了 Farkas 引理,并证明了强对偶定理是 Farkas 引理的一个简单推论,从而实现了从分离超平面到对偶的反向论证。下一节将介绍锥和极射线的相关概念和性质。



微信公众号后台回复

加群:加入全球华人OR|AI|DS社区硕博微信学术群

资料:免费获得大量运筹学相关学习资料

人才库:加入运筹精英人才库,获得独家职位推荐

电子书:免费获取平台小编独家创作的优化理论、运筹实践和数据科学电子书,持续更新中ing...

加入我们:加入「运筹OR帷幄」,参与内容创作平台运营

知识星球:加入「运筹OR帷幄」数据算法社区,免费参与每周「领读计划」、「行业inTalk」、「OR会客厅」等直播活动,与数百位签约大V进行在线交流



                    


        




文章须知

文章作者:交通与优化

责任编辑:江镕行

微信编辑:疑疑

文章转载自『交通与优化』公众号,原文链接:书籍导读 | Introduction to Linear Optimization 第16节:从分离超平面到对偶的反向论证





关注我们 

       FOLLOW US


































运筹OR帷幄
致力于成为全球最大的运筹学中文线上社区
 最新文章