本文重点
超平面分离定理(Separating Hyperplane Theorem)是数学和机器学习领域中的一个重要概念,特别是在凸集理论和最优化理论中有着广泛的应用。该定理表明,在特定的条件下,两个不相交的凸集总可以用一个超平面进行分离。
定义与表述
超平面分离定理(Separating Hyperplane Theorem)又称凸集分离定理,其表述如下:
定义:若C和D为非空凸集,且C ∩ D = ∅,则存在非零向量a和常数b,使得对于所有x ∈ C,有a^T x ≤ b,对于所有x ∈ D,有a^T x ≥ b。也即,存在一个超平面{ x | a^T x = b }将C和D分离。
这个定理的核心在于,两个不相交的凸集总可以找到一个超平面,使得这两个集合分别位于超平面的两侧。
所以根据超平面分离定理可知,对于二分类问题而言,必然存在一个超平面(即分割超平面)能够将两类样本严格分开。而SVM求得的超平面就是这两个凸包上距离最短的两点连线的中垂线,也就是凸优化理论中的超平面分离定理中二维情况中所阐释的分类超平面。
定理的几何解释
超平面分离定理的几何解释非常直观。两个不相交的凸集可以想象成两个没有交叉和重合部分的几何形状。通过找到一个适当的超平面,我们可以将这两个形状完全分开,使得它们分别位于超平面的两侧。这个超平面就像一把“刀”,将两个集合“切”开。