每天五分钟机器学习:函数间隔和几何间隔

职场   2024-12-07 23:59   浙江  

本文重点

在机器学习和统计学习中,尤其是在支持向量机(SVM)的理论和应用中,函数间隔和几何间隔是两个核心概念。理解这两个概念对于掌握SVM的原理和应用至关重要。

从函数间隔到几何间隔

一般而言(不是确定的),一个点距离超平面的远近可以表示为分类预测的确信或准确程度。比如上面有三个点A、B、C三个点,那么A距离最远,那么我们可以认为A分类最准确。

比如在超平面w*x+b=0确定的情况下,|w*x+b|能够相对(不是确定的)的表示点x到距离超平面的远近,虽然它是函数距离, 并不是几何距离。

同时w*x+b的符号(预测)与类标记y(实际)的符号是否一致表示分类是否正确,所以,可以用量y*(w*x+b)的正负性来判定或表示分类的正确性和确信度(如果为正表示分类正确,如果为负表示分类不正确)。

这里我们引出了函数间隔的概念,函数间隔我们可以理解为|f(x)|(f(x)的绝对值),我们把函数间隔定义为:

它的正负可以表示为样本是否预测正确,大小可以表示为点x到分割超平面的距离。所有的样本点i均可以通过yif(xi)通过这个公式来计算函数间隔,当然每个样本点的函数间隔有大有小,这里我们定义超平面(w,b)关于训练数据集T的函数间隔为超平面(w,b)关于T中所有样本点(xi,yi)的函数间隔的最小值,如下:

我们前面说过了函数距离只能相对的表示远和近,这是因为如果成比例的改变w和b,如将他们改变为5w和5b,我们知道等比例变化,但此时超平面没有改变,因为等比例扩大了5倍,所以函数间隔的值f(x)却变成了原来的5*5=25倍。这显然是不合理的,为了解决这个问题,我们引入了几何距离:

我们可以对法向量w加些约束条件,使其表面上看起来规范化,我们除以了w的范数,这样分子和分母就会等比例的变化了,这样即使w和b等比例变大,这个整体的大小也不会变化,这个就是几何间隔,表示点到超平面的距离。

我们定义几何义超平面关于训练数据集T的几何间隔为超平面关于T中所有样本点(xi, yi)的几何间隔之最小值,即:

超平面(w,b)关于样本点(xi,yi)的几何间隔一般是实例点到超平面的带符号的距离 ,当样本点被超平面正确分类时就是实例点到超平面的距离,正确分类为正,不正确分类为负

函数间隔

函数间隔是数据点到超平面的线性距离的绝对值。在SVM中,给定一个训练样本点 (x_i, y_i),其中 x_i 是特征向量,y_i 是结果标签(取值为+1或-1),以及一个超平面 w*x + b = 0,函数间隔的定义为:

每天五分钟玩转人工智能
一个人没有梦想和神经网络有什么区别?
 最新文章