在很多机器学习算法中都能看到核函数的身影,例如,支持向量机(SVM)、核主成分分析(Kernel PCA)等。
这里的核函数能够在某个其他特征空间(通常是高维的)中计算点积,而无需知道从当前空间到其他空间的映射。
它是如何做到的?让我们来分析一下。
目标
首先,重要的是要注意,核函数提供了一种方法,可以在某个高维空间中计算两个向量的内积,而无需将向量投影到该空间。
如下图所示,核函数的输出预计与投影向量之间的内积相同。
这样做的好处是,它只需要操作原始特征空间中的向量,就能得到这两个向量投影到更高维(但未知)空间中计算的内积。
如果这有点令人困惑,让我举个例子。
假设使用下面的多项式核。
为了简单起见,假设X和Y都是二维向量。
简化上面的表达式,可以得到:
展开平方项,得到:
最终表达式: