为什么说“kernel trick”是一种“trick”?

文摘   2024-11-01 09:05   辽宁  

在很多机器学习算法中都能看到核函数的身影,例如,支持向量机(SVM)、核主成分分析(Kernel PCA)等。

这里的核函数能够在某个其他特征空间(通常是高维的)中计算点积,而无需知道从当前空间到其他空间的映射。

它是如何做到的?让我们来分析一下。

目标

首先,重要的是要注意,核函数提供了一种方法,可以在某个高维空间中计算两个向量的内积,而无需将向量投影到该空间。

如下图所示,核函数的输出预计与投影向量之间的内积相同。


这样做的好处是,它只需要操作原始特征空间中的向量,就能得到这两个向量投影到更高维(但未知)空间中计算的内积。

如果这有点令人困惑,让我举个例子。

假设使用下面的多项式核。

为了简单起见,假设X和Y都是二维向量。

简化上面的表达式,可以得到:

展开平方项,得到:

最终表达式:

人工智能大讲堂
专注人工智能数学原理和应用
 最新文章