一、线性不可分问题

有时线性可分的数据夹杂一点噪声，可以通过改进算法来实现分类，比如感知机的口袋算法和支持向量机的软间隔。但是有时候数据往往完全不是线性可分的，比如下面这种情况：

在异或问题中数据往往不是线性可分的，但通过将数据映射到高维空间后就可以实现线性可分。可以认为高维空间中的数据比低维空间的数据更易线性可分。对于异或问题，我们可以通过寻找一个映射将低维空间中的数据映射成高维空间中的来实现数据的线性可分，例如：

然后在新的空间中，该数据就可以实现线性可分：

二、核方法的引出

映射到高维空间以后出现的问题是计算复杂度的加大，例如在支持向量机的求解过程中求解的优化问题可以转换为如下的优化问题：

将数据映射到高维空间后也就需要求解以下优化问题：

将数据拓展到高维的方法可以用来解决完全非线性的问题：

然而在上面的方法中如果先将与计算出来然后再做点积，由于维度特别高加之得到与也需要计算量，因此计算量是相当大的，因此就有了核方法。

通过使用核函数我们可以直接得到与的内积，正定核函数定义如下：

其中是Hilbert空间（完备的可能是无限维的被赋予内积的线性空间），如果去掉内积这个条件我们简单地称为核函数。

Hilbert空间定义中的完备指的是对极限是封闭的，被赋予内积代表空间中的元素满足以下性质：

因为支持向量机的求解只用到内积运算，所以使用核函数会大大简化运算量。

三、正定核函数的证明

正定核函数还有另外一个定义：

这个定义也就是正定核函数的充要条件，其中两条性质分别指的是：

证明对称性+矩阵半正定：

①:
首先证明对称性

然后证明

②:

得证。

说明一下证明矩阵半正定的两种方法：