西瓜书第六章-支持向量机

• 一、间隔与支持向量
• 二、对偶问题
• 三、核函数
• 四、软间隔与正则化
• 五、支持向量回归
• 六、核方法
• 总结

一、间隔与支持向量

粗实线这个划分超平面所产生的分类结果是最鲁棒的，对未来示例的泛化能力最强
在样本空间中，划分超平面可通过如下线性方程来描述：
$${w\text{w}w}^{T}x\text{x}x+b=0,$$
其中$w\text{w}w=(w_1;w_2;\cdots ;w_d)$为法向量，决定超平面的方向；b为位移项，决定了超平面与原点之间的距离
样本空间中任意点$x\text{x}x$到超平面$(w\text{w}w,b)$的距离可写为
$$r=\frac{|{w\text{w}w}^{T}x\text{x}x+b|}{||w\text{w}w||}$$
$$\{\begin{array}{l}{w\text{w}w}^T{x\text{x}x}_i+b\ge +1,y_i=+1\\ {w\text{w}w}^T{x\text{x}x}_i+b\le -1,y_i=-1\end{array}$$
距离超平面最近的这几个训练样本点使上式的等号成立，它们被称为 “支持向量”（support vector），两个异类支持向量到超平面的距离之和为
$$\gamma =\frac{2}{||w\text{w}w||}$$
它被称为 “间隔”（margin）
欲找到具有“最大间隔”（maximum margin）的划分超平面，就是要找到能满足约束的参数$w\text{w}w$和$b$，使得$\gamma$最大，即
$$\begin{gathered} \underset{w,b}{\max }\frac{2}{||w\text{w}w||} \\ s.t.y_i({w\text{w}w}^T{x\text{x}x}_i+b)\ge 1,i=1,2,\cdots ,m \end{gathered}$$
可重写为
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w\text{w}w|{|}^2 \\ s.t.y_i({w\text{w}w}^T{x\text{x}x}_i+b)\ge 1,i=1,2,\cdots ,m \end{gathered}$$
这就是支持向量机（Support Vector Machine，简称SVM）的基本型

二、对偶问题

支持向量机的基本型本身是一个 凸二次规划（convex quadratic programming），能直接用现成的优化计算包求解，但其实有更高效的方法

• 对上式使用拉格朗日乘子法可得到其 “对偶问题”（dual problem） ，具体来说，对每条约束添加拉格朗日乘子$a_i\ge 0$，则该问题的拉格朗日函数可写为
  $$L(w\text{w}w,b,a\text{a}a)=\frac{1}{2}||w\text{w}w|{|}^2+\sum _{i=1}^m{a}_i(1-y_i({w\text{w}w}^T{x\text{x}x}_i+b)),$$
  其中$a\text{a}a=(a_1;a_2;\cdots ;a_m)$，对$w\text{w}w$和$b$求偏导为0
  $$\begin{gathered} w\text{w}w=\sum _{i=1}^m{a}_i{y}_i{x\text{x}x}_i \\ 0=\sum _{i=1}^m{a}_i{y}_i \end{gathered}$$
  即可将$L(w\text{w}w,b,a\text{a}a)$中消去$w\text{w}w$和$b$，再考虑约束，就得到它的对偶问题
  $$\begin{gathered} \underset{a\text{a}a}{\max }\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j{x\text{x}x}_i^T{x\text{x}x}_j \\ s.t.\sum _{i=1}^m{a}_i{y}_i=0 \\ {a}_i\ge 0,i=1,2,\cdots ,m \end{gathered}$$
  解出$a\text{a}a$后，求出$w\text{w}w$和$b$即可得到模型
  $$\begin{array}{rl}f(x)& ={w\text{w}w}^{T}x+b\\ & =\sum _{i=1}^m{a}_i{y}_i{x\text{x}x}_i^{T}x\text{x}x+b\end{array}$$
  支持向量的基本型有不等约束，因此上述过程需满足KKT（Karush-Kuhn-Tucker）条件，即要求
  $$\{\begin{array}{l}{a}_i\ge 0;\\ y_{i}f({x\text{x}x}_i)-1\ge 0;\\ a_i(y_{i}f({x\text{x}x}_i)-1)=0\end{array}$$
  补充KKT条件资料
• 显示出支持向量机的一个重要性质：训练完成后，大部分的训练样本都不需要保留，最终模型仅与支持向量相关
• SMO（Sequential Minimal Optimization）节省计算开销，SMO每次选择两个变量$a_i$和$a_j$，并固定其他参数，在参数初始化后，SMO不断执行如下两个步骤直至收敛：1.选取一对需更新的变量$a_i$和$a_j$.2.固定$a_i$和$a_j$以外的参数，求解对偶问题获得更新后的$a_i$和$a_j$
• 直观来看，KKT条件违背的程度越大，则变量更新后可能导致目标函数数值减幅增大。SMO先选取违背KKT条件程度最大的变量，第二个变量应选择一个使目标函数值减小最快的变量（计算复杂度高），SMO采用了一个启发式：使选取的两个变量所对应的样本之间间隔最大，约束可重新写为
  $$a_i{y}_i+a_j{y}_j=c,a_i\ge 0,a_j\ge 0$$
  其中
  $$c=-\sum _{k=i,j}{a}_k{y}_k$$
  如何确定偏移项$b$呢？注意到对任意支持想想$(x_s,y_s)$都有$y_{s}f(x_s)=1$，即
  $$y_s(\sum _{i\in S}{a}_i{y}_i{x\text{x}x}_i^T{x\text{x}x}_s+b)=1$$
  理论上可选取任意支持向量并通过求解上式得到$b$，但现实任务中常采用一种更鲁棒的做法：使用所有支持向量求解的平均值
  $$b=\frac{1}{|S|}\sum _{s\in S}(y_s-\sum _{i\in S}{a}_i{y}_i{x\text{x}x}_i^T{x\text{x}x}_s)$$

三、核函数

• 问题不一定是线性可分的，对这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分，令$\varphi (x\text{x}x)$表示 $x\text{x}x$映射后的特征向量，在特征空间中划分超平面所对应的模型可表示为
  $$f(x\text{x}x)={w\text{w}w}^T\varphi (x\text{x}x)+b$$
  并有
  $$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w\text{w}w|{|}^2 \\ s.t.y_i({w\text{w}w}^T\varphi (x\text{x}x)+b)\ge 1,i=1,2,\cdots ,m \end{gathered}$$
  其对偶问题是
  $$\begin{gathered} \underset{a\text{a}a}{\max }\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j\varphi ({x\text{x}x}_i{)}^T\varphi ({x\text{x}x}_j) \\ s.t.\sum _{i=1}^m{a}_i{y}_i=0 \\ {a}_i\ge 0,i=1,2,\cdots ,m \end{gathered}$$
  $$\kappa ({x\text{x}x}_i,{x\text{x}x}_j)=<\varphi ({x\text{x}x}_i,{x\text{x}x}_j)>=\varphi ({x\text{x}x}_i{)}^T\varphi ({x\text{x}x}_j)$$
  替换式中相关项，求解得到
  $$\begin{array}{rl}f(x\text{x}x)& ={w\text{w}w}^T\varphi (x\text{x}x)+b\\ & =\sum _{i=1}^m{a}_i{y}_I\varphi ({x\text{x}x}_i{)}^T\varphi ({x\text{x}x}_j)+b\\ & =\sum _{i=1}^m{a}_i{y}_i\kappa ({x\text{x}x}_i,{x\text{x}x}_j)+b\end{array}$$
  其中$\kappa (\cdot ,\cdot )$就是 “核函数”（kernel function），式中显示出模型最优解可通过训练样本的核函数展开，这一展开式亦称“支持向量展开式”（support vector expansion）
• 定理：令$\chi$为输入空间，$\kappa (\cdot ,\cdot )$是定义在$\chi \times \chi$上的对称函数，则$\kappa$是核函数当且仅当对于任意 D = { x 1 , x 2 , ⋯   , x m } D=\{\pmb x_1, \pmb x_2,\cdots,\pmb x_m\} D={xxx1​,xxx2​,⋯,xxxm​}，“核矩阵”（kernel matrix）$\mathrm{K}$是半正定的：
  $$\mathrm{K}=\left[\begin{array}{ccccc}\kappa ({x\text{x}x}_1,{x\text{x}x}_1)& \cdots & \kappa ({x\text{x}x}_i,{x\text{x}x}_j)& \cdots & \kappa ({x\text{x}x}_1,{x\text{x}x}_m)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa ({x\text{x}x}_i,{x\text{x}x}_1)& \cdots & \kappa ({x\text{x}x}_i,{x\text{x}x}_j)& \cdots & \kappa ({x\text{x}x}_i,{x\text{x}x}_m)\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ \kappa ({x\text{x}x}_m,{x\text{x}x}_1)& \cdots & \kappa ({x\text{x}x}_m,{x\text{x}x}_j)& \cdots & \kappa ({x\text{x}x}_m,{x\text{x}x}_m)\end{array}\right]$$
• 定理表明，只要一个堆成函数所对应的核矩阵半正定，它就能作为核函数使用。事实上，对于一个半正定核矩阵，总能找到一个与之对应的映射$\varphi$。换言之，任何一个核函数都隐式地定义了一个称为 “再生核希尔伯特空间”（Reproducing Kernel Hilbert Space，简称RKHS） 的特殊空间
• “核函数选择”成为支持向量机的最大变数
  
  此外，还可通过函数组合得到，例如：
• 若${\kappa }_1$和${\kappa }_2$为核函数，则对于任意正数${\gamma }_1$和${\gamma }_2$，其线性组合
  $${\gamma }_1{\kappa }_1+{\gamma }_2{\kappa }_2$$
  也是核函数
  $${\kappa }_1\otimes {\kappa }_2(x\text{x}x,z\text{z}z)={\kappa }_1(x\text{x}x,z\text{z}z){\kappa }_2(x\text{x}x,z\text{z}z)$$
  直积也是核函数
  对于任意函数$g(x)$，
  $$\kappa (x\text{x}x,z\text{z}z)=g(x\text{x}x){\kappa }_1(x\text{x}x,z\text{z}z)g(z\text{z}z)$$
  也是核函数

四、软间隔与正则化

• 所有样本均满足约束，即所有样本都必须划分正确，成为“硬间隔”（hard margin），而“软间隔”（soft margin）允许某些样本不满足约束
  $$y_i({w\text{w}w}^T{x\text{x}x}_i+b)\ge 1$$
  当然，在最大化间隔的同时，不满足约束的样本应尽可能少，优化目标可写为
  $$\underset{w,b}{\min }\frac{1}{2}||w\text{w}w|{|}^2+C\sum _{i=1}^m{\ell }_{0/1}(y_i({w\text{w}w}^T{x\text{x}x}_i+b)-1),$$
  其中$C>0$是一个常数，${\ell }_{0/1}$是”0/1损失函数“
  $${\ell }_{0/1}(z)=\{\begin{array}{l}1,ifz<0;\\ 0,otherwise.\end{array}$$
• 当C为无穷大时，迫使所有样本均满足约束；当C取有限值时，允许一些样本不满足约束
• 0/1 不连续，数学性质不好，“替代损失”（surrogate loss） 一般具有较好的数学性质，如它们通常是凸连续函数且是${\ell }_{0/1}$的上界，三种常用的替代损失函数：
  $$\begin{gathered} hindge损失函数：{\ell }_{hinge}(z)=max(0,1-z); \\ 指数损失(exponentialloss)：{\ell }_{exp}(z)=exp(-z) \\ 对率损失(logisticloss):{\ell }_{log}(z)=log(1+exp(-z)) \end{gathered}$$
  若采用hinge损失，则变成：
  $$\underset{w,b}{\min }\frac{1}{2}||w\text{w}w|{|}^2+C\sum _{i=1}^m\max (0,1-y_i({w\text{w}w}^T{x\text{x}x}_i+b))$$
  

引用“松弛变量”（slack variables）${\xi }_i\ge 0$，可将式重写为
$$\begin{gathered} \underset{w,b,{\xi }_i}{\min }\frac{1}{2}||w\text{w}w|{|}^2+C\sum _{i=1}m{\xi \text{ξ}\xi }_i \\ s.t.y_i({w\text{w}w}^T{x\text{x}x}_i+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0,i=1,2,\cdots ,m. \end{gathered}$$
这就是常用的“软间隔支持向量机”，仍是一个二次规划问题，类似的，通过拉格朗日乘子法得到
$$\begin{array}{rl}L(w\text{w}w,b,\alpha \text{α}\alpha ,\xi \text{ξ}\xi ,\mu \text{μ}\mu )& =\frac{1}{2}||w\text{w}w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ & +\sum _{i=1}^m{\alpha }_i(1-{\xi }_i-y_i({w\text{w}w}^T{x\text{x}x}_i+b))-\sum _{i=1}^m{\mu }_i{\xi }_i\end{array}$$

对软间隔支持向量机，KKT条件
$$\{\begin{array}{l}{\alpha }_i\ge 0,{\mu }_i\ge 0,\\ y_{i}f({x\text{x}x}_i)-1+{\xi }_i\ge 0,\\ {\alpha }_i(y_{i}f({x\text{x}x}_i)-1+{\xi }_i)=0,\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0.\end{array}$$

• 软间隔支持向量最终模型仅与支持向量有关，即通过采用hinge损失函数仍保持了稀疏性
• 如果使用对率损失函数${\ell }_{log}$来替代式中的0/1损失函数，则几何得到了对率回归模型
• 对率回归的优势主要在于其输出具有自然的概率意义，即在给出预测标记的同时也给出了概率。而支持向量机的输出不具有概率意义，欲得到概率输出需进行特殊处理
• 对率回归能够直接用于多分类任务，支持向量机为此则需要进行推广
• 对数回归的解依赖于更多的训练样本，其预测开销更大
• 可写为一般形式
  $$\underset{f}{\min }\Omega (f)+C\sum _{i=1}^m\ell (f({x\text{x}x}_i),y_i),$$
  其中$\Omega (f)$称为 “结构风险”（structural risk），用于描述模型f的某些性质；第二项${\sum }_{i=1}^m\ell (f({x\text{x}x}_i),y_i)$称为 “经验风险”（empirical risk），用于描述模型与训练数据的契合度；C用于对二者进行折中。
• 从风险最小化的角度来看，$\Omega (f)$表达了我们希望获得具有何种性质的模型，这为引入领域知识和用户意图提供了途径；另一方面，该信息有助于削减假设空间，从而降低最小化训练误差的过拟合风险。从这个角度来说，上式称为 “正则化”（regularization） 问题，$\Omega (f)$称为正则化项，C则称为正则化常数，$L_P$范数（norm）是常用的正则化项
• 其中L2范数$||w\text{w}w|{|}^2$倾向于$w\text{w}w$的分量取值尽量均衡，即非零分量个数尽量稠密，而L0范数$||w\text{w}w|{|}_0$和L1范数$||w\text{w}w|{|}_1$则倾向$w\text{w}w$的分量尽量稀疏，即非零向量个数尽量少

五、支持向量回归

• 支持向量回归（Support Vector Regression，简称SVR）
  SVR 问题可形式化为
  $$\underset{w,b}{\min }\frac{1}{2}||w\text{w}w|{|}^2+C\sum _{i=1}^m{\ell }_{ϵ}(f({x\text{x}x}_i)-y_i,$$
  其中C为正则化常数，${\ell }_{ϵ}$是图中所示的$ϵ$-不敏感损失（$ϵ$-insensitive loss）函数
  $${\ell }_{ϵ}(z)=\{\begin{array}{l}0,\mathrm{if}|z|\le ϵ;\\ |z|-ϵ,\mathrm{otherwise}\end{array}$$
  
  引入松弛变量 ${\xi }_i$和${\hat{\xi }}_i$，可将式重写为
  $$\begin{gathered} \underset{w,b,{\xi }_i,{\hat{\xi }}_i}{\min }\frac{1}{2}||w\text{w}w|{|}^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i) \\ s.t.f({x\text{x}x}_i)-y_i\le ϵ+{\xi }_i \\ {y}_i-f({x\text{x}x}_i)\le ϵ+{\hat{\xi }}_i \\ {\xi }_i\ge 0,{\hat{\xi }}_i\ge 0,i=1,2,\cdots ,m. \end{gathered}$$

KKT条件
$$\{\begin{array}{l}{\alpha }_i(f({x\text{x}x}_i)-y_i-ϵ-{\xi }_i)=0,\\ {\hat{\alpha }}_i(y_i-f({x\text{x}x}_i)-ϵ-{\hat{\xi }}_i)=0,\\ {\alpha }_i{\hat{\alpha }}_i=0,{\xi }_i{\hat{\xi }}_i=0\\ (C-{\alpha }_i){\xi }_i=0,(C-{\hat{\alpha }}_i){\hat{\xi }}_i=0.\end{array}$$

• 仅当样本$({x\text{x}x}_i,y_i)$不落入$ϵ$-间隔带中，相应的${\alpha }_i$和${\hat{\alpha }}_i$才能取非零值
  SVR可表示为
  $$f(x\text{x}x)=\sum _{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)\kappa (x\text{x}x,{x\text{x}x}_i)+b$$
  其中$\kappa ({x\text{x}x}_i,{x\text{x}x}_j)=\varphi ({x\text{x}x}_i{)}^T\varphi ({x\text{x}x}_j)$
  这节推导部分很多，省略了很多

六、核方法

• “表示定理”（representer theorem）令$\mathbb{H}$为核函数$\kappa$对应的再生核希泊尔特空间，$||h|{|}_H$表示空间中关于h的范数，对于任意单调递增函数$\Omega :[0,\infty )\mapsto \mathbb{R}$和任意非损失函数$\ell :\mathbb{R}\mapsto [0,\infty ]$,优化问题
  $$\underset{h\in \mathbb{H}}{\min }F(h)=\Omega (||h|{|}_H)+\ell (h({x\text{x}x}_1),h({x\text{x}x}_2),\cdots ,h({x\text{x}x}_m))$$
  解总可以写为
  $$h^{\ast }(x\text{x}x)=\sum _{i=1}^m{\alpha }_i\kappa (x\text{x}x,{x\text{x}x}_i)$$
• 基于核函数的学习方法，统称为 “核方法”（kernel methods） 最常见的，是通过“核化”（即引入核函数）来将线性学习器拓展为非线性学习器
• “核线性判别分析”（Kernelized Linear Discriminant Analysis，简称KLDA）
  先假设可通过某种映射$\varphi :\chi \mapsto \mathbb{F}$将样本映射到一个特征空间$\mathbb{F}$,然后在$\mathbb{F}$中执行线性判别分析，以求得
  $$h(x\text{x}x)={w\text{w}w}^T\varphi (x\text{x}x)$$
  KLDA的学习目标是
  $$\underset{w}{\max }J(w\text{w}w)=\frac{{w\text{w}w}^T{S}_b^{\varphi }w\text{w}w}{{w\text{w}w}^T{S}_w^{\varphi }w\text{w}w},$$
  $S_b^{\varphi }$和$S_w^{\varphi }$分别为训练样本在特征空间$\mathbb{F}$中的类间散度矩阵和类内散度矩阵，令$X_i$表示第 i ∈ { 0 , 1 } i\in\{0,1\} i∈{0,1}类样本的集合，其样本数为$m_i$;总样本数$m=m_0+m_1$.第i类样本在特征空间$\mathbb{F}$中的均值为
  $${\mu \text{μ}\mu }_i^{\varphi }=\frac{1}{m_i}\sum _{x\in X_i}\varphi (x\text{x}x)$$
  两个散度矩阵分别为
  $$\begin{gathered} S_b^{\varphi }=({\mu \text{μ}\mu }_1^{\varphi }-{\mu \text{μ}\mu }_0^{\varphi })({\mu \text{μ}\mu }_1^{\varphi }-{\mu \text{μ}\mu }_0^{\varphi }{)}^T \\ {S}_w^{\varphi }=\sum _{i=1}^1\sum _{s\in X_i}(\varphi (x\text{x}x)-{\mu \text{μ}\mu }_i^{\varphi })(\varphi (x\text{x}x)-{\mu \text{μ}\mu }_i^{\varphi }{)}^T \end{gathered}$$
  通常我们难以知道映射$\varphi 的具体形式，因此$使用核函数$\kappa (x\text{x}x,{x\text{x}x}_i)=\varphi ({x\text{x}x}_i{)}^T\varphi (x\text{x}x)$来隐式表达这个映射和特征空间$\mathbb{F}$
  由表示定理，函数$h(x\text{x}x)$可写为
  $$\begin{array}{rl}h(x\text{x}x)& =\sum _{i=1}^m{\alpha }_i\kappa (x\text{x}x,{x\text{x}x}_i)\\ & =\sum _{i=1}^m{\alpha }_i\varphi ({x\text{x}x}_i{)}^T\varphi (x\text{x}x)\\ & =(\sum _{i=1}^m{\alpha }_i\varphi ({x\text{x}x}_i){)}^T\varphi (x\text{x}x)\end{array}$$
  可得
  $$w\text{w}w=\sum _{i=1}^m{\alpha }_i\varphi ({x\text{x}x}_i)$$
  令$K\text{K}K\in {\mathbb{R}}^{m\times m}$为核函数$\kappa$所对应的核矩阵，$(K\text{K}K{)}_{ij}=\kappa ({x\text{x}x}_i,{x\text{x}x}_j)$.令 1 i ∈ { 1 , 0 } m × 1 1_i\in\{1,0\}^{m\times 1} 1i​∈{1,0}m×1为第i类样本的指示向量，即$1_i$的第j个分量为1当且仅当${x\text{x}x}_j\in X_i$,否则$1_i$的第j个分量为0.再令
  $$\begin{gathered} {\hat{\mu }}_0=\frac{1}{m_0}K\text{K}K{1}_0, \\ {\hat{\mu }}_1=\frac{1}{m_1}K\text{K}K{1}_1, \\ M\text{M}M=({\hat{\mu }}_0-{\hat{\mu }}_1)({\hat{\mu }}_0-{\hat{\mu }}_1{)}^T \\ N\text{N}N=K\text{K}K{K\text{K}K}^T-\sum _{i=0}^1{m}_i{\hat{\mu }}_i{\hat{\mu }}_i^T \end{gathered}$$
  于是有
  $$\underset{\alpha }{\max }J(\alpha \text{α}\alpha )=\frac{{\alpha \text{α}\alpha }^{T}M\text{M}M\alpha \text{α}\alpha }{{\alpha \text{α}\alpha }^{T}N\text{N}N\alpha \text{α}\alpha }$$
  显然，使用线性判别分析求解方法即可得到$\alpha \text{α}\alpha$，进而可得到投影函数$h(x\text{x}x)$

总结

本节推导内容较多，省略了部分内容。