0
点赞
收藏
分享

微信扫一扫

学习svm时候遇到的问题


这里写目录标题

  • ​​1. 为什么要转换成对偶问题?​​
  • ​​2. svm问题只能通过使用拉格朗日乘子转换成对偶问题求解吗?​​
  • ​​3. kkt条件的作用​​

1. 为什么要转换成对偶问题?

  1. 方便核函数的引入
  2. 改变了问题的复杂度。由求特征向量w转化为求比例系数a,在特征维度比较高的时候会减少计算复杂度,在特征维度低于系数数量的时候通过直接求解原始问题计算量更小
  3. 求解更高效,因为只用求解alpha系数,而alpha系数只有支持向里才非0,其它全部为0。

计算过程:​​点击跳转​​

2. svm问题只能通过使用拉格朗日乘子转换成对偶问题求解吗?

答案是不是,svm是针对kkt条件的一个优化算法
提供了两种其他的解决方法:

  1. 使用梯度下降方法(参考李宏毅老师的课 linear svm即可),​​参考笔记1​​ ,​​参考笔记2​​
  2. 使用QP方法求解,​​参考文章1​​,​​参考文章2​​

3. kkt条件的作用

​​点击跳转​​ KKT条件:
简单想就是,最优解无非两种情况
A.落在约束内(不含边界,用α将约束梯度屏蔽掉,此时只要原目标函数梯度为零【因为为凸】即最优解)
B.最优值不落在可行域(不含边界)内,那么一定是落在了某个边界上,用α将不起作用的约束屏蔽掉即可。此时目标函数梯度和边界约束梯度共线,即拉格朗日最优条件。


举报

相关推荐

0 条评论