这里写目录标题
- 1. 为什么要转换成对偶问题?
- 2. svm问题只能通过使用拉格朗日乘子转换成对偶问题求解吗?
- 3. kkt条件的作用
1. 为什么要转换成对偶问题?
- 方便核函数的引入
- 改变了问题的复杂度。由求特征向量w转化为求比例系数a,在特征维度比较高的时候会减少计算复杂度,在特征维度低于系数数量的时候通过直接求解原始问题计算量更小
- 求解更高效,因为只用求解alpha系数,而alpha系数只有支持向里才非0,其它全部为0。
计算过程:点击跳转
2. svm问题只能通过使用拉格朗日乘子转换成对偶问题求解吗?
答案是不是,svm是针对kkt条件的一个优化算法
提供了两种其他的解决方法:
- 使用梯度下降方法(参考李宏毅老师的课 linear svm即可),参考笔记1 ,参考笔记2
- 使用QP方法求解,参考文章1,参考文章2
3. kkt条件的作用
点击跳转 KKT条件:
简单想就是,最优解无非两种情况
A.落在约束内(不含边界,用α将约束梯度屏蔽掉,此时只要原目标函数梯度为零【因为为凸】即最优解)
B.最优值不落在可行域(不含边界)内,那么一定是落在了某个边界上,用α将不起作用的约束屏蔽掉即可。此时目标函数梯度和边界约束梯度共线,即拉格朗日最优条件。