3.1基本形式

3.2线性回归

离散属性处理：

• 有序关系：转换成连续值。
• 无序关系：转换成k维向量，k为属性值数。

3.2.1单属性

均方差误：

 分别对   求偏导

令偏导为0，可得    最优值

3.2.2 多属性

 3.2.2 广义线性模型

3.3 对数几率回归

处理分类问题: 广义线性模型，选取单调可微函数g ，将真实标记与y关联起来。

y:成为正例的概率。

y/(1-y) ：成为正例的几率

通过极大似然法求解     ，下式为每个样本属于真实标记的概率和

3.4 线性判别分析

思想：n维投射到n-1维，同类投影点内聚，不同类远离

 假设：

目标：最大化J

3.5 多分类学习

n个类别

• o vs o： 一对一，n*(n-1)/2个分类器
• o vs r ：一对其余，n个分类器
• m vs m ：纠错输出码