文章目录
模型总览
（感知机居然是硬输出 QaQ）
感知机算法
是有一个sign，所以直接转化成硬分类了
最终就是一个sgd优化的错误分类，使其减小
线性判别分析
投影到一个向量上，实现类内小，类间大，这个等价于求感知机的法线，不够更加严格一点，约束比较紧
逻辑回归
最终MLE其实就是一个-cross_entropy
高斯判别分析
高斯判别分析假定数据在condition on y的情况下，服从高维高斯分布，先验是
P
(
y
)
P(y)
P(y)，后验是
P
(
y
∣
x
)
P(y|x)
P(y∣x),使用MAP估计参数，这里参数较多
朴素贝叶斯
朴素贝叶斯假定给定y的情况下，x的每一个维度独立，因而可以根据独立性假设得到
P
（
X
∣
y
）
P（X|y）
P（X∣y） =
∏
i
=
1
p
\prod_{i=1}^p
∏i=1pP(
x
i
∣
y
x_i|y
xi∣y), 进而再用极大似然估计估计出参数即可！
