（2020李宏毅）机器学习-Bias and Variance

文章目录

• ​​Bias and Variance of Estimator​​
• ​​Model Selection​​

• ​​Cross Validation​​
• ​​N-fold Cross Validation​​

Bias and Variance of Estimator

Estimate the mean of a variable x

• assume the mean of x is 𝜇
• assume the variance of x is 𝜎2

Estimator of mean 𝜇

• Sample N points:

error的两大来源，variance and bias

bias：所选模型和实际最优解差距
var：所选模型用不同数据训练得到的模型间差距
error来源于var大：overfitting ----》扩充data、regularization
来源于bias：underfitting ----》重新设计model
概念上理解Bias and Variance

• Error due to Bias：表示我们的模型预测的期望值（或者叫平均值）与模型想要努力接近真实值的difference。注意一点，这里的期望值是指，你可以通过多个数据集（随机性）来训练多个模型（参数会不同），这些模型的预测值与真实值的偏差叫Bias。这一过程不可以简单认为一个模型的多个测量算得的。
• Error due to Variance：表示模型对于给定数据点预测的可变性。当然可变性的统计也是基于一系列模型产生的。Variance是对于给定点的预测在模型的不同实现之间的变化性。
  图形上理解Bias and Variance

Model Selection

Cross Validation

N-fold Cross Validation