gbdt梯度提升树到底是拟合的是什么？

gbdt通过每一轮迭代，降低输出概率值（或者回归连续值）和真实值之间产生的loss， 即通过loss降低的梯度方向进行梯度下降，从而降低loss。

针对回归只是一个特殊情况即拟合梯度下降的方向正好是残差。拟合残差并不是通用的说法，拟合loss，找到梯度下降的方向，降低loss才是本质。

误差：bias+variance+噪声

bias vs variance

bagging:主要是通过随机样本采样，来降低方差，提升模型的泛化能力从而降低误差

boost:主要是为了拟合误差，降低bias，同时一定程度的样本和特征列的采样，也降低了variance