线性回归是神经网络最基础的一个模型

预测房价:

权重和偏差的实际值在后面决定
一、定义模型:

线性模型等价于单层(带有权重的层为1)的神经网络,输入(权重和输入层放在一起)若干变量,输出预测结果:

神经网络的灵感来源:

二、衡量标准:平方损失

三、训练数据,确定偏差和权重


四、求解模型


显示解的结果:


总结线性回归:具有显式解

基础优化方法汇总

1:梯度下降


学习率:是一个超参数,人为指定

问题:如何确定学习率?
梯度下降:近似损失

批量大小的选择:












