文章目录

• ​​零、导读​​
• ​​一、无约束最优化​​

• ​​1.1 无约束最优化的定义​​
• ​​1.2 梯度下降​​
• ​​1.3 梯度下降在深度学习中的应用​​
• ​​1.4 牛顿下降法​​

零、导读

一、无约束最优化

1.1 无约束最优化的定义

1.2 梯度下降

1.3 梯度下降在深度学习中的应用

随机梯度下降法，对数据很敏感，错了一个，前面的计算都前功尽弃了

全批量梯度下降：比较稳定，但是计算量很大

小批量梯度优化，第一次取前256，第二次往后再取256，比较稳定，计算量也能接受

1.4 牛顿下降法

牛顿下降法是二次收敛