目录

• 临界点critical point
  • 基本介绍
  • 临界点两种情况的区分
    • g和H的举例介绍
    • 根据H区分Saddle Point和local minima
• 批次Batch
  • batch大小的比较
    • 时间的开销
    • 训练集和测试集的效果
      • 训练集效果
      • 测试集效果
• 动量Momentum
  • 一般的Gradient Descent
  • 带有动量的Gradient Descent

2021 - 类神经网络训练不起来怎么办(一) 局部最小值 (local minima) 与鞍点 (saddle point)

临界点critical point

基本介绍

临界点两种情况的区分

利用泰勒级数逼近（函数在某一点的泰勒展开）的方法

g和H的举例介绍

根据H区分Saddle Point和local minima

批次Batch

batch大小的比较

batch内的大小决定了一次epoch内更新参数的次数也决定了batch内所有样本计算loss的时间开销

时间的开销

训练集和测试集的效果

训练集效果

测试集效果

动量Momentum

一般的Gradient Descent

带有动量的Gradient Descent