每日一记录,2022年1月4日
看知乎学知识
- 初步学习Python基础后,应该去 letcode 或者牛客上刷几十题,实战收悉代码语法。
Letcode.、 牛客. - 关于如何使用GitHub,看这一篇就够了.如何使用GitHub
学习机器学习课程总结
今天看完关于梯度下降法的相关课程,下面大概的总结一下:
- 批量梯度下降算法
梯度下降是一种优化算法,并非机器学习算法,用于寻找目标函数的最小值或者说是极小值更为恰当。对于线性回归模型而言,待优化的参数为Theta,于是我们可以通过求解目标函数关于Theta的偏导数确定梯度值,然后用学习率×梯度得到Theta的变化值,通过迭代的方式,完成参数优化的过程。
注意事项:1. 由于采用全部训练样本来确定梯度值,所有算法在处理大样本数据时的训练时间较长。2. 由于数据的量纲不同,需要对数据进行标准化处理。3. 采用向量化处理可以提升实现代码的效率。 - 随机梯度下降算法
随机梯度下降算法是通过随机选择一条训练样本求取损失函数的梯度,通过迭代的方式最终实现参数优化。
注意事项:1.学习率通常采用自适应学习率(依据迭代次数)。2. 通过对训练集的索引乱序,然后逐个训练每个样本,实现1轮的随机梯度训练。通过需要执行若干轮完成训练。3. 并不是每次都是向梯度减小最快的方向优化,但最终的趋势是这样的。 - 小批量随机梯度下降算法
介于上述两种方法之间的方法,即提高了训练效率,还可以更加向梯度下降最快的方式移动搜索的极小值点。
注意事项:1. 如何确定批量样本的样本规模。
学习了一个MarkDown改文字颜色的语法
- 改变字体颜色
变色字体
颜色参考:TensorSense的博客 - 体验了如何引入链接。