0
点赞
收藏
分享

微信扫一扫

Prompt-Tuning方法学习

非凡兔 2024-11-06 阅读 20

以下是机器学习算法优化方面的一些创新点:

一、优化算法自身的改进

  1. 随机梯度下降(SGD)的变体
    • Adagrad
      • 传统的随机梯度下降算法使用固定的学习率,而Adagrad根据每个参数的历史梯度信息自适应地调整学习率。对于稀疏数据,它可以为不同的参数分配不同的学习率,使得频繁出现的参数学习率下降得更快。例如,在文本分类任务中,对于词汇表中的单词,一些常见单词(如“the”“and”等)的梯度会被快速调整,而稀有单词的参数更新相对更稳定。
    • Adam(Adaptive Moment Estimation)
      • Adam结合了Adagrad和RMSProp(均为SGD变体)的优点。它计算梯度的一阶矩估计(均值)和二阶矩估计(非中心方差),从而自适应地调整每个参数的学习率。这种方法在许多深度学习任务中表现出色,如在训练图像识别模型(如ResNet)时,能够更快地收敛到较好的解,并且在训练过程中对学习率的调整更加智能,减少了人工调整学习率的工作量。
  2. 二阶优化算法的改进与应用
    • 二阶优化算法(如牛顿法)利用目标函数的二阶导数信息来加速收敛。然而,传统的二阶优化算法计算成本高。
    • Quasi - Newton Methods(拟牛顿法)
      • 拟牛顿法通过近似计算二阶导数来降低计
举报

相关推荐

0 条评论