Pytorch-Lightning训练技巧

梯度累计

在Trainer中设置accumulate_grad_batches=k，可以使得模型在进行k个batch_size后再进行反向传播。
假设batch_size=N，这样的效果相当于batch_size=k*N。

# 默认没有梯度累计
trainer = Trainer(accumulate_grad_batches=k)

梯度裁剪

相关推荐
q松_松q
 Pytorch-Lightning混合精度训练
q松_松q 96 0 0
RIOChing
 Pytorch-Lightning中的日志记录
RIOChing 158 0 0
千妈小语
 pytorch-lightning入门（一）——  初了解
千妈小语 95 0 0
敬亭阁主
 深度学习技巧应用38-PyTorch Lightning的训练框架应用技巧与实战
敬亭阁主 7 0 0
一ke大白菜
 pytorch-lightning的trainer的optimaze_step的详细分析
一ke大白菜 44 0 0
witmy
 六、PyTorch进阶训练技巧
witmy 125 0 0
40dba2f2a596
 Pytorch-Lightning--Trainer
40dba2f2a596 279 0 0
科牛
 【Pytorch Lightning】基本特征
科牛 68 0 0
一ke大白菜
 [pytorch] 训练加速技巧 代码示例
一ke大白菜 108 0 0
Java架构领域
 pip install pytorch_lightning
Java架构领域 25 0 0

精彩评论（0）