深度学习:动态调节学习率

阅读 48

2022-03-24

 if args.bottleneck:
     optimizer = torch.optim.SGD([
         {'params': model.feature_layers.parameters()},
         {'params': model.bottle.parameters(), 'lr': args.lr[1]},
         {'params': model.cls_fc.parameters(), 'lr': args.lr[2]},
     ], lr=args.lr[0], momentum=args.momentum, weight_decay=args.decay)

最后传入的学习率以数组的方式呈现

parser.add_argument('--lr', type=list, help='Learning rate', default=[0.001, 0.01, 0.01])

精彩评论(0)

0 0 举报