关于优化器的问题 #448
Description
当我运行MLDG方法在PACS数据集上,此时优化器是默认的SGD
===========epoch 1===========
total_loss:0.8481
train_acc:0.7129,valid_acc:0.7092,target_acc:0.5942
total cost time: 179.1731
但是当我把SGD换成Adam后发现:
===========epoch 1===========
total_loss:4.0192
train_acc:0.1492,valid_acc:0.1555,target_acc:0.1401
total cost time: 203.3469
还有就是algs/opt.py文件中的get_params方法中的 args.lr_decay1 * initlr，初始学习率乘以args.lr_decay1这个参数的作用是？