transformer模型性能下降

[guochaorong]

transformer模型各个commit的性能数据：

http://18.222.34.7/commit/draw_scalar?task=transformer

commit 72ce4d5 和 a376efb 之间的某个pr有问题，

revert这个 PaddlePaddle/Paddle#12103 到paddlepaddle repo ce 分支：PaddlePaddle/Paddle@7af363d

debug发现，性能恢复
http://18.222.34.7:8080/viewLog.html?buildId=1462&buildTypeId=Paddle_ContinuousEvaluationDebug&tab=buildLog

[jacquesqiao]

这个问题可能是正常的，我需要分析下，之前是有个bug

[jacquesqiao]

这个现象符合预期，之前的adam optimizer实现有个trick，所有的parameter共享同一个beta2_pow_acc和beta2_pow_acc，而且每次迭代只会计算一次scale，对于分布式的同步训练模式，两种方式效果是等价的，之前的方式减少了很多scale op，而对于异步训练，之前的做法有bug，造成beta没有被更新。

修改之后，同步和异步训练都对了，每个参数都有自己的beta2_pow_acc，对应的也会有自己的scale，导致计算的scale变多了。

对于transformer模型而言，多了183 * 2个scale

[guochaorong]

这里解释了时间为什么变长了

         for p in parameters:
              self._add_accumulator(self._moment1_acc_str, p)
              self._add_accumulator(self._moment2_acc_str, p)

可是没有说明这个fix 的收益是什么？
为什么每一个parameter需要自己的 beta1_pow_acc或beta2_pow_acc？这样修改后看起来 train的acc 数据并没有变好，

[jacquesqiao]

对于同步而言，两种写法效果是一样的，对于异步，之前的写法是不对的。商量了一下，后面会通过一个pass来把相关的scale op fuse成一个，这样更符合框架的整体设计。