paddle v2 训练速度慢

[xlhlhlx]

背景

预提交到mpi集群的paddle任务（预测用户对视频内容的阅读时长），本地单机调试的过程中，发现500条sample，batch_size=256，20个pass，每个pass要跑70秒左右，后续全量数据训练样本数量级大概在亿级别，因此先本地进行训练速度上的优化。

当前问题

性能瓶颈在哪里？如何优化？
打印了reader和总的每个pass的处理时间，具体如下：

后续把用户及视频内容的泛化特征给都去掉，只保留id特征，reader的时间未发生变化（因为读取的数据字段还是跟之前一样，只是在模型训练的时候未用到，所以这块儿的处理时间肯定是一样的），但每个pass的处理时间却快了10倍，由原来的70秒左右变成了7秒左右，具体如下：

读取数据的代码

获取用户特征的代码

获取内容特征的代码

[QiJune]

你删减数据是怎么做的，在feed data的时候有没有做删减？

[typhoonzero]

和 @QiJune 讨论，提升reader性能可能需要将v1中的dataprovider中的pool直接暴露给Python API，python的reader不直接yield是数据而是直接把数据feed到dataprovider的pool中。我看下这快，可能下周可以提交一个PR。

[xlhlhlx]

其它都没有变过，就是只用user_id和content_id这两个特征，具体改动的代码如下：

[caijinlong]

@xlhlhlx 我也在用 paddle 集群，并且我们解的问题有点类似，可以私下交流下吗

[lutaojian]

我光看这个issue里面的讨论内容，感觉思路很混乱...确定现在问题是样本读取慢吗？
@typhoonzero 下周pr的优化是减少v2中reader yield数据这一步，直接进入dataprovider pool中从而解决数据读取慢的问题？？

[typhoonzero]

@lutaojian

1. v2 reader的实现中的确有可以优化的地方，所以感觉可以先从这里开始优化下，看能多大程度提升性能
2. 对于本issue中的例子，并不能确定优化数据读取之后可以完全解决性能问题，不过最终训练也不能只用id特征吧，使用权量特征才行。

[helinwang]

@xlhlhlx @typhoonzero @QiJune @qingqing01 @lutaojian 从讨论来看似乎不能推断出是reader效率低的原因。
@xlhlhlx 的加速方案 删掉了好多个embedding层，也大大降低了usr_combined_features这个fc层中W矩阵的大小。

[helinwang]

可以尝试一下V2 API的prefetch data的功能，详见这里的第一条。