集群训练比单机更慢？

[janelu9]

连接了两个服务器 测试lstm模型的集群训练时间，结果比单机还慢(单机是2500s左右，集群是11800s) 且cpu占用不高。

[reyoung]

请问如何启动两个机器训练的？

• 一共有几个 paddle train 进程，几个 paddle pserver 进程？
• Paddle的计算过程大部分都在 paddle train进程中，如果启动两个paddle pserver和一个paddle train进程，其实也是用一个train进程。也就是使用了一台机器计算。

[janelu9]

@reyoung 每台机器上都各自有一个paddle_pserver和paddle_train进程

[reyoung]

每台机器上都各自有一个paddle_pserver和paddle_train进程

可否把启动的方法贴一下？

[janelu9]

HOSTS = [
"root@172.17.0.6",
"root@10.0.0.5",
]
'''
workspace configuration
'''
#root dir for workspace, can be set as any director with real user account
ROOT_DIR = "/mnt/home/paddle"
'''
network configuration
'''
#pserver nics
PADDLE_NIC = "eth0"
#pserver port
PADDLE_PORT = 7164
#pserver ports num
PADDLE_PORTS_NUM = 8
#pserver sparse ports num
PADDLE_PORTS_NUM_FOR_SPARSE = 2

#environments setting for all processes in cluster job
LD_LIBRARY_PATH = "/usr/local/cuda/lib64:/usr/lib64"

[janelu9]

python paddle.py
--job_dispatch_package="/mnt/news-lstm-cluster"
--dot_period=10
--ports_num_for_sparse=2
--log_period=1000
--num_passes=5
--trainer_count=4
--saving_period=1
--local=0
--config=./trainer_config.lstm2.py
--save_dir=./output
--use_gpu=0

看cpu占用率一直也不高 百分之十几
@reyoung

[reyoung]

不是特别清楚，可能的原因有

• 本地和集群，二者训练的数据量是不是不同？比如，如果是两台机器跑同一个训练，那么这两台机器上应该各有一半的数据。
• 是不是batch size过小，导致网络成为了瓶颈？如果单个batch的计算时间很短的话，多机的瓶颈可能都在网络通信上。
• 是不是节点间网络连接太差。
• 是不是在使用NFS之类的文件系统，导致两个训练进程其实都在一个服务器上读数据？

[janelu9]

@reyoung 直接用的实例的脚本 设置基本上都是默认 因该是把数据等量复制到另一台服务器上了
batch_size可能是瓶颈
文件系统 不是nfs

[reyoung]

因该是把数据等量复制到另一台服务器上了

等量的复制，那么一个pass过的数据量相当于原来两个pass，时间就至少要乘2了。

batch_size可能是瓶颈

batch size可以调大一些。

另外trainer_count是设置使用多少块CPU/GPU的参数，可以和系统的CPU核数一样或者是核数减一比较好

[backyes]

--job_dispatch_package="/mnt/news-lstm-cluster" 

会把所有数据复制到所有节点， 这个功能主要帮助调试阶段使用，避免到每个节点上手工准备数据。 这个参数使得所有节点利用同样的数据副本进行训练。

多机调试pass过后，建议使用下面参数进行训练：

--job_workspace

这个参数会引用所有节点中 --job_workspace 引用的目录，完成多机训练。 因此， 用户需要手工划分每个节点的训练数据。

[backyes]

@janelu9

至于性能描述，每个节点cpu都比较闲， 应该是其他原因导致的。 @reyoung 已经提供了若干思路。

另外，请尽可能提供更多的数据：

• cpu 物理core数
• 网络带宽
• 请动态观察sar -n DEV 1 输出, 获取粗糙的网络带宽性能
• 模型总大小（可以通过单机跑完一个pass存储下来，看看模型文件总大小）
• 单机训练平均一个min-batch 耗时
• 贴出模型配置中 setting中的batch_size配置
• 如果上述信息，仍然不够，也请提供dataprovider配置，或者简单描述下是什么数据等等。

上述信息，对预判性能瓶颈比较重要。

[backyes]

@janelu9

另外， Paddle也提供了performance tuning tools， 会动态实时获取运行时，dataprovider数据准备阶段、计算不同阶段、sgd更新、多机参数更新、多机同步效率等工具，甚至该工具能帮你捕获实际每条连接通信阶段的耗时（不包括准备数据）、每条连接耗时分布等等。

打开编译选项： WITH_TIMER 能使能上述功能。

[janelu9]

@backyes batch_size变大(之前是256 现在增大到2048单次训练时间减少了4倍)但等于成倍的减少了训练次数 最后精度会下降 为了达到收敛还也要增大num_passes 总的训练时间 还是增加了 主要cpu占用上不去

[janelu9]

@backyes 训练数据是50万条词id 每个样本大约有10几个id
ef initializer(settings, dictionary, **kwargs):
settings.word_dict = dictionary
settings.input_types = [
integer_value_sequence(dictn),
integer_value(12)]

@Provider(init_hook=initializer, cache=CacheType.CACHE_PASS_IN_MEM)
def process(settings, file_name):
with open(file_name, 'r') as f:
for line in f:
simple = line.strip().split('\t')
words = map(int,simple[0:-1])
label=int(simple[-1])
yield word,label