about replay buffer

[Mickeyyyang]

请问训练过程中的经验数据是在电脑硬盘还是存在内存？存在内存的话如果状态空间中有图像是不是很容易就存满了。
---入门rl新人求解

[TianhongDai]

请问训练过程中的经验数据是在电脑硬盘还是存在内存？存在内存的话如果状态空间中有图像是不是很容易就存满了。 ---入门rl新人求解

是存在内存上的；确实，如果状态空间有图像的话就很容易存满。如果必须得存图像的话，你可以尝试将图像信息存成uint8格式，尽量降低内存。