加载模型的问题

[LiangZhuuu]

感谢作者的开源！想问一下如果我用的SFT模型是chatglm2，代码需要改动很多地方吗？

[GanjinZero]

没有用过哈，但是loss一共就几十行，应该很容易改。

[LiangZhuuu]

没有用过哈，但是loss一共就几十行，应该很容易改。

好的谢谢！已经跑起来了，但有个问题是loss从第一个batch之后全是0.0了，这种情况合理吗？

[GanjinZero]

看起来不太对劲吧，你可以看下loss的两项具体是什么

[LiangZhuuu]

看起来不太对劲吧，你可以看下loss的两项具体是什么

已经解决了！是精度的问题，现在有一个新的问题是在第一次保存checkpoint的时候报错CUDA out of memory，这是怎么回事呀？batch size=1，还有什么优化显存的空间吗？

[GanjinZero]

fp16？

[LiangZhuuu]

fp16？

把bf16 & tf32换成fp16吗？

[GanjinZero]

fp16？

把bf16 & tf32换成fp16吗？

我写错了，我的意思就是bf16

[LiangZhuuu]

想问一下rrhf训练完的模型为什么有点容易复读，可能是一段话一直复读，也可能是一个字符比如br、div一直重复输出。不知道是怎么回事，作者有碰到过类似的情况吗？

[GanjinZero]

没碰到啊……你也许需要（1）检查你的数据，有没有这种特别坏的回复（2）尝试调小对比学习项的权重

[LiangZhuuu]

单条数据过长会导致oom吗？ 7b模型有推荐的数据长度和model_max_length吗/(ㄒoㄒ)/

[GanjinZero]

会的；512？