Repository navigation
GLM-5.3 Decode DCP: 修复 DSA index 池逻辑页容量 - #27
fivechenxi wants to merge 2 commits into
Conversation
[P1] 扩大的 DSA index 池需要同步计入显存容量估算基于当前 head 触发条件:DSA、
以当前 index 布局每 token 使用本 PR 的 建议修复:同步调整容量规划,按实际 index 布局、DCP 扩容倍数及实际分配层数计算成本,并考虑额外保留页开销;增加实际池字节数与预算一致的检查。当前新增单测验证了地址覆盖范围,尚未覆盖预算一致性。 验证范围:已核对上述代码路径,并通过无 GPU 的形状探针确认 DCP2 / DCP4 / 非页对齐三个容量案例;未运行真实 GPU、PD 传输或精度回归。 |
|
已复现并修复显存预算问题,提交 根因与修复
修复前复现最小回归集:9 failed / 2 passed。失败分别对应预算超额、draft page-size 断言和漏计保留页;相同最小测试修复后 11 passed。 真实 CUDA 分配,78 层、FP8 MLA + DSA index,输入预算固定 512 MiB:
没有加载模型权重,直接调用实际 pool configurator 和 pool builder;不是仅复写一份公式做断言。 修复后验证
可复跑新增测试: PYTHONPATH=python python -m pytest \
test/registered/unit/model_executor/test_dsa_dcp_pool_budget.py \
test/registered/unit/model_executor/test_dsa_dcp_pool_budget_cuda.py -q验证边界:本轮没有重启现有模型服务,也没有复跑 PD 端到端推理或吞吐。保证的是 KV/index 张量 payload预算匹配;CUDA allocator 取整、metadata、workspace 和 graph pool 仍需额外显存余量。例如 512 MiB 小预算下,DCP8+MTP 的 payload 为 503.57 MiB,但 CUDA allocated delta 为 518.37 MiB,因此不能据此把 |
改动
Decode DCP > 1 时,paged allocator 可寻址的逻辑 token/page 范围比每 rank 的 latent KV 池大。为 DSA index buffer 按逻辑页范围分配容量,并在初始化时校验所有实际存在的 index layer buffer;复用 top-k 的零行占位层不参与校验。增加覆盖 DCP2、DCP4 和非页对齐边界的单测。
验证
注意
这是基于 #25 的增量 PR。合并 #25 后请将本 PR 改以相同目标分支为 base,再跑 DCP2 冷/热路径、PD 交接、长稳和精度回归。测试环境中的特定 shape DCP gather JIT 预加载是诊断性 workaround,没有收入本 PR;部署产物不能仅凭本 PR 复刻当前测试环境。