Skip to content

GLM-5.3 Decode DCP: 修复 DSA index 池逻辑页容量 - #27

Open
fivechenxi wants to merge 2 commits into
codex/glm53-6000d-v0519from
codex/glm53-decode-dcp2-index-capacity
Open

fivechenxi wants to merge 2 commits into
codex/glm53-6000d-v0519from
codex/glm53-decode-dcp2-index-capacity

Conversation

@fivechenxi

Copy link
Copy Markdown
Owner

改动

Decode DCP > 1 时,paged allocator 可寻址的逻辑 token/page 范围比每 rank 的 latent KV 池大。为 DSA index buffer 按逻辑页范围分配容量,并在初始化时校验所有实际存在的 index layer buffer;复用 top-k 的零行占位层不参与校验。增加覆盖 DCP2、DCP4 和非页对齐边界的单测。

验证

  • 从 PR GLM-5.3 6000D PD 分离优化补丁(基于 v0.5.19) #25 的 head 创建独立分支;只包含 DCP index 容量修复及单测。
  • 与 6000D 测试节点当前运行的 DCP2 index 容量补丁及容器实际生效文件核对。测试环境中 DCP2 服务完成了 8K/32K/64K/128K 热前缀流式负载;该环境还含 PR GLM-5.3 6000D PD 分离优化补丁(基于 v0.5.19) #25 和其他部署配置,不能将全部性能收益归因于本补丁。
  • 本地语法解析、git diff --check、三个容量边界公式检查通过。本机缺少 torch,未在本机运行 pytest/GPU 回归。

注意

这是基于 #25 的增量 PR。合并 #25 后请将本 PR 改以相同目标分支为 base,再跑 DCP2 冷/热路径、PD 交接、长稳和精度回归。测试环境中的特定 shape DCP gather JIT 预加载是诊断性 workaround,没有收入本 PR;部署产物不能仅凭本 PR 复刻当前测试环境。

@fivechenxi

Copy link
Copy Markdown
Owner Author

[P1] 扩大的 DSA index 池需要同步计入显存容量估算

基于当前 head 197b0b380969406417938d5c29d9bc1536dc917e review:这次逻辑页容量修复的方向和保留页补偿公式是正确的,但实际分配与显存预算还没有同步。

触发条件:DSA、attn_dcp_size > 1、未启用 HiSparse,且自动推算的 token 容量或较大的 token 上限实际用到了这部分预算。

以当前 index 布局每 token 128-byte key + 4-byte scale 计算,漏算的主体约为:

N * (D - 1) * 132 bytes * 实际分配 index 的层数

使用本 PR 的 N=138048, p=64, D=2 案例,含保留页后每个 index 层比旧分配多 18,230,784 bytes,约 17.4 MiB;几十层累加后不可忽略。这可能导致建池 OOM,或侵占预留给 activation / CUDA graph 的显存。手动降低 token 上限可能暂时绕过,但没有消除预算与实际分配不一致的问题。

建议修复:同步调整容量规划,按实际 index 布局、DCP 扩容倍数及实际分配层数计算成本,并考虑额外保留页开销;增加实际池字节数与预算一致的检查。当前新增单测验证了地址覆盖范围,尚未覆盖预算一致性。

验证范围:已核对上述代码路径,并通过无 GPU 的形状探针确认 DCP2 / DCP4 / 非页对齐三个容量案例;未运行真实 GPU、PD 传输或精度回归。

@fivechenxi

Copy link
Copy Markdown
Owner Author

已复现并修复显存预算问题,提交 387ab54704f6636094a60417458af64dc5578f4b。

根因与修复

  • target latent KV 按 DCP 分片,但 index-K 仍覆盖完整逻辑地址空间。原代码扩大了 index buffer,容量估算却只算一份;现在按实际 DCP 倍率计入,HiSparse 保留独立的 host/device ratio,不重复乘倍率。
  • MTP draft 的 latent KV 也覆盖完整逻辑空间,预算需单独计入 DCP 倍率;draft index 已经计入倍率,不能再整体乘一次。
  • profiling 求容量时补上 allocator 保留页的成本;显式 token cap 不再重复扣页。DCP1 容量算法保持不变。
  • 一并复现了 draft 构造路径的相邻问题:_derive_pool_sizes 已扩大 draft token 数,原 GLM-5.3 Decode DCP: 修复 DSA index 池逻辑页容量 #27 再乘 DCP,且把 DSA physical page 扩到 128/256,触发 page_size == 64 断言。现在 draft 仍使用 64-token physical pages,latent/index 都覆盖完整 logical span,只扩容一次。

修复前复现

最小回归集:9 failed / 2 passed。失败分别对应预算超额、draft page-size 断言和漏计保留页;相同最小测试修复后 11 passed。

真实 CUDA 分配,78 层、FP8 MLA + DSA index,输入预算固定 512 MiB:

DCP 原始代码实际 KV/index 张量占用
2 600.04 MiB
4 772.23 MiB
8 1116.60 MiB

没有加载模型权重,直接调用实际 pool configurator 和 pool builder;不是仅复写一份公式做断言。

修复后验证

  • 联合回归 72 passed / 6 subtests passed,包括原有 pool/HiSparse/index-capacity/layer-shard 测试。
  • 8 张 SM120 GPU 分别执行 DCP2/4/8、有无单层 MTP,共 48 组真实分配;张量占用均等于 (N + page_size) × cell_size 且不超过预算,继续增加一页会超预算。
  • 新增 6 项 CUDA kernel/graph 回归:在 allocator 最后一页使用生产 Triton index 写入/读取,并执行 CUDA Graph replay,数据校验通过。
  • 覆盖 index layer elision、HiCache 保留全部 index、BF16/FP8、DCP1、显式 token cap;四个修改文件与远端已测源码 SHA256 一致。Black/isort/diff 检查通过。

可复跑新增测试:

PYTHONPATH=python python -m pytest \
  test/registered/unit/model_executor/test_dsa_dcp_pool_budget.py \
  test/registered/unit/model_executor/test_dsa_dcp_pool_budget_cuda.py -q

验证边界:本轮没有重启现有模型服务,也没有复跑 PD 端到端推理或吞吐。保证的是 KV/index 张量 payload预算匹配;CUDA allocator 取整、metadata、workspace 和 graph pool 仍需额外显存余量。例如 512 MiB 小预算下,DCP8+MTP 的 payload 为 503.57 MiB,但 CUDA allocated delta 为 518.37 MiB,因此不能据此把 mem_fraction_static 设为 1。HiSparse+DCP 的预算负例也不代表认证了该组合的推理兼容性。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant