Repository navigation
GLM-5.3 6000D PD 分离优化补丁(基于 v0.5.19) - #25
fivechenxi wants to merge 18 commits into
Conversation
| attn_cp_size = cfg.tp_size // cfg.dp_size | ||
| # Preserve the explicitly requested CP size; attention TP | ||
| # reductions are handled by DSACPLayerCommunicator. | ||
| attn_cp_size = cfg.attn_cp_size |
There was a problem hiding this comment.
tp_size = attn_dp_size * pcp_size * attn_tp_size?
我们6000D的优化还是pcp4 tp2。 社区已经放开这个attn_tp_size == 1的限制了么,上面注释里写了这个限制,这里会有问题么?
|
[P1] 这条提交删除了 speculative decoding 的配置检查,使 原因及调用链
最小复现结果 从该提交 AST 提取原始
第一行的计算是:查询时 1025 个原始 token 对应 1024 个 bigram;实际预取只传入 1024 个原始 token,得到 1023 个 bigram,按 64 对齐后只有 960。相同函数使用非 EAGLE 的 unigram key 时,声明长度与预取长度一致,能够进入恢复流程。 建议 修复逻辑命中长度到原始 token 跨度的转换,为 bigram 保留额外的边界 token,并补充 EAGLE/MTP + PD Decode radix + L3 命中的回归测试;修复前至少保留对该组合的限制。 审查范围说明:纯 GPU L1 radix cache + MTP 路径暂未发现确定缺陷;已有共享 KV 索引、draft KV 传输和 bigram 边界保护。本问题针对本次放开的 HiCache L3 组合。以上是原始函数的逻辑复现,本机缺少 PyTorch/GPU,未完成真实 PD/MTP 端到端或数值回归。 |
|
已独立复核并在 RTX PRO 6000D 环境完成第一阶段真实 GPU / File L3 复现,确认该评论不是仅由 mock 触发。 复现版本与范围
过程
关键日志: 测试文件 修复方向与后续验收
|
完整 GLM-5.3 PD/MTP 复现(2026-10-16,修复前)已在隔离的 6000D 测试环境复现,不只是 mock/unit test。源码为本 PR 当前 head 场景:GLM-5.3-NVFP4;D 为 TP8/EP8/DP1,EAGLE MTP(steps=5、topk=1、draft tokens=6),FP8 KV、page_size=64;D radix cache + HiCache,write_through、file L3、wait_complete。P 仍使用已有可运行的配置,通过 Mooncake 传输。这里 DCP 关闭,避免把 DCP/HiCache 兼容性混入本次复现。 过程与现象:
原因已对应到代码:EAGLE 使用 bigram key,1024 个逻辑 KV key 需要 1025 个原始 token ID。当前代码按逻辑 hit length 截取 raw IDs,重建 key 后少 1 个,再按 64 对齐就只剩 960;但发给 P 的 skip/restore 承诺仍是 1024。 容易误判的地方:实验 Router 默认自动重试,第一次后端 500 后又发起新请求,最终客户端可看到 200。这个 200 不能算 L3 验证通过。关闭重试后的补测中,冷请求正常,但 D 的下一次 flush_cache 30s 未进入 idle,返回 400;因此该补测未到达 L3 重发阶段,不冒充第二次复现。此残留现象也已保留日志,修复后会连续检查 flush/回收。 下一步正在以完全相同的模型/拓扑/参数启动修复版,验证真实 L3 恢复、连续重复请求及请求结束后的资源回收;最终结果另补 comment。此前 GPU/file round-trip 和 rank-consensus 回归已完成,但不以它们替代完整模型验证。 |
继续验证发现两处隐藏问题,暂不宣称修复完成第一轮 span/consensus 修复后,完整 GLM-5.3 测试中,全部 8 个 rank 的 L3 日志已由 失败请求 根因: 修复方式:event 方法只查询本地 readiness;跨 rank 回收继续走 另把前次 flush_cache 超时的短覆盖路径固化成真实 CUDA/file 回归:实际读回 960、已承诺 1024 时,旧实现先 init_load_back 排入 DMA,再返回 FAILED;DMA 没被启动,ongoing_load_back 和 pin 残留。现在在 init_load_back 之前检查实际覆盖长度,覆盖不足时安全失败、不排 DMA。已复现修复前残留,修复后通过。注意这仍是安全 abort,不是存储内容失效后的自动重算。 当前相关回归:256 passed / 53 subtests passed;包括真实 CUDA↔file L3 数据逐元素校验、256 边界、L1+L3、拒绝 prefetch、短覆盖及 rank-consensus。完整模型正在第二轮验证,最终结果另补。 |
Adapt the logical storage_hit_end approach from upstream sgl-project#43548 to the pinned prefetch API. Keep bigram boundary IDs, honor declined prefetches before preallocation, and reject short restored coverage before enqueuing DMA. Add real CUDA/file round-trip regressions for boundary, partial L1, and short-restore cases.
Backport the rank-consensus behavior of upstream sgl-project#43562 to this baseline: retain pending reservations through local failure, gate staging and metadata polls, and abort or commit only from the reduced result. Preserve destinations while RDMA is still in flight.
Real TP8 PD/MTP L3 restoration exposed a Gloo 8-vs-1 collective mismatch: one rank entered loading_check after a local CUDA event completed while another entered transfer polling. Query events locally and leave synchronized reclamation to the unconditional scheduler check_hicache_events tick. Cover both HiRadixCache and UnifiedRadixCache.
修复已推送,6000D 完整模型回归完成PR head 已更新到
第一项参考上游 sgl-project#43548 的逻辑跨度方案,第二项适配上游 sgl-project#43562;不是把新 API 整块搬进旧基线。第三项及短覆盖 DMA 残留来自本次真实模型复现。前面 comments 已记录复现过程、请求 ID、失败日志,以及第一轮修复后继续发现的问题。 最终结果
L3 证据不是仅看 HTTP 200 或客户端 cached_tokens:每轮请求前仅清实验 D 的 L1/L2,保留真实 file L3;Router 禁止自动重试。按客户端 request ID 逐条关联服务日志,确认 60 个 L3 请求 × 8 ranks = 480 条完整恢复记录。最终运行没有再出现短覆盖、Gloo mismatch、后端 500 或 flush 超时。测试结束后再次 flush_cache 成功、health 200。 运行中的 9 个改动源码/测试文件与 Git 最终提交逐个 SHA256 一致;Black 和 diff whitespace 检查通过。 可重跑的自动回归在匹配依赖的 CUDA 环境、仓库根目录执行: PYTHONPATH=python SGLANG_UNIFIED_RADIX_TREE_CORE_BACKEND=python python -m pytest -q \
test/registered/unit/disaggregation \
test/registered/unit/mem_cache/test_decode_hicache_l3_roundtrip.py完整模型过程:D 使用 TP8/EP8/DP1、DCP1,EAGLE steps=5/topk=1/draft_tokens=6,FP8 KV/page64,HiCache write_through + file + wait_complete;准备固定 token IDs → 生成并等待 L3 落盘 → D-only flush_cache → 相同请求重发 → 对照恢复长度/输出 → 重复。不要让 Router 重试把第一次失败隐藏掉。 验证边界
|
修复后复审:4 项问题,以及 1 项基线已有风险审查范围:base 此前报告的 bigram 逻辑跨度问题已在代码层修正:先构造 1. [P1] 本地恢复失败的 MIN 传播,会提前释放其他仍在接收 RDMA 的 rank 的目的页位置:decode_hicache_mixin.py:168–175,新增于 新 gate 将本 rank 的 例如:
rank1 因而进入失败清理。 原始源码 AST 控制流探针(替身隔离 GPU/网络 I/O)结果: 引入范围需要准确区分:新增的是“把本地恢复失败传播成全组传输失败,从而释放其他仍在传输的 rank 的目的页”这条路径。修复前也有缺陷:本地恢复失败可独立退队,导致队列分叉;如果失败 rank 自己仍在传输,也可能提前释放自己的页。因此不能说修复前整个生命周期是安全的。本次统一退队修复尚未补齐跨 rank 写入结束保障。 建议:分别协调原始传输状态和恢复结果,仅在所有 rank 的写入完成后释放;或明确通知发送端 ABORT,并等待 drain ack 再释放。现有 2. [P1] FlashInfer padding 分支读取可为空的 page_table_1,破坏非 MTP CUDA graph新增的: real_batch_size = metadata.page_table_1.shape[0]与已有的 使用 建议:从始终存在且与当前 query 布局匹配的 metadata 获取行数,例如核对后使用 3. [P2] 未显式设置 CP size 时,旧启动命令静默失去 prefill CP位置:model_overrides/deepseek_v2.py:68–71。 直接使用 例如原命令未传
建议:区分用户显式配置与默认值。显式 CP4 应保留;未指定时沿用原来的 4. [P2] 部分 CP 新配置与 --enable-cp-decode-attn-tp 的旧假设冲突引入位置同样是 model_overrides/deepseek_v2.py:68–71。触发组合: 旧 override 会强制 CP8/attention-TP1;现在保留 CP4,产生 attention-TP2。现有 配置检查 只检查架构,没有拒绝这个组合。 模型初始 local heads 为 原方法形状探针,H=64、4 个 token、qk_dim=192: 后续 BMM 的 head/batch 维不匹配;单 token 情况也会出现 reshape 失败。 建议:暂时拒绝此 flag 与 attention-TP>1 的组合,或完整实现复合 TP/CP 的头数及通信语义。完整支持时还需核对 补充:共享前缀 H2D 等待问题在基线已存在,不列为本 PR 新增回归位置:decode_hicache_mixin.py:253–263、291–315。 两个请求 A/B 在同轮恢复同一个 host 前缀时,A 的 执行原始 HiRadix 建议:共享正在加载的节点时,所有消费者都应继承/等待同一个加载完成事件。补并发请求共享同一 L2/L3 前缀的回归;独立前缀 C8 用例无法覆盖这一点。这是基线剩余风险,不能归因于 验证边界已完成精确 head 的代码和调用链检查、22 个 Python 文件 AST 解析、 |
复审问题修复与补充验证先纠正前一条验证结论:此前单 rank 注入和独立前缀 C8 没有覆盖“其他 rank 仍在 RDMA 接收”以及“多个消费者共享尚未完成 H2D 的页”。不能用它们证明所有失败路径都安全。本轮先复现这两条缺口,再修复。
复现和自动回归
完整 GLM-5.3 验证实验 D:TP8/EP8/DP1、DCP1,FP8 KV/page64,HiCache write_through + file + wait_complete;分别验证 MTP 关闭和 EAGLE steps=5/topk=1/draft_tokens=6。Router 禁止重试。每次 L3 复测仅清实验 D 的 L1/L2,保留已落盘 L3,并按请求 ID 对照所有 rank 的恢复记录。
明确保留的限制
回归入口(匹配依赖的 CUDA 环境): PYTHONPATH=python:test/registered/unit/mem_cache \
SGLANG_UNIFIED_RADIX_TREE_CORE_BACKEND=python python -m pytest -q \
test/registered/unit/disaggregation \
test/registered/unit/layers/attention/test_glm53_dp_padding.py \
test/registered/unit/test_glm53_cp_configuration.py \
test/registered/unit/test_model_overrides.py \
test/registered/unit/mem_cache/test_decode_hicache_l3_roundtrip.py \
test/registered/unit/mem_cache/test_hiradix_cache_unit.py |
背景
把 6000D GLM-5.3 PD 分离实验中实际使用的 SGLang 改动拆分提交到 fork。PR 基于官方 v0.5.19(0bcd822377),不改动 fork 的 main。
改动
验证与边界
CI States
Latest PR Test (Base): ❌ Run #37713652634
Latest PR Test (Extra): ❌ Run #37713652341