Skip to content

GLM-5.3 6000D PD 分离优化补丁(基于 v0.5.19) - #25

Draft
fivechenxi wants to merge 18 commits into
codex/sglang-v0519-basefrom
codex/glm53-6000d-v0519
Draft

fivechenxi wants to merge 18 commits into
codex/sglang-v0519-basefrom
codex/glm53-6000d-v0519

Conversation

@fivechenxi

@fivechenxi fivechenxi commented Oct 8, 2026 •

Copy link
Copy Markdown
Owner

背景

把 6000D GLM-5.3 PD 分离实验中实际使用的 SGLang 改动拆分提交到 fork。PR 基于官方 v0.5.19(0bcd822377),不改动 fork 的 main。

改动

  • P:显式 CP4 配置、CP4 attention TP reduction、Mooncake transfer room 分散到队列。
  • D:限制同时进行的 KV transfer;处理 DSA 空闲 DP rank、FlashInfer/TRTLLM sparse decode 的 DP padding;协调 MTP draft CUDA graph fallback,并去掉 eager draft 输出的 DP padding;允许 PD decode 的 radix cache 与 speculative decode 共用。
  • 新增 CPU 单测覆盖 DSA/MTP padding 辅助逻辑。每个独立改动单独提交。

验证与边界

  • git diff --check 通过;改动 Python 文件及新测试文件 py_compile 通过。
  • 本机环境未安装 PyTorch,新增 CPU 单测尚未实际运行。
  • P 改动来自 v0.5.19 实验环境;D 改动从此前 v0.5.17 实验镜像移植到 v0.5.19,尚未在 v0.5.19 D 服务中做端到端回归。合入或部署前须完成 D 启动、PD streaming/正确性及吞吐复测。
  • 本 PR 不含部署配置、模型权重或密钥。

CI States

Latest PR Test (Base): ❌ Run #37713652634
Latest PR Test (Extra): ❌ Run #37713652341

attn_cp_size = cfg.tp_size // cfg.dp_size
# Preserve the explicitly requested CP size; attention TP
# reductions are handled by DSACPLayerCommunicator.
attn_cp_size = cfg.attn_cp_size

@fivechenxi fivechenxi Oct 16, 2026 •

Copy link
Copy Markdown
Owner Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

tp_size = attn_dp_size * pcp_size * attn_tp_size?
我们6000D的优化还是pcp4 tp2。 社区已经放开这个attn_tp_size == 1的限制了么,上面注释里写了这个限制,这里会有问题么?

@pissyc-pixel

Copy link
Copy Markdown

[P1] 7b42f4ae 放开 speculative decoding 与 Decode radix cache 前,需要修复 HiCache L3 的 bigram 预取边界。

这条提交删除了 speculative decoding 的配置检查,使 EAGLE/NEXTN(MTP) + --disaggregation-decode-enable-radix-cache + --enable-hierarchical-cache + L3 storage backend 的组合变为可用。发生需要从 L3 恢复的前缀命中时,现有实现会少恢复一页 KV,最终 abort 请求。

原因及调用链

  1. EAGLE-family 的 radix cache 使用 bigram key(kv_cache_builder.py)。L3 查询返回的命中长度 H 是逻辑 KV/key 长度;构造 H 个 bigram 需要 H+1 个原始 token。
  2. _start_hicache_prefetch() 却只截取 H 个原始 token:
    suffix = req.origin_input_ids[
        matched_len : matched_len + prefix_match.l3_storage_hit_length
    ]
  3. prefetch_from_storage() 将该切片重新转换为 bigram,再向下按页对齐,实际预取变成 H-page_size;处于预取阈值边界时还会直接拒绝预取。UnifiedRadixCache 也有同样的 bigram 转换与对齐。
  4. D 仍按原来的 total_prefix_len 向 P 声明可复用前缀(decode.py),P 因此跳过这段 KV 的传输。
  5. _try_hicache_queue_load_back() 检测到恢复覆盖不足,设置 FAILED,随后进入 HTTP 500 的 abort 路径。

最小复现结果

从该提交 AST 提取原始 RadixKey、storage query/prefetch 和 Decode HiCache 恢复函数执行;存储、张量与 DMA 使用替身,假设该段在 L1/L2 未命中、L3 已保存全部目标页:

page_size prompt token 数 prefetch_threshold 向 P 声明的命中长度 实际预取长度 恢复结果
64 1025 256 1024 960 FAILED
64 257 256 256 0(低于阈值) FAILED

第一行的计算是:查询时 1025 个原始 token 对应 1024 个 bigram;实际预取只传入 1024 个原始 token,得到 1023 个 bigram,按 64 对齐后只有 960。相同函数使用非 EAGLE 的 unigram key 时,声明长度与预取长度一致,能够进入恢复流程。

建议

修复逻辑命中长度到原始 token 跨度的转换,为 bigram 保留额外的边界 token,并补充 EAGLE/MTP + PD Decode radix + L3 命中的回归测试;修复前至少保留对该组合的限制。

审查范围说明:纯 GPU L1 radix cache + MTP 路径暂未发现确定缺陷;已有共享 KV 索引、draft KV 传输和 bigram 边界保护。本问题针对本次放开的 HiCache L3 组合。以上是原始函数的逻辑复现,本机缺少 PyTorch/GPU,未完成真实 PD/MTP 端到端或数值回归。

@fivechenxi

Copy link
Copy Markdown
Owner Author

已独立复核并在 RTX PRO 6000D 环境完成第一阶段真实 GPU / File L3 复现,确认该评论不是仅由 mock 触发。

复现版本与范围

  • 未修复源码:本 PR HEAD f79405f85e28b50afafff85b7e2b420667e2bc5b。
  • 运行时:SGLang v0.5.19 CUDA 13.0 镜像,PyTorch 2.13.0+cu130,RTX PRO 6000D。
  • 使用原始 UnifiedRadixCache、Decode HiCache match/prefetch/load-back 函数、真实 CUDA KV pool、pinned host pool、kernel DMA 和 file storage backend;没有替换这些调用为模拟实现。
  • page_size=64,prefetch_threshold=256,host cache 模式,write_through,wait_complete。小型 KV fixture 为两层,用于精确校验缓存生命周期,不加载模型权重。
  • 这是缓存子系统的真实 GPU 集成复现,不是完整 GLM-5.3 PD/MTP 推理验收;后者正在独立实验服务上继续执行。未修改生产服务或性能基线。

过程

  1. Producer cache 写入带已知数值的 GPU KV,执行 GPU→Host→File L3,并等待写入完成。
  2. 新建独立 consumer cache,共用 L3 目录,但 L1/L2 均为空,断言初始 device/host hit 均为 0。
  3. 用真实 Decode _build_decode_prefix_match() 查询 L3 命中,再执行 _start_hicache_prefetch(),等待 L3→Host 完成。
  4. 用真实 _try_hicache_queue_load_back() 检查能否覆盖给 P 承诺的前缀;正常对照继续执行 Host→GPU,并对每层 K/V 做零容差逐元素比较。
用例 原始缓存 token 数 / 请求 token 数 L3 查询命中 实际恢复到 Host 现象
unigram 对照 1024 / 2048 1024 1024 通过,GPU KV 往返逐元素一致
EAGLE bigram 完整命中 1025 / 2049 1024 960 restore FAILED
EAGLE bigram 阈值边界 257 / 1281 256 0 预取未注册,restore FAILED
unigram 短 L3 命中 128 / 1152 128 0 低于预取阈值未注册,但仍承诺 128

关键日志:

HiCache load_back failed ... device_indices=0, new_indices=960,
expected decode_prefix_len=1024 (l1=0, l2=0, l3=1024)

HiCache load_back failed ... device_indices=0, new_indices=0,
expected decode_prefix_len=256 (l1=0, l2=0, l3=256)

测试文件 test_decode_hicache_l3_roundtrip.py 的未修复运行结果为 3 failed, 1 passed。以上失败都发生在预期的覆盖长度断言/状态检查,不是导入错误、启动失败或 OOM。

修复方向与后续验收

@fivechenxi

Copy link
Copy Markdown
Owner Author

完整 GLM-5.3 PD/MTP 复现(2026-10-16,修复前)

已在隔离的 6000D 测试环境复现,不只是 mock/unit test。源码为本 PR 当前 head f79405f85e28b50afafff85b7e2b420667e2bc5b。没有改动现有服务基线,也没有复用共享 L3 数据。

场景:GLM-5.3-NVFP4;D 为 TP8/EP8/DP1,EAGLE MTP(steps=5、topk=1、draft tokens=6),FP8 KV、page_size=64;D radix cache + HiCache,write_through、file L3、wait_complete。P 仍使用已有可运行的配置,通过 Mooncake 传输。这里 DCP 关闭,避免把 DCP/HiCache 兼容性混入本次复现。

过程与现象:

  1. 固定 1025-token prompt,temperature=0,输出 32 tokens;首次冷请求 HTTP 200,cached_tokens=0,MTP 正常工作。

  2. 等待实际 L3 文件落盘。仅清空实验 D 的 L1/L2,flush_cache 返回 200;保留 file L3,然后重发相同 prompt。

  3. D 的全部 8 个 rank 都记录 prefetch completed=960,随后报:

    HiCache load_back failed ... device_indices=0, new_indices=960,
    expected decode_prefix_len=1024 (l1=0, l2=0, l3=1024)
    
  4. 随后 8 个 rank 均报告 Decode transfer failed;D 的 POST /generate 返回 HTTP 500。失败请求 ID:4fec6727b85b4a0fbb0b23df246f2f1d;时间 2026-10-16 08:17:32 UTC。

原因已对应到代码:EAGLE 使用 bigram key,1024 个逻辑 KV key 需要 1025 个原始 token ID。当前代码按逻辑 hit length 截取 raw IDs,重建 key 后少 1 个,再按 64 对齐就只剩 960;但发给 P 的 skip/restore 承诺仍是 1024。

容易误判的地方:实验 Router 默认自动重试,第一次后端 500 后又发起新请求,最终客户端可看到 200。这个 200 不能算 L3 验证通过。关闭重试后的补测中,冷请求正常,但 D 的下一次 flush_cache 30s 未进入 idle,返回 400;因此该补测未到达 L3 重发阶段,不冒充第二次复现。此残留现象也已保留日志,修复后会连续检查 flush/回收。

下一步正在以完全相同的模型/拓扑/参数启动修复版,验证真实 L3 恢复、连续重复请求及请求结束后的资源回收;最终结果另补 comment。此前 GPU/file round-trip 和 rank-consensus 回归已完成,但不以它们替代完整模型验证。

@fivechenxi

Copy link
Copy Markdown
Owner Author

继续验证发现两处隐藏问题,暂不宣称修复完成

第一轮 span/consensus 修复后,完整 GLM-5.3 测试中,全部 8 个 rank 的 L3 日志已由 completed=960 变为 completed=1024,但在恢复阶段触发 Gloo collective mismatch:

op.preamble.length <= op.nbytes. 8 vs 1

失败请求 27c7fa5880fa43fb8f7a6665b9cb2474,2026-10-16 08:29:31 UTC。一部分 rank 在 transfer poll 的 all-reduce,另一部分在 UnifiedRadixCache.is_load_back_event_done -> loading_check -> all_reduce。完整堆栈已保留。

根因:is_load_back_event_done() 在本 rank 的 CUDA event.query() 为真时,才调用含 collective 的 loading_check()。不同 GPU 完成时间不同、每 rank 被查询的事件数也可不同,因此条件分支会打乱 collective 次序。HiRadixCache 的同名方法也有相同问题。

修复方式:event 方法只查询本地 readiness;跨 rank 回收继续走 process_decode_queue() 每轮统一调用的 check_hicache_events()。没有去掉必要的跨 rank 回收同步,也没有加额外 all-reduce。新增 regression 在修复前同时抓到两种 cache 实现的违规调用,修复后通过。

另把前次 flush_cache 超时的短覆盖路径固化成真实 CUDA/file 回归:实际读回 960、已承诺 1024 时,旧实现先 init_load_back 排入 DMA,再返回 FAILED;DMA 没被启动,ongoing_load_back 和 pin 残留。现在在 init_load_back 之前检查实际覆盖长度,覆盖不足时安全失败、不排 DMA。已复现修复前残留,修复后通过。注意这仍是安全 abort,不是存储内容失效后的自动重算。

当前相关回归:256 passed / 53 subtests passed;包括真实 CUDA↔file L3 数据逐元素校验、256 边界、L1+L3、拒绝 prefetch、短覆盖及 rank-consensus。完整模型正在第二轮验证,最终结果另补。

fivechen added 3 commits October 16, 2026 16:40
Adapt the logical storage_hit_end approach from upstream sgl-project#43548 to the pinned prefetch API. Keep bigram boundary IDs, honor declined prefetches before preallocation, and reject short restored coverage before enqueuing DMA. Add real CUDA/file round-trip regressions for boundary, partial L1, and short-restore cases.
Backport the rank-consensus behavior of upstream sgl-project#43562 to this baseline: retain pending reservations through local failure, gate staging and metadata polls, and abort or commit only from the reduced result. Preserve destinations while RDMA is still in flight.
Real TP8 PD/MTP L3 restoration exposed a Gloo 8-vs-1 collective mismatch: one rank entered loading_check after a local CUDA event completed while another entered transfer polling. Query events locally and leave synchronized reclamation to the unconditional scheduler check_hicache_events tick. Cover both HiRadixCache and UnifiedRadixCache.
@fivechenxi

Copy link
Copy Markdown
Owner Author

修复已推送,6000D 完整模型回归完成

PR head 已更新到 f611b9a0f90cf4b0983b984df83f03c74ac69d7e。按问题拆成 3 个提交,未混入性能调优或环境信息:

提交 修复
acd5eb899a L3 使用逻辑 KV 范围截断,保留 bigram 额外边界 token;prefetch 未注册时先撤回 L3 承诺再 prealloc;实际覆盖不足时在 DMA 入队前失败,避免残留加载队列
1489dc5b49 本地 restore 结果进入已有的跨 rank MIN;staging 同样受 gate 约束;失败未收敛前保留 admission 预算,RDMA 未结束时不释放目的页
f611b9a0f9 CUDA event 查询不再条件性进入 collective;回收仍由 scheduler 每轮统一的 HiCache event 检查完成

第一项参考上游 sgl-project#43548 的逻辑跨度方案,第二项适配上游 sgl-project#43562;不是把新 API 整块搬进旧基线。第三项及短覆盖 DMA 残留来自本次真实模型复现。前面 comments 已记录复现过程、请求 ID、失败日志,以及第一轮修复后继续发现的问题。

最终结果

验证 结果
disaggregation + 新增 CUDA/file round-trip 256 passed,53 subtests passed
既有 HiRadix / PP 同步 / dispatch / load timing 21 passed
既有 bigram / prefetch 顺序 / load-back 状态 10 passed
真实两进程 Gloo 单 rank FAILED、单 rank PENDING、RDMA 未结束、下一请求恢复,均符合预期
完整 GLM-5.3:257 / 1025 / 4097 输入,32 输出 每档 1 seed + 10 次 L3 恢复 + 3 次 L1 对照,42/42 通过;每档输出哈希一致
C8、8 个独立前缀 8 seed + 24 次 L3 恢复,32/32 通过;逐请求输出与 seed 一致
OpenAI streaming + forced tool 12/12 通过;有效增量、[DONE]、finish_reason、工具参数 JSON 均校验,稳定 L1/L3 输出一致

L3 证据不是仅看 HTTP 200 或客户端 cached_tokens:每轮请求前仅清实验 D 的 L1/L2,保留真实 file L3;Router 禁止自动重试。按客户端 request ID 逐条关联服务日志,确认 60 个 L3 请求 × 8 ranks = 480 条完整恢复记录。最终运行没有再出现短覆盖、Gloo mismatch、后端 500 或 flush 超时。测试结束后再次 flush_cache 成功、health 200。

运行中的 9 个改动源码/测试文件与 Git 最终提交逐个 SHA256 一致;Black 和 diff whitespace 检查通过。

可重跑的自动回归

在匹配依赖的 CUDA 环境、仓库根目录执行:

PYTHONPATH=python SGLANG_UNIFIED_RADIX_TREE_CORE_BACKEND=python python -m pytest -q \
  test/registered/unit/disaggregation \
  test/registered/unit/mem_cache/test_decode_hicache_l3_roundtrip.py

完整模型过程:D 使用 TP8/EP8/DP1、DCP1,EAGLE steps=5/topk=1/draft_tokens=6,FP8 KV/page64,HiCache write_through + file + wait_complete;准备固定 token IDs → 生成并等待 L3 落盘 → D-only flush_cache → 相同请求重发 → 对照恢复长度/输出 → 重复。不要让 Router 重试把第一次失败隐藏掉。

验证边界

  • 这是 L3 正确性与恢复路径修复,不是吞吐/精度 benchmark;没有变更既有 DCP 性能基线,也没有操作 910B。
  • 若 L3 在命中查询后真的丢失内容,现在安全 abort、不残留 DMA;尚不提供该场景的自动重算。
  • 首次冷 chat 与后续缓存路径曾出现不同措辞,但答案一致;加上稳定 L1 对照后,L1/L3 内容和工具参数严格相同。不据此宣称所有冷/热推理逐 token 确定性或全模型精度已认证。
  • 本轮实测 file L3;不能等同于已认证所有分布式存储后端。客户端缓存分层字段未用于证明 D 的 L3 命中,依据是 D-only flush 与全部 rank 日志。
  • 原始源码/实验容器和失败证据均保留;现有 GLM-5.3/Flash 基线未被覆盖。修复已推 PR,未代为 merge。

@fivechenxi

Copy link
Copy Markdown
Owner Author

修复后复审:4 项问题,以及 1 项基线已有风险

审查范围:base 0bcd822377da7b5718e674eaf9c870d349424dd1 → head f611b9a0f90cf4b0983b984df83f03c74ac69d7e,包括本轮新增的 acd5eb899a、1489dc5b49、f611b9a0f9。

此前报告的 bigram 逻辑跨度问题已在代码层修正:先构造 RadixKey,再按逻辑 hit length 截断,保留额外的 raw 边界 token;预取未登记时在 prealloc/发送 metadata 前撤回 L3 承诺;覆盖不足时在 DMA 入队前失败。以下是这轮复审发现的剩余问题。

1. [P1] 本地恢复失败的 MIN 传播,会提前释放其他仍在接收 RDMA 的 rank 的目的页

位置:decode_hicache_mixin.py:168–175,新增于 1489dc5b49。

新 gate 将本 rank 的 raw Success + restore FAILED 转成 KVPoll.Failed=0。但本 rank 的 Success 不代表整个组的传输都结束;相同 TP 配置下,各 decode rank 只等待对应的 prefill rank(rank mapping)。

例如:

状态 rank0 rank1
原始 KV 传输 Success Transferring
HiCache 恢复 FAILED READY
新 gate 输出 Failed=0 Transferring=3
MIN 结果 Failed Failed

rank1 因而进入失败清理。failure_exception() 只清理状态并抛异常,prepare_abort() 只设置请求结束原因;这条路径没有通知 P 停止写入。rank1 的 abort_notified=False,因此即使 enable_deferred_kv_release=True,仍在 decode.py:2349–2364 立即释放 KV。后续 RDMA 可能写入已被其他请求复用的页。

原始源码 AST 控制流探针(替身隔离 GPU/网络 I/O)结果:

base: local polls=[4,3], MIN=3, released_peer_KV=False, queue=1
head: local polls=[0,3], MIN=0, released_peer_KV=True,  queue=0
两次均 enable_deferred_kv_release=True,peer abort_notified=False。
head 未调用 _defer_release。

引入范围需要准确区分:新增的是“把本地恢复失败传播成全组传输失败,从而释放其他仍在传输的 rank 的目的页”这条路径。修复前也有缺陷:本地恢复失败可独立退队,导致队列分叉;如果失败 rank 自己仍在传输,也可能提前释放自己的页。因此不能说修复前整个生命周期是安全的。本次统一退队修复尚未补齐跨 rank 写入结束保障。

建议:分别协调原始传输状态和恢复结果,仅在所有 rank 的写入完成后释放;或明确通知发送端 ABORT,并等待 drain ack 再释放。现有 test_failed_restore_does_not_free_inflight_destination 只检查单 rank 的 Transferring + FAILED,需要增加 [Success + FAILED, Transferring + READY/PENDING] 的多 rank 组合,并断言目的页在 drain 前不可复用。

2. [P1] FlashInfer padding 分支读取可为空的 page_table_1,破坏非 MTP CUDA graph

位置:dsa_backend.py:2288–2305。

新增的:

real_batch_size = metadata.page_table_1.shape[0]

与已有的 dsa_drop_wide_page_table 优化冲突。CUDA、page_size>1、非 speculative、非 HiSparse、fused top-k + SGL top-k v2 且 top-k≤2048 时,graph metadata 会将 page_table_1=None;indexer 使用 compact real_page_table,attention 使用已转换的 top-k 地址,本来不需要宽页表。

使用 flashinfer_sparse_mla 的该配置会在 graph capture/forward 到达新增读取时抛出 AttributeError。精确版本的 graph 条件及 forward_decode() AST 探针结果:

dsa_drop_wide_page_table = True
base: reached attention backend
head: AttributeError: 'NoneType' object has no attribute 'shape'

建议:从始终存在且与当前 query 布局匹配的 metadata 获取行数,例如核对后使用 cache_seqlens_int32.shape[0];增加 page_table_1=None 的 FlashInfer sparse MLA graph capture/replay 回归。现有 helper 单测及 MTP 配置回归均未覆盖这个非 MTP 分支。

3. [P2] 未显式设置 CP size 时,旧启动命令静默失去 prefill CP

位置:model_overrides/deepseek_v2.py:68–71。

直接使用 cfg.attn_cp_size 同时保留了用户显式值和默认值;但 server_args.py:991–999 的默认值仍为 1。

例如原命令未传 --attn-cp-size:

--tp-size 8 --enable-prefill-cp --cp-strategy interleave

base: effective CP=8, attention TP=1
head: effective CP=1, attention TP=8, CP strategy=None

initialize_cp_strategy() 对 CP≤1 直接关闭策略,DSA CP-v2 判定也返回 False。既有启动配置会出现长 prefill 吞吐/激活内存行为回归。

建议:区分用户显式配置与默认值。显式 CP4 应保留;未指定时沿用原来的 tp_size // dp_size 推导,并分别覆盖两个配置用例。

4. [P2] 部分 CP 新配置与 --enable-cp-decode-attn-tp 的旧假设冲突

引入位置同样是 model_overrides/deepseek_v2.py:68–71。触发组合:

GLM DSA
--tp-size 8 --attn-cp-size 4
--enable-prefill-cp --cp-strategy interleave
--enable-cp-decode-attn-tp

旧 override 会强制 CP8/attention-TP1;现在保留 CP4,产生 attention-TP2。现有 配置检查 只检查架构,没有拒绝这个组合。

模型初始 local heads 为 H / attention_TP;CP decode context 又把投影和吸收权重按 CP 切分,但 模型的头数覆盖 使用 H / CP,遗漏 attention-TP 因子。

原方法形状探针,H=64、4 个 token、qk_dim=192:

base: actual_heads=8, declared_heads=8,  q_view=(4,8,192),  w_kc_heads=8
head: actual_heads=8, declared_heads=16, q_view=(2,16,192), w_kc_heads=8

后续 BMM 的 head/batch 维不匹配;单 token 情况也会出现 reshape 失败。

建议:暂时拒绝此 flag 与 attention-TP>1 的组合,或完整实现复合 TP/CP 的头数及通信语义。完整支持时还需核对 o_proj 已有归约与本 PR 新增 attention-TP 归约,不能只改声明头数。增加该配置的 decode/capture 回归。

补充:共享前缀 H2D 等待问题在基线已存在,不列为本 PR 新增回归

位置:decode_hicache_mixin.py:253–263、291–315。

两个请求 A/B 在同轮恢复同一个 host 前缀时,A 的 init_load_back() 先将已分配的 device indices 发布到树,实际 DMA 到 Phase C 才启动;B 随后 rematch 会看见这些 device indices,new_indices=0 就直接变成 READY,没有继承 A 的 consumer event。若 B 的 RDMA 已完成,它可能在 H2D 尚未完成时被提交。

执行原始 HiRadix load_back/init_load_back 与 restore mixin 的控制流探针,在 base/head 都得到:

page_size=64
restore_states=['pending','ready']
consumer_indices=[0,-1]
gated_polls=[3,4]
dma_done=False

建议:共享正在加载的节点时,所有消费者都应继承/等待同一个加载完成事件。补并发请求共享同一 L2/L3 前缀的回归;独立前缀 C8 用例无法覆盖这一点。这是基线剩余风险,不能归因于 1489dc5b49 或 f611b9a0f9 新引入。

验证边界

已完成精确 head 的代码和调用链检查、22 个 Python 文件 AST 解析、git diff --check,以及上述原函数抽取的控制流/形状探针。张量、GPU、网络和部分运行时依赖由替身隔离;本机未运行真实 CUDA graph、RDMA 或模型数值回归。上述结论不冒充完整 GPU 复现,也不否定已有实测;建议在现有实测基础上补充这里列出的未覆盖组合。

@fivechenxi

Copy link
Copy Markdown
Owner Author

复审问题修复与补充验证

先纠正前一条验证结论:此前单 rank 注入和独立前缀 C8 没有覆盖“其他 rank 仍在 RDMA 接收”以及“多个消费者共享尚未完成 H2D 的页”。不能用它们证明所有失败路径都安全。本轮先复现这两条缺口,再修复。

提交 修改
7977dbe086 原始 transport/staging/metadata 先完成全组共识,再单独协调 restore 结果;只有全组传输完成的请求才受 restore 的 FAILED/READY 结果影响。共享前缀按正在加载的节点路径等待真实 H2D 完成,覆盖同轮消费者、后到 L1 命中及树节点拆分。
64816fea8b FlashInfer decode padding 使用 compact real_page_table 的实际行数,允许非 MTP graph 下 page_table_1=None;没有改用可能已被 DP padding 的 seq-length 数组。
50d0351de9 未指定 CP 时保留旧的自动推导;显式 CP4×attention-TP2 保留。该复合布局与旧 --enable-cp-decode-attn-tp 不兼容时明确拒绝,不假装已经实现组合 decode resharding。

复现和自动回归

  • 旧代码:Success+FAILED / Transferring+READY 两 rank 组合会触发仍在接收端的 release_kv_cache,永久回归用例复现失败;新代码先保持 Transferring,全部 transport 完成后才统一失败退队。
  • 旧代码:真实 CUDA/file-L3 fixture 中,第一个消费者尚未调用 start_loading,第二个共享消费者已 READY;新代码保持 PENDING,local finish event 完成后才放行。KV tensor 往返逐元素完全一致。
  • 362 tests passed,81 subtests passed:disaggregation suite、真实双进程 Gloo(两种 rank 分工、混合请求向量)、真实 GPU/file L3、shared/late/split 消费者、DP padding、CP 配置和既有 model overrides。
  • 本地 event 完成即允许继续,不必等待跨 rank acknowledgement 清理;避免把正确性修复变成不必要的全组回收等待。

完整 GLM-5.3 验证

实验 D:TP8/EP8/DP1、DCP1,FP8 KV/page64,HiCache write_through + file + wait_complete;分别验证 MTP 关闭和 EAGLE steps=5/topk=1/draft_tokens=6。Router 禁止重试。每次 L3 复测仅清实验 D 的 L1/L2,保留已落盘 L3,并按请求 ID 对照所有 rank 的恢复记录。

  • 非 MTP:所有 rank graph capture 完成,实际请求日志确认 graph replay;C8 共享前缀最终答案 48/48 正确,其中 24 个 L3 请求 × 8 ranks = 192 条恢复成功记录。
  • 非 MTP:流式回答与 forced tool 12/12 完成,有效增量、DONE、finish_reason、工具名和 JSON 参数均校验。
  • MTP:C8 共享前缀 64/64 最终答案正确,其中 40 个 L3 请求 × 8 ranks = 320 条恢复成功记录;独立前缀 C8 32/32,逐请求输出哈希一致。
  • MTP:257/1025/4097 输入,每档 1 seed + 3 L3 + 2 L1,18/18 完成、每档哈希一致;forced tool 6/6,工具名、JSON 参数、DONE 和 finish_reason 正确且一致。
  • MTP 的严格 chat 文本比较首次失败,已保留失败而非覆写为通过。随后 16 次控制请求中,纯 L1、L3、配对 L1 均出现同样两种思考文本,最终答案都是 29,流都 DONE/stop。未发现 L3 特有输出模式,但不宣称严格文本确定性通过。
  • 两种模式服务日志未见 Traceback、ERROR、restore shortfall、Gloo mismatch 或 OOM;最终 flush 后端确认成功、health 200。13 个改动文件与运行候选逐个 SHA256 一致,head 50d0351de969035c3dca6d2baa0269da9674fd6e。

明确保留的限制

  • 人工单 token suffix 的 C8 文本哈希不总相同。补做 107 请求控制实验:同一差异在纯 L1 C8 重复组也出现;C1 的重复请求以及 3 轮 L3/L1 配对,输出和返回 token logprob 完全相同。C8 首次分叉的两个候选概率接近或打平,符合 batch-dependent 数值变化,但未下探 kernel 证明原因;不宣称所有 batch 逐 token 确定性。
  • 已知答案 C8 测试校验的是最终答案;该实验配置的非流式响应及 MTP 流式响应仍有 reasoning/</think> 混入 content(L1 同样存在),已单独保留原始输出,不将它算作 reasoning-parser 协议验收通过。初版 64-token 预算曾截断一条思考输出,保留失败记录后改为 256,再严格检查最终答案和 stop。
  • 实测 Python unified-tree core + file L3;未认证 Rust core、cache-linker、buffer mode 和其他分布式存储后端。跨 rank 注入不是实际网卡在途故障注入,也不是全模型精度/峰值吞吐测试。
  • 保留原实验源码、失败日志和容器;未覆盖既有 GLM-5.3 DCP 或 Flash 性能基线,未改 910B,未代为 merge。

回归入口(匹配依赖的 CUDA 环境):

PYTHONPATH=python:test/registered/unit/mem_cache \
SGLANG_UNIFIED_RADIX_TREE_CORE_BACKEND=python python -m pytest -q \
  test/registered/unit/disaggregation \
  test/registered/unit/layers/attention/test_glm53_dp_padding.py \
  test/registered/unit/test_glm53_cp_configuration.py \
  test/registered/unit/test_model_overrides.py \
  test/registered/unit/mem_cache/test_decode_hicache_l3_roundtrip.py \
  test/registered/unit/mem_cache/test_hiradix_cache_unit.py

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants