Repository navigation
Release 0.3.1.post1 - #1445
Merged
Merged
Release 0.3.1.post1#1445
Conversation
timethink
pushed a commit
to timethink/sglang
that referenced
this pull request
Mar 9, 2025
efschu
pushed a commit
to efschu/htsglang
that referenced
this pull request
Sep 16, 2026
…p, and an abort reaches the sgl-project#1443 hold Boot weg2xsn205 (dc15687): the tokenizer's /health_generate probe (rid HEALTH_CHECK) arrived on dormant P, was HELD by sgl-project#1443, its sender's abort scanned only waiting_queue and found nothing, the wake released the orphan into P's waiting queue where it sat unscheduled; P never went idle (flush_cache 400 x 180 over 90 s) and flip 2 stopped with W3 Weg2DrainWitnessDisagreement. * handle_generate_request: dormant AND (admit not armed OR health probe) -> W25 refusal streamed straight out, as before sgl-project#1443. Predicate is upstream's is_health_check_generate_req; no fork-local flag. * _weg2_abort_dormant_hold (new), called from _abort_request_now right after the waiting_queue loop: prefix match or abort_all drops the held request, releases its hicache reservation, tells the tokenizer (AbortReq). Held requests own no device rows and no mamba slot, nothing else to release. Tests: test_weg2_dormant_hold_1445 (7) + handoff_1442 (4): 11 passed (hermetic).
efschu
pushed a commit
to efschu/htsglang
that referenced
this pull request
Sep 17, 2026
…oject#1445 wiring test binds single methods)
efschu
pushed a commit
to efschu/htsglang
that referenced
this pull request
Sep 26, 2026
…ur als Ueberlauf des Flip-Parks) -- Nutzer-Entscheid 25.09. "Ausnahme nur fuers Parken"; das normale HiCache bleibt ohne Draft (SGLANG_WEG2_HICACHE_DRAFT_TIER=off unveraendert) Wurzel: auf NF-D liegt der Draft-KV im eigenen Pool des Draft-Runners, indiziert mit den Ziel-Slots (eagle_worker_v2.alloc_memory_pool reicht req_to_token_pool+Allocator durch; nur der Solo-Host TP0 hat den Pool, die 3080-Shadows keinen). Mit Tier off gibt es keinen Draft-Host-Pool (kv_cache_builder: has_draft bleibt False, draft_tier_armed False fuer write/load/l3). retract_all(retain=True) setzt nur die Ziel-Slots in den Baum; die Draft-Zeilen bleiben unkopiert im Pool und sind nach dem Sleep-Flush (Flip-Park) bzw. der Eviction (Pressure-Park) weg. Beim Resume kommt der Praefix in NEUE Slots; der Request ist seit seiner ersten D-Admission COLD_ARMED (reset_for_retract loescht das nie), arm_draft_cold_for_admission ueberspringt ihn -- kein Scrub, keine Cold-Markierung: der Draft rechnet ueber die Fremdbytes der Vorbesitzer der neuen Slots, nicht einmal ueber die sgl-project#993-Nullen. Fix (weg2/d_park_draft.py, Scheduler nur Delegation): SAVE vor der Retraktion (Flip: d_park_runtime.park_running vor retract_all; Pressure: Slot-Zeile+committed-Laenge vor batch.retract_decode, Kopie direkt danach, vor jedem weiteren Forward) -- von [0, kv_committed_len) die NICHT-NULL-Draft-Zeilen (P's Prompt-Zeilen sind die sgl-project#993-Nullen, echt sind Tail+Decode) in einen ungepinnten Host-Puffer je Request, gechunkt (8192 Zeilen Device-Scratch), hinter dem Forward-Stream. RESTORE auf dem Admission-Extend direkt nach arm_draft_cold_for_admission, vor dem Forward: exakter Praefix-Zustand an den NEUEN Slots (gesicherte Zeilen an ihre Positionen, Nullen sonst). Freigabe beim Resume, bei park_abort, beim sgl-project#1445-Hold-Abort, als Netz beim Tod des Request-Objekts (weakref.finalize). L2/L3: der Puffer haengt am Req, der Req bleibt ueber den Sleep im Prozess (weg2_d_parked / sgl-project#1443-Hold) -> L2 reicht; ein Flip-Park ueber der L2-Kappe schreibt im Hintergrund nach <HiCacheFile-Dir>/weg2_d_park_draft/ und gibt den RAM frei; ein Pressure-Park (kein Sleep) geht nie auf Platte und wird ueber der Kappe nicht getragen (benannt). Zeilen: WEG2-D-PARK DRAFT-SAVE rid= site= rows= of= bytes= tier=L2|L3|none digest=, WEG2-D-PARK DRAFT-RESTORE ... zeroed= prefix= tier= digest=match|MISMATCH(...) (CRC32 ueber bis zu 64 Stichprobenzeilen, am Restore vom Device zurueckgelesen), WEG2-D-PARK DRAFT-DROP, Ledger-Posten WEG2-HOST-LEDGER D-PARK-DRAFT (held_l2/held_l3/peak/live/cap). Raenge: kein Kollektiv, keine Planungsentscheidung beruehrt (Reihenfolge, Gate, Cold-Marken, Votes unveraendert); ein Rang ohne Draft-Pool ueberspringt deterministisch. Schalter: SGLANG_WEG2_ENABLE_D_PARK_DRAFT_KV (EnvBool, Default True; wirksam nur auf Gruppe D mit SGLANG_WEG2_D_PARK aktiv und Draft-Tier off; False = H91b byte-gleich, keine Entry, kein Ledger-Attribut). SGLANG_WEG2_D_PARK_DRAFT_KV_HOST_MIB (EnvInt 256 = ein voller 262k-Kontext des NF-Drafts, ~1 KiB/Token). Tests: test_weg2_d_park_draft_h91d.py 17 -- auf cda38be alle rot (13 Fehler Import, 3 Ratschen, 1 Verhaltenstest durch den echten Admission-Funnel: Fremdbytes nach dem Resume), gruen mit Fix. Betroffene Suiten (H91b seats/pricing/park_scheduler, 1445, hicache_draft_tier 0924/h51, 1401, xsn302, 1456, 679, 1180, 888b): 161 gruen auf der Basis, 161 gruen mit Fix, keine neuen Roten.
efschu
pushed a commit
to efschu/htsglang
that referenced
this pull request
Sep 26, 2026
…ur als Ueberlauf des Flip-Parks) -- Nutzer-Entscheid 25.09. "Ausnahme nur fuers Parken"; das normale HiCache bleibt ohne Draft (SGLANG_WEG2_HICACHE_DRAFT_TIER=off unveraendert) Wurzel: auf NF-D liegt der Draft-KV im eigenen Pool des Draft-Runners, indiziert mit den Ziel-Slots (eagle_worker_v2.alloc_memory_pool reicht req_to_token_pool+Allocator durch; nur der Solo-Host TP0 hat den Pool, die 3080-Shadows keinen). Mit Tier off gibt es keinen Draft-Host-Pool (kv_cache_builder: has_draft bleibt False, draft_tier_armed False fuer write/load/l3). retract_all(retain=True) setzt nur die Ziel-Slots in den Baum; die Draft-Zeilen bleiben unkopiert im Pool und sind nach dem Sleep-Flush (Flip-Park) bzw. der Eviction (Pressure-Park) weg. Beim Resume kommt der Praefix in NEUE Slots; der Request ist seit seiner ersten D-Admission COLD_ARMED (reset_for_retract loescht das nie), arm_draft_cold_for_admission ueberspringt ihn -- kein Scrub, keine Cold-Markierung: der Draft rechnet ueber die Fremdbytes der Vorbesitzer der neuen Slots, nicht einmal ueber die sgl-project#993-Nullen. Fix (weg2/d_park_draft.py, Scheduler nur Delegation): SAVE vor der Retraktion (Flip: d_park_runtime.park_running vor retract_all; Pressure: Slot-Zeile+committed-Laenge vor batch.retract_decode, Kopie direkt danach, vor jedem weiteren Forward) -- von [0, kv_committed_len) die NICHT-NULL-Draft-Zeilen (P's Prompt-Zeilen sind die sgl-project#993-Nullen, echt sind Tail+Decode) in einen ungepinnten Host-Puffer je Request, gechunkt (8192 Zeilen Device-Scratch), hinter dem Forward-Stream. RESTORE auf dem Admission-Extend direkt nach arm_draft_cold_for_admission, vor dem Forward: exakter Praefix-Zustand an den NEUEN Slots (gesicherte Zeilen an ihre Positionen, Nullen sonst). Freigabe beim Resume, bei park_abort, beim sgl-project#1445-Hold-Abort, als Netz beim Tod des Request-Objekts (weakref.finalize). L2/L3: der Puffer haengt am Req, der Req bleibt ueber den Sleep im Prozess (weg2_d_parked / sgl-project#1443-Hold) -> L2 reicht; ein Flip-Park ueber der L2-Kappe schreibt im Hintergrund nach <HiCacheFile-Dir>/weg2_d_park_draft/ und gibt den RAM frei; ein Pressure-Park (kein Sleep) geht nie auf Platte und wird ueber der Kappe nicht getragen (benannt). Zeilen: WEG2-D-PARK DRAFT-SAVE rid= site= rows= of= bytes= tier=L2|L3|none digest=, WEG2-D-PARK DRAFT-RESTORE ... zeroed= prefix= tier= digest=match|MISMATCH(...) (CRC32 ueber bis zu 64 Stichprobenzeilen, am Restore vom Device zurueckgelesen), WEG2-D-PARK DRAFT-DROP, Ledger-Posten WEG2-HOST-LEDGER D-PARK-DRAFT (held_l2/held_l3/peak/live/cap). Raenge: kein Kollektiv, keine Planungsentscheidung beruehrt (Reihenfolge, Gate, Cold-Marken, Votes unveraendert); ein Rang ohne Draft-Pool ueberspringt deterministisch. Schalter: SGLANG_WEG2_ENABLE_D_PARK_DRAFT_KV (EnvBool, Default True; wirksam nur auf Gruppe D mit SGLANG_WEG2_D_PARK aktiv und Draft-Tier off; False = H91b byte-gleich, keine Entry, kein Ledger-Attribut). SGLANG_WEG2_D_PARK_DRAFT_KV_HOST_MIB (EnvInt 256 = ein voller 262k-Kontext des NF-Drafts, ~1 KiB/Token). Tests: test_weg2_d_park_draft_h91d.py 17 -- auf cda38be alle rot (13 Fehler Import, 3 Ratschen, 1 Verhaltenstest durch den echten Admission-Funnel: Fremdbytes nach dem Resume), gruen mit Fix. Betroffene Suiten (H91b seats/pricing/park_scheduler, 1445, hicache_draft_tier 0924/h51, 1401, xsn302, 1456, 679, 1180, 888b): 161 gruen auf der Basis, 161 gruen mit Fix, keine neuen Roten.
efschu
pushed a commit
to efschu/htsglang
that referenced
this pull request
Sep 29, 2026
…park_abort) + Reap je D-Park F4 schreibt je Rang und geparktem Request einen END-Teil nach $SGLANG_HICACHE_ARENA_DIR/handoff (tmpfs, ~64 MB je Request auf NF-D). Bisher nahm ihn nur das Adopt-Verdikt (tail_adopt.agree -> remove_park); P's Census/Prune (H63b) laesst Park-Teile bewusst aus. Ein geparkter rid, der nie auf D resumiert (Abbruch; Ende oder Umleitung nach P ohne Verdikt), behielt seine Teile bis Boot-Ende. - park_abort (der vorhandene Abbruchhaken des D-Parks, sgl-project#1445-Form): remove_parks_aborted mit derselben Praefix-Regel wie die Scheduler-Queues, abort_all eingeschlossen, auch ohne Park-Liste. - _park_end: vor den neuen Teilen reap_orphan_parks -- nur die EIGENEN Teile (dpark<tp>) von rids, die D nicht mehr haelt (running, parked, waiting, sgl-project#1471 settle, sgl-project#1443 hold, chunked); H81-In-Flight und .tmp bleiben. Die D-seitige Schwester von census/_prune; Marker 'F4 PARK-REAP files= rids='. - Schalter aus (SGLANG_WEG2_ENABLE_D_PARK_END=0): nichts beruehrt. Tests: 6 neu, 5 rot auf 2c5fd4a (z30v-REV), gruen mit Fix; 36 Nachbardateien (tail_handoff/d_park_runtime): 5 Altlasten identisch zur Basis, 0 neue Rote.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
No description provided.