Skip to content

Release 0.3.1.post1 - #1445

Merged
merrymercy merged 1 commit into
mainfrom
release
Sep 17, 2024
Merged

merrymercy merged 1 commit into
mainfrom
release

Conversation

@merrymercy

Copy link
Copy Markdown
Collaborator

No description provided.

@merrymercy
merrymercy merged commit 90a26be into main Sep 17, 2024
@merrymercy
merrymercy deleted the release branch September 17, 2024 08:47
timethink pushed a commit to timethink/sglang that referenced this pull request Mar 9, 2025
efschu pushed a commit to efschu/htsglang that referenced this pull request Sep 16, 2026
…p, and an abort reaches the sgl-project#1443 hold

Boot weg2xsn205 (dc15687): the tokenizer's /health_generate probe (rid
HEALTH_CHECK) arrived on dormant P, was HELD by sgl-project#1443, its sender's abort
scanned only waiting_queue and found nothing, the wake released the orphan
into P's waiting queue where it sat unscheduled; P never went idle
(flush_cache 400 x 180 over 90 s) and flip 2 stopped with W3
Weg2DrainWitnessDisagreement.

* handle_generate_request: dormant AND (admit not armed OR health probe)
  -> W25 refusal streamed straight out, as before sgl-project#1443.  Predicate is
  upstream's is_health_check_generate_req; no fork-local flag.
* _weg2_abort_dormant_hold (new), called from _abort_request_now right after
  the waiting_queue loop: prefix match or abort_all drops the held request,
  releases its hicache reservation, tells the tokenizer (AbortReq).  Held
  requests own no device rows and no mamba slot, nothing else to release.

Tests: test_weg2_dormant_hold_1445 (7) + handoff_1442 (4): 11 passed
(hermetic).
efschu pushed a commit to efschu/htsglang that referenced this pull request Sep 17, 2026
efschu pushed a commit to efschu/htsglang that referenced this pull request Sep 26, 2026
…ur als Ueberlauf des Flip-Parks) -- Nutzer-Entscheid 25.09. "Ausnahme nur fuers Parken"; das normale HiCache bleibt ohne Draft (SGLANG_WEG2_HICACHE_DRAFT_TIER=off unveraendert)

Wurzel: auf NF-D liegt der Draft-KV im eigenen Pool des Draft-Runners, indiziert mit den Ziel-Slots (eagle_worker_v2.alloc_memory_pool reicht req_to_token_pool+Allocator durch; nur der Solo-Host TP0 hat den Pool, die 3080-Shadows keinen). Mit Tier off gibt es keinen Draft-Host-Pool (kv_cache_builder: has_draft bleibt False, draft_tier_armed False fuer write/load/l3). retract_all(retain=True) setzt nur die Ziel-Slots in den Baum; die Draft-Zeilen bleiben unkopiert im Pool und sind nach dem Sleep-Flush (Flip-Park) bzw. der Eviction (Pressure-Park) weg. Beim Resume kommt der Praefix in NEUE Slots; der Request ist seit seiner ersten D-Admission COLD_ARMED (reset_for_retract loescht das nie), arm_draft_cold_for_admission ueberspringt ihn -- kein Scrub, keine Cold-Markierung: der Draft rechnet ueber die Fremdbytes der Vorbesitzer der neuen Slots, nicht einmal ueber die sgl-project#993-Nullen.

Fix (weg2/d_park_draft.py, Scheduler nur Delegation): SAVE vor der Retraktion (Flip: d_park_runtime.park_running vor retract_all; Pressure: Slot-Zeile+committed-Laenge vor batch.retract_decode, Kopie direkt danach, vor jedem weiteren Forward) -- von [0, kv_committed_len) die NICHT-NULL-Draft-Zeilen (P's Prompt-Zeilen sind die sgl-project#993-Nullen, echt sind Tail+Decode) in einen ungepinnten Host-Puffer je Request, gechunkt (8192 Zeilen Device-Scratch), hinter dem Forward-Stream. RESTORE auf dem Admission-Extend direkt nach arm_draft_cold_for_admission, vor dem Forward: exakter Praefix-Zustand an den NEUEN Slots (gesicherte Zeilen an ihre Positionen, Nullen sonst). Freigabe beim Resume, bei park_abort, beim sgl-project#1445-Hold-Abort, als Netz beim Tod des Request-Objekts (weakref.finalize). L2/L3: der Puffer haengt am Req, der Req bleibt ueber den Sleep im Prozess (weg2_d_parked / sgl-project#1443-Hold) -> L2 reicht; ein Flip-Park ueber der L2-Kappe schreibt im Hintergrund nach <HiCacheFile-Dir>/weg2_d_park_draft/ und gibt den RAM frei; ein Pressure-Park (kein Sleep) geht nie auf Platte und wird ueber der Kappe nicht getragen (benannt). Zeilen: WEG2-D-PARK DRAFT-SAVE rid= site= rows= of= bytes= tier=L2|L3|none digest=, WEG2-D-PARK DRAFT-RESTORE ... zeroed= prefix= tier= digest=match|MISMATCH(...) (CRC32 ueber bis zu 64 Stichprobenzeilen, am Restore vom Device zurueckgelesen), WEG2-D-PARK DRAFT-DROP, Ledger-Posten WEG2-HOST-LEDGER D-PARK-DRAFT (held_l2/held_l3/peak/live/cap). Raenge: kein Kollektiv, keine Planungsentscheidung beruehrt (Reihenfolge, Gate, Cold-Marken, Votes unveraendert); ein Rang ohne Draft-Pool ueberspringt deterministisch.

Schalter: SGLANG_WEG2_ENABLE_D_PARK_DRAFT_KV (EnvBool, Default True; wirksam nur auf Gruppe D mit SGLANG_WEG2_D_PARK aktiv und Draft-Tier off; False = H91b byte-gleich, keine Entry, kein Ledger-Attribut). SGLANG_WEG2_D_PARK_DRAFT_KV_HOST_MIB (EnvInt 256 = ein voller 262k-Kontext des NF-Drafts, ~1 KiB/Token).

Tests: test_weg2_d_park_draft_h91d.py 17 -- auf cda38be alle rot (13 Fehler Import, 3 Ratschen, 1 Verhaltenstest durch den echten Admission-Funnel: Fremdbytes nach dem Resume), gruen mit Fix. Betroffene Suiten (H91b seats/pricing/park_scheduler, 1445, hicache_draft_tier 0924/h51, 1401, xsn302, 1456, 679, 1180, 888b): 161 gruen auf der Basis, 161 gruen mit Fix, keine neuen Roten.
efschu pushed a commit to efschu/htsglang that referenced this pull request Sep 26, 2026
…ur als Ueberlauf des Flip-Parks) -- Nutzer-Entscheid 25.09. "Ausnahme nur fuers Parken"; das normale HiCache bleibt ohne Draft (SGLANG_WEG2_HICACHE_DRAFT_TIER=off unveraendert)

Wurzel: auf NF-D liegt der Draft-KV im eigenen Pool des Draft-Runners, indiziert mit den Ziel-Slots (eagle_worker_v2.alloc_memory_pool reicht req_to_token_pool+Allocator durch; nur der Solo-Host TP0 hat den Pool, die 3080-Shadows keinen). Mit Tier off gibt es keinen Draft-Host-Pool (kv_cache_builder: has_draft bleibt False, draft_tier_armed False fuer write/load/l3). retract_all(retain=True) setzt nur die Ziel-Slots in den Baum; die Draft-Zeilen bleiben unkopiert im Pool und sind nach dem Sleep-Flush (Flip-Park) bzw. der Eviction (Pressure-Park) weg. Beim Resume kommt der Praefix in NEUE Slots; der Request ist seit seiner ersten D-Admission COLD_ARMED (reset_for_retract loescht das nie), arm_draft_cold_for_admission ueberspringt ihn -- kein Scrub, keine Cold-Markierung: der Draft rechnet ueber die Fremdbytes der Vorbesitzer der neuen Slots, nicht einmal ueber die sgl-project#993-Nullen.

Fix (weg2/d_park_draft.py, Scheduler nur Delegation): SAVE vor der Retraktion (Flip: d_park_runtime.park_running vor retract_all; Pressure: Slot-Zeile+committed-Laenge vor batch.retract_decode, Kopie direkt danach, vor jedem weiteren Forward) -- von [0, kv_committed_len) die NICHT-NULL-Draft-Zeilen (P's Prompt-Zeilen sind die sgl-project#993-Nullen, echt sind Tail+Decode) in einen ungepinnten Host-Puffer je Request, gechunkt (8192 Zeilen Device-Scratch), hinter dem Forward-Stream. RESTORE auf dem Admission-Extend direkt nach arm_draft_cold_for_admission, vor dem Forward: exakter Praefix-Zustand an den NEUEN Slots (gesicherte Zeilen an ihre Positionen, Nullen sonst). Freigabe beim Resume, bei park_abort, beim sgl-project#1445-Hold-Abort, als Netz beim Tod des Request-Objekts (weakref.finalize). L2/L3: der Puffer haengt am Req, der Req bleibt ueber den Sleep im Prozess (weg2_d_parked / sgl-project#1443-Hold) -> L2 reicht; ein Flip-Park ueber der L2-Kappe schreibt im Hintergrund nach <HiCacheFile-Dir>/weg2_d_park_draft/ und gibt den RAM frei; ein Pressure-Park (kein Sleep) geht nie auf Platte und wird ueber der Kappe nicht getragen (benannt). Zeilen: WEG2-D-PARK DRAFT-SAVE rid= site= rows= of= bytes= tier=L2|L3|none digest=, WEG2-D-PARK DRAFT-RESTORE ... zeroed= prefix= tier= digest=match|MISMATCH(...) (CRC32 ueber bis zu 64 Stichprobenzeilen, am Restore vom Device zurueckgelesen), WEG2-D-PARK DRAFT-DROP, Ledger-Posten WEG2-HOST-LEDGER D-PARK-DRAFT (held_l2/held_l3/peak/live/cap). Raenge: kein Kollektiv, keine Planungsentscheidung beruehrt (Reihenfolge, Gate, Cold-Marken, Votes unveraendert); ein Rang ohne Draft-Pool ueberspringt deterministisch.

Schalter: SGLANG_WEG2_ENABLE_D_PARK_DRAFT_KV (EnvBool, Default True; wirksam nur auf Gruppe D mit SGLANG_WEG2_D_PARK aktiv und Draft-Tier off; False = H91b byte-gleich, keine Entry, kein Ledger-Attribut). SGLANG_WEG2_D_PARK_DRAFT_KV_HOST_MIB (EnvInt 256 = ein voller 262k-Kontext des NF-Drafts, ~1 KiB/Token).

Tests: test_weg2_d_park_draft_h91d.py 17 -- auf cda38be alle rot (13 Fehler Import, 3 Ratschen, 1 Verhaltenstest durch den echten Admission-Funnel: Fremdbytes nach dem Resume), gruen mit Fix. Betroffene Suiten (H91b seats/pricing/park_scheduler, 1445, hicache_draft_tier 0924/h51, 1401, xsn302, 1456, 679, 1180, 888b): 161 gruen auf der Basis, 161 gruen mit Fix, keine neuen Roten.
efschu pushed a commit to efschu/htsglang that referenced this pull request Sep 29, 2026
…park_abort) + Reap je D-Park

F4 schreibt je Rang und geparktem Request einen END-Teil nach
$SGLANG_HICACHE_ARENA_DIR/handoff (tmpfs, ~64 MB je Request auf NF-D). Bisher nahm
ihn nur das Adopt-Verdikt (tail_adopt.agree -> remove_park); P's Census/Prune
(H63b) laesst Park-Teile bewusst aus. Ein geparkter rid, der nie auf D resumiert
(Abbruch; Ende oder Umleitung nach P ohne Verdikt), behielt seine Teile bis
Boot-Ende.

- park_abort (der vorhandene Abbruchhaken des D-Parks, sgl-project#1445-Form): remove_parks_aborted
  mit derselben Praefix-Regel wie die Scheduler-Queues, abort_all eingeschlossen,
  auch ohne Park-Liste.
- _park_end: vor den neuen Teilen reap_orphan_parks -- nur die EIGENEN Teile
  (dpark<tp>) von rids, die D nicht mehr haelt (running, parked, waiting,
  sgl-project#1471 settle, sgl-project#1443 hold, chunked); H81-In-Flight und .tmp bleiben. Die
  D-seitige Schwester von census/_prune; Marker 'F4 PARK-REAP files= rids='.
- Schalter aus (SGLANG_WEG2_ENABLE_D_PARK_END=0): nichts beruehrt.

Tests: 6 neu, 5 rot auf 2c5fd4a (z30v-REV), gruen mit Fix; 36 Nachbardateien
(tail_handoff/d_park_runtime): 5 Altlasten identisch zur Basis, 0 neue Rote.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant