Skip to content

Format code - #118

Merged
merrymercy merged 2 commits into
mainfrom
format
Jan 30, 2024
Merged

merrymercy merged 2 commits into
mainfrom
format

Conversation

@merrymercy

Copy link
Copy Markdown
Collaborator

No description provided.

@merrymercy
merrymercy merged commit 4ea92f8 into main Jan 30, 2024
@merrymercy
merrymercy deleted the format branch January 30, 2024 01:08
timethink pushed a commit to timethink/sglang that referenced this pull request Mar 9, 2025
sammysun0711 pushed a commit to sammysun0711/sglang that referenced this pull request Dec 29, 2025
Garrybest pushed a commit to Garrybest/sglang that referenced this pull request Jan 9, 2026
refactor: Optimize precompile interaction and compilation speed
blzheng pushed a commit to blzheng/sglang that referenced this pull request May 11, 2026
rucnyz added a commit to rucnyz/sglang that referenced this pull request Jun 2, 2026
The previous wording specified the upper-bound formula
`Σ max_remaining_tokens × bytes_per_token` as the steady-state
rule.  On agent workloads (most decodes terminate well before
max_completion), this over-estimates forecast by max/mean ratio
(~5x on swebench-class workloads).  joint_decide then
over-pauses, HBM is left under-utilized, and the daemon's
throughput advantage is eaten by admission's pessimism.

Switched to expected:
  forecast_inflight_demand(state) =
    Σ_{p ∈ REASONING} E[remaining_tokens(p)] × bytes_per_token

with the same estimator-priority pattern as A1's Δt/hold_time
and §7's conditional p_hat:

  1. event payload hint (in-band signal)
  2. p's own per-turn decode-length history
  3. workload-prior fit over recent same-class programs
  4. bootstrap fallback: max_completion_tokens (cold-start only,
     logged as one-shot warning so the window is visible)

Error directions are asymmetric:
  - under-estimate -> recoverable via reactive MEMORY_PRESSURE
  - over-estimate (old rule) -> continuous throughput loss

Same workload-agnostic principle as sgl-project#118 (T11 empirical p_hat) —
the two estimators can share observation infrastructure.

A5, A6 still open from the round-3 audit.
efschu pushed a commit to efschu/htsglang that referenced this pull request Sep 24, 2026
… Schalter (fnFL2 H37)

Task sgl-project#118 (Nutzer 24.09. 07:00Z: bei Agentenlast viele kleine Prefills).

Werkzeug weg2/tools/nf_burst_probe.py (nur Standardbibliothek): N Requests
gleichzeitig (Barrier) an die Front, je Request eigene Nadel, Laengen 3k-8k
deterministisch aus dem Seed; liest nur die WAEHREND des Bursts geschriebenen
P-/Front-Logzeilen (Byte-Offset). Ausgabe BURST-PROBE-Zeile (tokens, wall,
agg_tok_s, batches, multi_seq_batches, tok_per_fwd, fwd_per_req, sockel_ms als
Rechnung aus den PP0-Rangzeilen), Tabelle BURST-REQ je Request (Route, TTFT,
P-Wand, Nadel) und BURST-VERDICT batching=JA|SCHWANZ|NEIN. --mode serial misst
die serielle Vergleichsform.

Befund: gp P traegt je Forward hoechstens max_running_requests // pp_size
Requests (scheduler.default_pp_micro_batch_size, get_num_allocatable_reqs) --
auf PP3 EIN Request fuer --p-bs 1..5; jeder END-ANCHOR-Schwanz (1-4 Token)
laeuft dadurch als eigener Forward. Schalter
SGLANG_WEG2_ENABLE_P_UNDIVIDED_MICRO_BATCH (Default aus, argv unveraendert):
der Launcher setzt --pp-max-micro-batch-size = P's wirksames
--max-running-requests (das, was argparse behaelt). Reine Zulassungsgrenze,
daher aus dem Ring-Formschluessel genommen. Startzeile P-MICRO-BATCH nennt
Breite, Stock-Wert und ein doppeltes --max-running-requests.

Tests test_weg2_p_burst_batching_h37.py (16), sechs Mutanten fallen.
efschu pushed a commit to efschu/htsglang that referenced this pull request Sep 24, 2026
…H42)

Task sgl-project#118 (Nutzer 24.09. 07:00Z: bei Agentenlast kommen viele kleine
Prefills), Folge von H37.

Wurzel: Gruppe P haelt mit dem END-ANCHOR (sgl-project#1233) das letzte Token jedes
Prompts zurueck; der Koerper [0, N-1') wurde DIE chunked-Fortsetzung
(Scheduler.chunked_req, ein Feld, eine je Durchlauf sgl-project#959/sgl-project#996). Der zweite
ganz passende Prompt eines Durchlaufs bekam OTHER ([sgl-project#967] SECOND
CONTINUATION REFUSED add_one_req/end-anchor), die Zulassungsschleife brach
ab: je Forward erreichte hoechstens EIN Request sein Ende, jeder Schwanz
(1-4 Token) lief als eigener Forward.

Schalter SGLANG_WEG2_ENABLE_P_MULTI_ANCHOR_TAILS (Default aus; wirkt nur
mit SGLANG_WEG2_END_ANCHOR, also nur auf P, und nur ohne Draft auf P):
jeder END-ANCHOR-Koerper wird ein ANKER-SCHWANZ seines eigenen Requests
(managers/anchor_tails.py, Kollaborateur mit schmalen Argumenten).
PrefillAdder: new_anchor_tails, _mint_anchor_tail ohne sgl-project#996-Assert und
ohne sgl-project#959/sgl-project#967-Verweigerung; dieselbe Geometrie-Regel (Ausdehnung endet am
Anker-Schnitt der Fuellung) an allen drei Praegestellen (add_one_req
ganz passend, add_one_req gekuerzt, _add_scheduled_req der Folgeraenge mit
getragenem last_chunk-Urteil). Scheduler.anchor_tails: aus dem Merge
ausgenommen und gestasht wie chunked_req (je Request eigener Ankerknoten,
MAMBA-ARENA-Claim, Tail-Capture), im naechsten Durchlauf VOR der Schleife
alle ueber add_chunked_req wieder zugelassen (Budget, geplante Ausdehnung
sgl-project#791/sgl-project#996, carried_chunk-Locks wie beim einen Feld; nicht benannte Schwaenze
bleiben sgl-project#992, abweichender told-Prefix sgl-project#994), danach fuellt die Schleife das
Chunk-Budget mit neuen Koerpern. ScheduleBatch.weg2_anchor_tail_bodies
nimmt die Koerper beim spaeteren last_batch-Merge aus (PP-Slot).
contains_last_prefill_chunk ohne Schwanz byte-gleich. Void (#797d):
_pp_void_own_batch stellt die Schwaenze des Slots wieder her, parkt jeden
wieder zugelassenen Schwanz (Inflight-Rueckgabe nur wenn genommen) und
laesst die Praegungen des verworfenen Durchlaufs als Mitglieder parken
(sgl-project#984). Abbruch: Schwanz laeuft seinen letzten Forward auf allen Raengen und
endet mit FINISH_ABORT. Leerlauf/Quiesce/Zensus/Flip-Autoritaet zaehlen
die Schwaenze; process_batch_result_prefill haelt alle Mittel-Chunks vom
Stream fern; tail_handoff haelt bei Schalter Captures und Teildateien fuer
--max-running-requests Requests (statt 2).

Tests test_weg2_p_multi_anchor_tails_h42.py: echter PrefillAdder in einer
PP3-Form (PP0 entscheidet, PP1/PP2 fuehren je rid aus): 4 x 4k in einem
16k-Forward, Schwaenze gemeinsam im naechsten, Ausdehnungen/Anker/Ausgabe je
Request auf allen Raengen, 8 Requests gemischt mit einer chunked-Fortsetzung,
Abbruch mitten im Burst, Void je Schwanz, Schalter aus = aufgezeichnete
Spur des Baums vor H42 (4 und 8 Requests), Startzeile, Capture-Grenze.
18 Tests, 15 Mutanten fallen. Gate (gate_tests.sh-Kopie + H37 + END-ANCHOR/
Void-Kette) unter incg.sh: keine neue Rotmeldung gegen den Baum vor H42.
Jiminator added a commit that referenced this pull request Oct 16, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant