Repository navigation
Format code - #118
Merged
Merged
Format code#118
Conversation
5 tasks done
timethink
pushed a commit
to timethink/sglang
that referenced
this pull request
Mar 9, 2025
sammysun0711
pushed a commit
to sammysun0711/sglang
that referenced
this pull request
Dec 29, 2025
Signed-off-by: apinge <tong.qiu2@amd.com>
Garrybest
pushed a commit
to Garrybest/sglang
that referenced
this pull request
Jan 9, 2026
refactor: Optimize precompile interaction and compilation speed
blzheng
pushed a commit
to blzheng/sglang
that referenced
this pull request
May 11, 2026
rucnyz
added a commit
to rucnyz/sglang
that referenced
this pull request
Jun 2, 2026
The previous wording specified the upper-bound formula
`Σ max_remaining_tokens × bytes_per_token` as the steady-state
rule. On agent workloads (most decodes terminate well before
max_completion), this over-estimates forecast by max/mean ratio
(~5x on swebench-class workloads). joint_decide then
over-pauses, HBM is left under-utilized, and the daemon's
throughput advantage is eaten by admission's pessimism.
Switched to expected:
forecast_inflight_demand(state) =
Σ_{p ∈ REASONING} E[remaining_tokens(p)] × bytes_per_token
with the same estimator-priority pattern as A1's Δt/hold_time
and §7's conditional p_hat:
1. event payload hint (in-band signal)
2. p's own per-turn decode-length history
3. workload-prior fit over recent same-class programs
4. bootstrap fallback: max_completion_tokens (cold-start only,
logged as one-shot warning so the window is visible)
Error directions are asymmetric:
- under-estimate -> recoverable via reactive MEMORY_PRESSURE
- over-estimate (old rule) -> continuous throughput loss
Same workload-agnostic principle as sgl-project#118 (T11 empirical p_hat) —
the two estimators can share observation infrastructure.
A5, A6 still open from the round-3 audit.
efschu
pushed a commit
to efschu/htsglang
that referenced
this pull request
Sep 24, 2026
… Schalter (fnFL2 H37) Task sgl-project#118 (Nutzer 24.09. 07:00Z: bei Agentenlast viele kleine Prefills). Werkzeug weg2/tools/nf_burst_probe.py (nur Standardbibliothek): N Requests gleichzeitig (Barrier) an die Front, je Request eigene Nadel, Laengen 3k-8k deterministisch aus dem Seed; liest nur die WAEHREND des Bursts geschriebenen P-/Front-Logzeilen (Byte-Offset). Ausgabe BURST-PROBE-Zeile (tokens, wall, agg_tok_s, batches, multi_seq_batches, tok_per_fwd, fwd_per_req, sockel_ms als Rechnung aus den PP0-Rangzeilen), Tabelle BURST-REQ je Request (Route, TTFT, P-Wand, Nadel) und BURST-VERDICT batching=JA|SCHWANZ|NEIN. --mode serial misst die serielle Vergleichsform. Befund: gp P traegt je Forward hoechstens max_running_requests // pp_size Requests (scheduler.default_pp_micro_batch_size, get_num_allocatable_reqs) -- auf PP3 EIN Request fuer --p-bs 1..5; jeder END-ANCHOR-Schwanz (1-4 Token) laeuft dadurch als eigener Forward. Schalter SGLANG_WEG2_ENABLE_P_UNDIVIDED_MICRO_BATCH (Default aus, argv unveraendert): der Launcher setzt --pp-max-micro-batch-size = P's wirksames --max-running-requests (das, was argparse behaelt). Reine Zulassungsgrenze, daher aus dem Ring-Formschluessel genommen. Startzeile P-MICRO-BATCH nennt Breite, Stock-Wert und ein doppeltes --max-running-requests. Tests test_weg2_p_burst_batching_h37.py (16), sechs Mutanten fallen.
efschu
pushed a commit
to efschu/htsglang
that referenced
this pull request
Sep 24, 2026
…H42) Task sgl-project#118 (Nutzer 24.09. 07:00Z: bei Agentenlast kommen viele kleine Prefills), Folge von H37. Wurzel: Gruppe P haelt mit dem END-ANCHOR (sgl-project#1233) das letzte Token jedes Prompts zurueck; der Koerper [0, N-1') wurde DIE chunked-Fortsetzung (Scheduler.chunked_req, ein Feld, eine je Durchlauf sgl-project#959/sgl-project#996). Der zweite ganz passende Prompt eines Durchlaufs bekam OTHER ([sgl-project#967] SECOND CONTINUATION REFUSED add_one_req/end-anchor), die Zulassungsschleife brach ab: je Forward erreichte hoechstens EIN Request sein Ende, jeder Schwanz (1-4 Token) lief als eigener Forward. Schalter SGLANG_WEG2_ENABLE_P_MULTI_ANCHOR_TAILS (Default aus; wirkt nur mit SGLANG_WEG2_END_ANCHOR, also nur auf P, und nur ohne Draft auf P): jeder END-ANCHOR-Koerper wird ein ANKER-SCHWANZ seines eigenen Requests (managers/anchor_tails.py, Kollaborateur mit schmalen Argumenten). PrefillAdder: new_anchor_tails, _mint_anchor_tail ohne sgl-project#996-Assert und ohne sgl-project#959/sgl-project#967-Verweigerung; dieselbe Geometrie-Regel (Ausdehnung endet am Anker-Schnitt der Fuellung) an allen drei Praegestellen (add_one_req ganz passend, add_one_req gekuerzt, _add_scheduled_req der Folgeraenge mit getragenem last_chunk-Urteil). Scheduler.anchor_tails: aus dem Merge ausgenommen und gestasht wie chunked_req (je Request eigener Ankerknoten, MAMBA-ARENA-Claim, Tail-Capture), im naechsten Durchlauf VOR der Schleife alle ueber add_chunked_req wieder zugelassen (Budget, geplante Ausdehnung sgl-project#791/sgl-project#996, carried_chunk-Locks wie beim einen Feld; nicht benannte Schwaenze bleiben sgl-project#992, abweichender told-Prefix sgl-project#994), danach fuellt die Schleife das Chunk-Budget mit neuen Koerpern. ScheduleBatch.weg2_anchor_tail_bodies nimmt die Koerper beim spaeteren last_batch-Merge aus (PP-Slot). contains_last_prefill_chunk ohne Schwanz byte-gleich. Void (#797d): _pp_void_own_batch stellt die Schwaenze des Slots wieder her, parkt jeden wieder zugelassenen Schwanz (Inflight-Rueckgabe nur wenn genommen) und laesst die Praegungen des verworfenen Durchlaufs als Mitglieder parken (sgl-project#984). Abbruch: Schwanz laeuft seinen letzten Forward auf allen Raengen und endet mit FINISH_ABORT. Leerlauf/Quiesce/Zensus/Flip-Autoritaet zaehlen die Schwaenze; process_batch_result_prefill haelt alle Mittel-Chunks vom Stream fern; tail_handoff haelt bei Schalter Captures und Teildateien fuer --max-running-requests Requests (statt 2). Tests test_weg2_p_multi_anchor_tails_h42.py: echter PrefillAdder in einer PP3-Form (PP0 entscheidet, PP1/PP2 fuehren je rid aus): 4 x 4k in einem 16k-Forward, Schwaenze gemeinsam im naechsten, Ausdehnungen/Anker/Ausgabe je Request auf allen Raengen, 8 Requests gemischt mit einer chunked-Fortsetzung, Abbruch mitten im Burst, Void je Schwanz, Schalter aus = aufgezeichnete Spur des Baums vor H42 (4 und 8 Requests), Startzeile, Capture-Grenze. 18 Tests, 15 Mutanten fallen. Gate (gate_tests.sh-Kopie + H37 + END-ANCHOR/ Void-Kette) unter incg.sh: keine neue Rotmeldung gegen den Baum vor H42.
Jiminator
added a commit
that referenced
this pull request
Oct 16, 2026
[Integration] Merge main 5bcaf0f into dev
This was referenced Nov 10, 2026
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
No description provided.