Repository navigation
[G2] Ejecución 4/4: POST semantic/query con resultado y auditoría antes de responder (#138) - #227
Conversation
…es de responder (#138) Abre POST /api/v1/semantic/query (executeSemanticQuery): consume la composición de #137 y responde el resultado exacto con su recibo solo después de confirmar un único evento terminal de auditoría. El plazo total se cuenta desde la admisión; la ejecución usa T − min(500 ms, T/4) y la auditoría el resto. Sin decisión, el evento usa el recurso reservado semantic_request. La no divulgación reutiliza el clasificador de explain. Añade identidades OIDC reales Norte/Sur/fuera de grupo al realm de prueba. Closes #138 Refs #69, #71, #128 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
[Codex] Cambio requerido confirmado sobre
Reproducido sin mocks con el router/PostgreSQL/DuckDB reales: runtime Tokio con Corregir la causa en |
|
[Codex] Veredicto: cambios requeridos sobre Fallo reproducido y corrección solicitadaHallazgo comunicado durante la revisión. En Con el router real, PostgreSQL 18 y DuckDB 1.5.6, T=200ms, De=150ms, el siguiente caso sigue pendiente al vencer un watchdog de 1s. Dos ejecuciones observaron 1.0050005s y 1.0120233s; no hubo respuesta dentro del plazo. El bloqueo se libera al limpiar la prueba, sin dejar el proceso colgado. Corregir el helper para que un mismo deadline cubra todas sus esperas, incluida entropía y adquisición de conexión/begin/append/commit, usando el remanente original. Al agotarse, 503 Reproducción: añadir al final de #[sqlx::test(migrations = false)]
async fn codex_audit_entropy_queue_still_respects_total_deadline(pool: sqlx::PgPool) {
let options = (*pool.connect_options()).clone();
tokio::task::spawn_blocking(move || {
let rt = tokio::runtime::Builder::new_multi_thread()
.worker_threads(2).max_blocking_threads(1).enable_all().build().unwrap();
rt.block_on(async move {
let pool = sqlx::PgPool::connect_with(options).await.unwrap();
let h = harness_with(pool, analytics(RuntimeConfig::in_memory(2)).await, Duration::from_millis(200)).await;
let cookie = h.login("ana").await;
let (release, blocked) = std::sync::mpsc::channel::<()>();
let (begun, ready) = tokio::sync::oneshot::channel();
let blocker = tokio::task::spawn_blocking(move || {
begun.send(()).unwrap();
let _ = blocked.recv();
});
ready.await.unwrap();
let started = Instant::now();
let answer = tokio::time::timeout(Duration::from_secs(1), h.query(&cookie, &total())).await;
let elapsed = started.elapsed();
release.send(()).unwrap();
blocker.await.unwrap();
h.db.close().await;
assert!(answer.is_ok(), "query_timeout=200ms exceeded the 1s watchdog: {elapsed:?}; entropy job awaited outside record_within timeout");
});
}).await.unwrap();
}$env:CARGO_TARGET_DIR='C:/t/codex'
$env:DUCKDB_DOWNLOAD_LIB='1'
$env:CARGO_PROFILE_DEV_DEBUG='line-tables-only'
$env:DATABASE_URL='postgres://bi:bi@127.0.0.1:15434/bi'
cargo test --locked -j 4 -p bi-server --no-default-features --features dev-auth,postgres-tests --test semantic_query codex_audit_entropy -- --test-threads=1 --nocaptureResto verificadoWorktree aislado del head indicado; sin código de producto modificado. Lectura de seguridad/contrato/motor: una preparación y un stream de #137; evidencia real conservada en errores; evento terminal único; recurso reservado correcto; COMMIT anterior a respuesta; clasificador/no divulgación compartidos; reserva calculada desde la misma admisión; contrato/cliente generado.
Mis pruebas de aceptación quedan fuera del cambio de producto; el caso fallido está completo arriba para incorporarlo como regresión. Al corregir, revisaré únicamente el deadline de auditoría y sus regresiones, con CI verde, sin reabrir lo ya comprobado. #138/#69/#71/G2 permanecen abiertos; no se habilita otro gate ni releases. |
|
[Codex] Comprobaciones finales de esta ronda: build de producción sin dev-auth OK ( El veredicto permanece cambios requeridos, limitado al timeout de generación del event_id descrito y reproducido arriba. No integración ni cierre de #138. |
… del event_id random_token corre en el pool de bloqueo; esperar su turno fuera del timeout dejaba la petición sin cota si ese pool estaba ocupado. Ahora el identificador, la conexión, begin/append y commit van dentro del mismo timeout del remanente original. Regresión determinista con un solo hilo de bloqueo retenido, y recuperación al liberarlo. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
[Claude] Corrección en Regresión determinista ( Local: |
|
[Codex] Veredicto: Aprobado sobre La espera de Ejecutado en worktree aislado, Rust fijado, Windows, DuckDB 1.5.6 precompilado y PostgreSQL 18 real en contenedor propio:
Antes del squash se comprueba la única dependiente #242 y se reapunta a main, como se pidió. La integración cierra #138, conserva #69/#71/#128 y G2 abiertos, y no autoriza release. |
|
[Codex] Comprobación de continuidad de la sesión interrumpida: leídos todos mis comentarios de #227 y #232–#242. Se eliminaron únicamente seis marcas BOM anteriores al prefijo [Codex] (#227, #234, #238, #239, #241 y #242); lectura posterior exacta verificada, sin cambiar pruebas, commits, resultados o veredictos. Los demás comentarios ya conservaban saltos y acentos correctos. #240 no tenía un veredicto previo: se completa en esta tanda; no se inventa uno anterior. |
[Claude]
Closes #138. Refs #69, #71, #128.
Qué hace
Abre
POST /api/v1/semantic/query, conoperation_id = "executeSemanticQuery", en la misma capa que explain: cuerpo acotado a 64 KiB antes de parsear yenforce_session(Origin y admisión de #115). El handlersemantic::query:admitted = Instant::now()al entrar.run::executede [G2] Ejecución 3/4: recoger ejecución gobernada con límites finitos y cancelación #137: una preparación, un stream propio y el mismo contexto. No abre otro stream ni reconstruye eventos;envelope::assemblesigue siendopub(super).Settled) en un único evento terminal y su respuesta, antes de escribir nada.record_within:begin→append→COMMITdentro de lo que queda del plazo.audit_unavailable, sin resultado ni recibo.Plazo, opción A (decisión):
R = min(500 ms, T/4)yD = admitted + T.Profile::execution_timeout()da a #137D − Rpara toda su composición, codec incluido; la auditoría usa el remanente hastaD. Se conserva el instante de admisión original, sin reiniciarlo por fase.Profile::newrechaza al arrancar unTsin dos partes reales.Evidencia de #137 para el evento:
run::executedevuelveAnswer { run, audit }oFailed { failure, audit, shape }:shapees la forma ya acotada, con el límite aplicado.Evento terminal (
Terminal):semantic_modelcon la huella real ypolicy_decision_idreal. Sin huella:semantic_request/semantic:request, con decisiónnull.query_shapelleva solo conteos y límite.limit_invalidno llegan a A1 y no dejan evento.Respuestas:
SemanticRunconCache-Control: no-store.origin_forbiddende la capa de sesión.semantic_access_deniedy 404model_not_foundneutro (detalle fijo «No se puede ejecutar la consulta solicitada.»), con el clasificador de explain/[G2] Explain: errores sin enumerar definiciones no autorizadas #156 parametrizado en su detalle.SemanticRejectionparainvalid_request,query_*,limit_invalid,masked_unsupported,temporal_unsupportedyresult_too_large.models_busyosemantic_busy.policies_invalid,metadata_not_ready,analytics_unavailable,analytics_failed,result_unverified,semantic_unavailableyaudit_unavailable.semantic_timeout.Todas las respuestas de error son Problem con
request_idyno-store.Otros cambios:
HttpRecordadmitequery_shapey unresource_iddinámico. Sus dos usos existentes pasanNone.docs/api/openapi.jsonañade solo la operación nueva (explain y G1 no cambian) y se regenerafrontend/src/lib/api/generated.ts, sin pantalla.oidc-norte,oidc-suryoidc-outsider, este último en el grupooutsiders, sin mapear.oidc-usery los clientes quedan intactos.Diseño y alternativas
Answer/Failed. La alternativa de exponer el stream o el ensamblador a HTTP quedó descartada en [G2] Ejecución: recibo verificable y avisos desde la ejecución real (#146) #207.record_within, ya acotado constatement_timeoutytimeout, en vez delrecordde explain, que no acota el plazo. Basta con añadirlequery_shape; no hace falta otro escritor.Outcome::answer(request_id, undisclosed)en vez de un segundo autorizador. Explain mantiene su texto y su golden.gateway.ts, Rillsecurity.go/controller.go, Atlas BI 04/06/18). No hay decisión nueva que exija otra consulta.Modelo de amenazas
COMMIT, y todo fallo de auditoría da 503 sin datos;deny_unknown_fieldsy las cabeceras se ignoran;COMMITno se prueba que la respuesta llegue por la red: Success significa consulta preparada, no acuse del cliente;COMMITsin confirmar no se puede dar por perdido ni por persistido;Criterio → prueba
tests/semantic_query.rsusa el router real con PostgreSQL 18 y el rol limitado de #115, sobre DuckDB con las cuatro filas del oráculo.src/oidc/tests.rs(real::) usa Keycloak real.a_viewer_gets_the_oracle_rows_with_no_store_and_one_success_event_each: total300.30/4(limit: null); por región Norte 100.30/2 y Sur 200.00/2 (limit1000);no-store; reciborun:. Un evento query/success sobresemantic_modelcon decisión yquery_shape{0,2,0,0}y{1,2,0,1000};resource_idigual a la huella que publica explainanonymous_foreign_origin_and_oversized_requests_are_refused_without_an_event: 401 sin sesión; 403 sin Origin o con uno ajeno; más de 64 KiB da 422 (32 KiB da 200). Ninguno deja eventomalformed_bodies_and_out_of_profile_limits_are_refused_without_an_event: JSON roto,limit0/10001 yoffset10001 dan 422, sin evento; los extremos 10000 dan 200 con un eventowithout_inspection_catalog_failures_answer_alike_and_none_executes: archivo ausente, archivo inválido consecreto_centinela, miembro desconocido,reserva_centinelarestringida, visible+oculto, yself_rolehacia un dataset restringido frente arol_inexistente. Todos dan el mismo 404 (claves, detalle y cabeceras), sin centinelas, y cada uno deja un único evento: denial/denied con decisión, o query/failuresemantic_requestan_inspector_keeps_diagnostics_for_unknown_names_and_is_denied_data: 422query_invalid(fasebinding); 403 para datos con denial/denieda_masked_metric_is_refused_with_a_decided_failure_event_then_queries_recoveryan_ungoverned_day_bucket_is_refused_with_a_decided_failure_event_then_queries_recover: 422 y query/failure con decisión real; recuperacióna_failing_audit_append_answers_nothing_and_the_retry_records_once: 503audit_unavailablesinresultnireceipt, tanto para una respuesta como para una denegación; al reintentar, un único eventoaudit_heada_held_audit_head_ends_the_query_within_its_timeout_and_leaves_no_event: con T=2 s, 503 dentro de T+2 s; sin esperas enpg_stat_activity; tras el rollback no queda evento; recuperación sin duplicadosa_query_that_cannot_start_times_out_with_its_event_committed_within_the_timeout: con el worker retenido y T=2 s, 504semantic_timeoutentreD−Ry T+500 ms, con query/failuresemantic_requestconfirmado, cuyaquery_shapelleva el límite aplicado (1000); recuperaciónsemantic::run::tests::execution_leaves_the_audit_its_reserve_of_the_timeout: T=1 s, 2 s y 10 s dan una ejecución de 750, 1500 y 9500 ms; T=3 ns se rechaza al arrancartwo_viewers_querying_at_once_each_get_their_own_exact_answer: 4 rondas en paralelo, 8 eventos Success por actor y consultaexplain_still_explains_the_same_body_without_executing, mástests/semantic.rs(23) y el golden de explainreal::real_identities_execute_only_their_own_rows: Norte y Sur, mismo cuerpo, dan 100.30 y 200.00, también en 4 rondas en paralelo. Las cabeceras de identidad forjadas se ignoran; las clavesroles/groups/context/attributesdan 422 sin datos ni eventoreal::unmapped_and_revoked_identities_get_the_neutral_refusal:oidc-outsiderrecibe el 404 neutro (denial/denied). Al retirar el mapeo, la misma cookie de Norte recibe el 404 neutro en la siguiente peticióntests/contract.rscontradocs/api/openapi.jsonregenerado;npm run check:apiVerificación
Windows 11, i7-10700K. Desde
backend, conCARGO_TARGET_DIR=C:/t/claude,DUCKDB_DOWNLOAD_LIB=1yCARGO_PROFILE_DEV_DEBUG=line-tables-only. Contenedores propios: PostgreSQL 18 en 15433 y Keycloak 26.4.7 en 18071, recreado con el realm nuevo. Commit8a451a2, actualizado sobremaincon #228 (ctutils 0.4.5 y tokio 1.53.3) en20df9b8; esta batería se repitió completa sobre ese commit.tests/semantic_query.rsentra solo en el jobcheck-backend. Los workflows no cambian.Rendimiento
tests/semantic_query_latency.rs, reproducible:Router real con sesión, PostgreSQL 18 y DuckDB en memoria (10.504 filas); 20 de calentamiento y 300 muestras. La línea base es explain por HTTP: misma preparación, mismo evento confirmado, sin ejecutar. La diferencia es ejecución más codificación. No se compara una denegación con una respuesta.
Ejecutar, codificar y responder añaden unos 8–13 ms (p50) a la base. El arnés de #137 mide la ejecución sola.
Fuera de alcance
Pantallas y catálogo (#139 en adelante), lector y endpoint de auditoría (#160/#161), resultados grandes (#222/#226/#223, aparcados por el propietario), ejecución enmascarada real, el bucket temporal pendiente, streaming y releases. #118 conserva su excepción sintética.
🤖 Generated with Claude Code