Evaluación continua

Benchmarks y calidad de respuesta

Medimos la calidad del motor sobre un golden dataset versionado y reproducible, no con métricas de marketing. Así detectamos alucinaciones, contaminación cruzada y respuestas que deberían derivarse.

model_found

El modelo/SKU correcto aparece en la respuesta o en las fuentes recuperadas.

contamination

Detecta si se coló información de un producto parecido (contaminación cruzada).

deferred

Cuando el dato no está en el corpus, el sistema deriva en vez de inventar.

Evolución de la tasa de acierto (pass_rate)

v1 v2 v3 v4 v5 82% 87% 91% 94% 96%

Gráfico ilustrativo de la tendencia del benchmark interno; los valores exactos se comparten en la demo técnica.

Metodología

  • Golden dataset versionado: casos de regresión (consulta + modelo esperado + productos prohibidos).
  • Evaluación determinista: un juez compara respuesta y fuentes recuperadas, sin depender del LLM.
  • Comparación de modelos: el mismo dataset se corre contra el modelo actual y candidatos antes de migrar.
  • CI: los tests puros y la validación del dataset corren en cada push.

Lee más en el guard de SKU y el motor interno.