Se mira el resultado cada mañana
El primer día que la variante va por delante, alguien la da por ganadora. Una semana después, la ventaja ha desaparecido.
Estadística y veredictos
Sabrás cuándo un resultado es real.
Un test solo vale lo que vale su veredicto. Bixlow te dice en lenguaje claro qué probabilidad tiene cada variante de ser la mejor, cuánto arriesgas si te equivocas y si ya hay evidencia suficiente para decidir.
El motor estadístico de Bixlow es un motor bayesiano que calcula la probabilidad de que cada variante sea la mejor, la pérdida esperada y un intervalo creíble al 95%, y solo declara ganadora cuando se cumplen muestra mínima, duración mínima y umbral de probabilidad.
Distribución de la tasa de conversión
OriginalVariante B
- Probabilidad de ser la mejor
- 96,4%
- Pérdida esperada
- 0,02%
- Intervalo creíble 95%
- +2,1% … +9,8%
Puertas del veredicto
- Muestra mínima
- 7 días de duración
- Probabilidad ≥ 95%
- Enfoque
- Bayesiano
- Puertas antes del veredicto
- Tres
- Probabilidad exigida
- ≥ 95%
- Duración mínima
- 7 días por defecto
EL PROBLEMA
Cómo se estropea un buen test
Casi nunca falla la idea. Falla la forma de leer los números.
Nadie sabe qué significa «significativo»
Un p-valor no responde a la pregunta que hace dirección: ¿cuánto de probable es que B sea mejor y cuánto perdemos si no lo es?
El reparto está roto y nadie lo ve
Si una variante recibe mucho más tráfico del que le toca, hay un fallo técnico detrás, y el resultado no se puede creer.
Cada uno hace sus cuentas
Una hoja de cálculo dice una cosa, la herramienta otra y el informe una tercera. Al final se decide por quién habla más alto.
CÓMO FUNCIONA
Cómo llega Bixlow a un veredicto
El mismo motor lee todos los tests, con las mismas reglas, y el resultado se puede reproducir.
- 1
Cuenta visitantes y conversiones
Cada conversión se atribuye a la variante que vio el visitante, en el objetivo principal y en cada guardrail.
- 2
Calcula probabilidades
Modelo Beta-Binomial para tasas de conversión y bootstrap para ingresos. De ahí salen la probabilidad de ser la mejor, la pérdida esperada y el intervalo creíble.
- 3
Comprueba las puertas
Muestra mínima por variante, días mínimos y probabilidad de al menos el 95% con la pérdida esperada bajo el umbral. Mientras falte una, no hay ganadora.
- 4
Te da el veredicto
Ganadora, sin diferencia clara o esperando datos, con el motivo a la vista. Tú decides si la declaras y pasa a ser la versión base.
CAPACIDADES
Rigor estadístico explicado en cristiano
No hace falta saber estadística para usarlo. Hace falta que alguien la haya hecho bien por ti.
Veredicto bayesiano
Las respuestas que de verdad necesitas
En lugar de un p-valor, ves cifras que se entienden en una reunión: cuánto de probable es que gane y cuánto te juegas.
- Probabilidad de que cada variante sea la mejor.
- Pérdida esperada si eliges una variante y no era la mejor.
- Intervalo creíble al 95% del efecto.
Tres puertas
Nada de ganadoras prematuras
Un buen arranque no basta. El motor espera a tener datos suficientes y tiempo suficiente antes de hablar.
- Muestra mínima por variante.
- Duración mínima, 7 días por defecto, para cubrir una semana completa.
- Probabilidad ≥95% con pérdida esperada bajo el umbral.
Controles de calidad
Avisos antes de que tomes una mala decisión
El motor no solo mira quién gana; también comprueba que el test esté sano y que la ganadora no rompa nada.
- Detección de desequilibrio de muestra (SRM) con chi-cuadrado, p < 0,001.
- Guardrails: aviso cuando hay un 80% de probabilidad de que una métrica secundaria empeore.
- Resultados reproducibles: Monte Carlo con semilla, mismo dato, mismo veredicto.
AGENTE DE IA
El agente lee el veredicto; no se lo inventa
Ni la interfaz ni la IA calculan su propio veredicto. Ambas cuentan lo que dice el motor, así que lo que te explica el chat coincide con lo que ves en pantalla.
Tú decides
- Qué objetivo es la métrica principal.
- Qué métricas no pueden empeorar.
- Cuándo declarar la ganadora.
- Qué pasa a producción y qué se descarta.
El agente hace
- Te resume el veredicto del motor en lenguaje claro.
- Te explica qué puerta falta y por qué.
- Te avisa si salta un guardrail o un SRM.
- Propone el siguiente test a partir del resultado.
Un veredicto en Bixlow
- Test
- Ficha de producto · Original vs. B
- Probabilidad de que B sea la mejor
- 97%
- Pérdida esperada eligiendo B
- Bajo el umbral
- Muestra y duración
- Cumplidas · día 9
- Guardrail · ingresos por sesión
- Sin aviso
- Veredicto
- B es la ganadora
BIXLOW STUDIO
¿Quieres a alguien que lea los resultados contigo?
Bixlow Studio diseña los tests para que lleguen a un veredicto y revisa cada resultado con un estratega senior antes de tomar decisiones.
Conoce Bixlow Studio- 01Elección de métrica principal y guardrails para cada test.
- 02Lectura de veredictos y siguiente paso en cada caso.
- 03Informe mensual del programa revisado con un estratega.
PREGUNTAS FRECUENTES
Estadística
¿Por qué bayesiano y no frecuentista?
Porque responde directamente a lo que preguntas: qué probabilidad hay de que una variante sea la mejor y cuánto pierdes si te equivocas. Las tres puertas evitan, además, declarar ganadora con pocos datos.
¿Qué es la pérdida esperada?
Es cuánto empeoraría, de media, la métrica si eliges una variante y en realidad no era la mejor. Que sea pequeña significa que elegirla es una apuesta segura aunque la diferencia sea modesta.
¿Por qué hay que esperar 7 días?
Para cubrir una semana completa: el comportamiento cambia entre días laborables y fin de semana. Es la duración mínima por defecto, y se combina con una muestra mínima por variante.
¿Qué es un SRM?
Un sample ratio mismatch: el tráfico real de cada variante no cuadra con el reparto configurado. Suele indicar un fallo técnico, y Bixlow te avisa porque el resultado de ese test no es fiable.
¿Puede la IA decirme que una variante gana antes que el motor?
No. El agente no calcula su propio veredicto: lee el del motor y te lo explica. Si el motor dice que falta muestra, el agente te dice que falta muestra.
EMPEZAR
Decide con evidencia, no con capturas
Lanza tu primer test y deja que el motor te diga cuándo hay un resultado real.
SIN TARJETA · UN SCRIPT · 10 MINUTOS