Qué es la significación estadística en un test A/B
Un resultado de un test A/B es estadísticamente significativo cuando la diferencia entre versiones es tan grande que sería muy raro verla por puro azar si en realidad las dos funcionaran igual. Lo habitual es exigir un nivel del 95 %, es decir, un p-valor por debajo de 0,05.
Por Fernando Blanco Dosil · Actualizado el 2 de noviembre de 2026
El p-valor, sin jerga
El p-valor responde a esta pregunta: si la variante y el original convirtieran exactamente igual, ¿qué probabilidad habría de ver una diferencia como la que estoy viendo, o mayor? Si esa probabilidad es muy baja (menos de un 5 %), concluyes que lo más razonable es que la diferencia sea real.
Lo que no dice el p-valor, aunque mucha gente lo lea así, es la probabilidad de que la variante sea mejor. Un p-valor de 0,03 no significa un 97 % de probabilidades de ganar. Es una pregunta distinta, y esa confusión está detrás de muchas malas decisiones.
En España se dice significación estadística; en Latinoamérica es habitual oír significancia. Es lo mismo.
Los errores más comunes
El método clásico funciona bien si se usa como fue pensado: decides la muestra antes, lanzas el test y miras el resultado una sola vez al final. Casi nadie lo hace así.
- Mirar cada día y parar cuando sale significativo. Si revisas el test a diario, tarde o temprano el p-valor cruzará el 0,05 por azar. Con muchas miradas, la tasa de falsos ganadores se dispara muy por encima del 5 %.
- Parar antes de tiempo. Una variante que gana el primer fin de semana de rebajas puede perder el resto del mes. Sin semanas completas, el resultado no representa a tus visitantes.
- Probar muchas variantes a la vez. Con cinco variantes contra el original, la probabilidad de que una salga significativa por azar ya no es un 5 %, sino bastante más.
- Mirar muchas métricas y quedarte con la que gana. Si mides veinte cosas, una saldrá significativa aunque el cambio no haga nada.
Significación clásica frente a probabilidad de ser la mejor
Dos formas de decidir un test. Responden a preguntas distintas.
| p-valor (frecuentista) | Probabilidad de ser la mejor (bayesiana) | |
|---|---|---|
| Qué pregunta responde | Qué tan raro sería este resultado si no hubiera diferencia | Qué probabilidad hay de que esta versión sea la mejor |
| Cómo se lee | Por debajo de 0,05, se descarta que sean iguales | Un 96 % es un 96 % de que gana, sin traducción |
| Mirar a diario | Aumenta los falsos ganadores | Se tolera mejor, con mínimos de muestra y duración |
| Qué te dice además | Nada sobre cuánto arriesgas | Cuánto perderías si eliges mal (pérdida esperada) |
Cómo lo trata Bixlow
Bixlow no da resultados con p-valor. Usa estadística bayesiana y te enseña la probabilidad de que cada versión sea la mejor, la mejora estimada con un intervalo creíble y la pérdida esperada. Solo declara un ganador cuando la probabilidad llega al 95 %, cada versión tiene la muestra mínima y el test ha durado lo mínimo, para que mirar los resultados cada día no te lleve a parar en un pico.