Qué es un test A/B bayesiano
Un test A/B bayesiano es un test que se analiza con estadística bayesiana: en lugar de un p-valor, te dice directamente qué probabilidad hay de que cada versión sea la mejor, cuánto mejora probablemente y cuánto perderías si eliges la equivocada.
Por Fernando Blanco Dosil · Actualizado el 2 de noviembre de 2026
La idea, en dos frases
El método bayesiano parte de lo que sabes antes de empezar (a menudo, casi nada) y lo va actualizando con cada visitante y cada conversión. Al final tienes una distribución de valores posibles para la conversión de cada versión, y con ella puedes responder preguntas de negocio.
La pregunta que todo el mundo hace después de un test es: ¿cuál gana y con qué seguridad? El enfoque bayesiano responde exactamente a eso. El clásico responde a otra cosa y hay que traducirla.
Bayesiano frente a frecuentista
| Frecuentista (clásico) | Bayesiano | |
|---|---|---|
| Resultado principal | p-valor y nivel de significación | Probabilidad de que cada versión sea la mejor |
| Cómo se interpreta | Hay que traducirlo, y suele leerse mal | Se lee tal cual: 97 % es 97 % de que gana |
| Cuánto mejora | Intervalo de confianza | Intervalo creíble: dónde está la mejora real con un 95 % de probabilidad |
| Riesgo de equivocarte | No lo cuantifica | Pérdida esperada: cuánta conversión pierdes si eliges mal |
| Mirar los resultados a menudo | Infla los falsos ganadores | Se tolera mejor, siempre con mínimos de muestra y duración |
Las tres cifras que vas a ver
Un buen informe bayesiano no se queda en un número. Te da tres, y cada una responde a una duda distinta.
- Probabilidad de ser la mejor: de todas las versiones, cuál tiene más papeletas de convertir más. Si la variante tiene un 96 %, en 96 de cada 100 escenarios compatibles con los datos es la ganadora.
- Pérdida esperada: si eliges esta versión y resulta que no era la mejor, cuánta conversión pierdes de media. Cuando es casi cero, elegirla es una apuesta segura aunque la probabilidad no sea altísima.
- Intervalo creíble: el rango donde probablemente está la mejora real. Un +8 % con intervalo entre +2 % y +14 % es un resultado sólido; entre −5 % y +21 %, todavía no.
Lo que no arregla
Bayesiano no significa que puedas decidir con 300 visitantes. Con poca muestra, la probabilidad baila mucho de un día a otro. Por eso un buen motor bayesiano exige además una muestra mínima por versión y una duración mínima, para cubrir al menos una semana con sus días buenos y malos.
Tampoco te salva de un test mal montado. Si una variante no carga para una parte de los visitantes, ningún cálculo lo corrige. Para eso está la comprobación de sample ratio mismatch.
Cómo lo trata Bixlow
Bixlow analiza cada test con un modelo Beta-Binomial y una previa uniforme Beta(1,1), es decir, sin suponer nada sobre tu conversión antes de empezar. Declara un ganador solo cuando la probabilidad de ser la mejor llega al 95 % con una pérdida esperada baja, cada versión alcanza la muestra mínima y el test cumple la duración mínima. Si la comprobación de sample ratio mismatch falla, no da veredicto.