Cuánto tiempo dejar correr un test A/B

Una de las preguntas más frecuentes al lanzar un experimento es cuándo pararlo. Pararlo demasiado pronto produce ganadores falsos; dejarlo demasiado tiempo desperdicia tráfico y retrasa decisiones. Acertar con la duración es tan importante como diseñar bien la variante, porque condiciona directamente la fiabilidad de la conclusión.

La respuesta correcta no es un número fijo de días, sino el resultado de combinar el tamaño de muestra que necesitas, los ciclos naturales de tu negocio y el comportamiento de tu tráfico. En este artículo verás cómo estimar la duración antes de lanzar y qué señales te dicen que aún no debes detener el test.

La duración depende de la muestra, no del calendario#

El tiempo de un test es consecuencia del tamaño de muestra que necesitas y del tráfico que recibes. Si tu objetivo requiere 20.000 visitantes por variante y recibes 2.000 al día, el test durará unos diez días como mínimo. Por eso la duración se calcula antes de empezar, estimando el efecto que esperas detectar y el volumen de tráfico disponible. Lanzar sin esa cuenta es navegar a ciegas.

Existen calculadoras de tamaño de muestra que, a partir de tu tasa de conversión actual y la mejora mínima que quieres detectar, te dicen cuántos usuarios necesitas. Con ese número y tu tráfico diario obtienes una estimación realista de la duración, que conviene fijar como compromiso antes de mirar ningún resultado.

Respeta los ciclos completos de tu negocio#

El comportamiento de los usuarios cambia según el día de la semana y el momento del mes. Quien compra un lunes no siempre se parece a quien compra un sábado, y un test que solo cubra días laborables puede engañarte. Por eso conviene dejar correr el experimento durante ciclos completos.

• Cubre al menos una o dos semanas completas para capturar la variación entre días laborables y fines de semana.
• Si tu negocio tiene ciclos mensuales, como pagos o nóminas, considera cubrir un mes entero.
• Evita arrancar o parar tests en fechas atípicas como rebajas, campañas o festivos que distorsionen los datos.

Señales de que aún no debes parar#

No detengas el test solo porque una versión va ganando: hasta alcanzar el tamaño de muestra previsto, esa ventaja puede ser ruido. Tampoco te fíes de un pico de significancia temprano. Y si tu test no ha cubierto al menos una semana completa, espera aunque las cifras parezcan claras. La paciencia en esta fase es lo que protege la validez de toda la inversión que has hecho.

Claves#

• Calcula la duración a partir del tamaño de muestra y tu tráfico diario antes de lanzar.
• Deja correr el test durante ciclos completos de al menos una o dos semanas.
• No pares por una ventaja temprana ni por un pico de significancia antes de tiempo.