¿Cuánto debe durar un experimento?

Tres reglas fijan la duración de un experimento, y pueden entrar en conflicto. Saber cuál manda en tu caso es casi toda la habilidad.

Regla uno: el tamaño de muestra pone el suelo#

Necesitas un número de sesiones por variante declarado de antemano. Divídelo entre tu tráfico diario en la página segmentada y tienes un mínimo en días.

La palabra crítica es de antemano. Correr "hasta que sea significativo" no es una política de duración: es el problema de ir mirando con pasos extra, porque estás muestreando repetidamente y parando justo cuando el ruido te favorece.

Regla dos: los ciclos completos ponen la forma#

Aunque tu muestra llegue en cuatro días, deja correr al menos una semana completa, y preferiblemente dos.

Tu tráfico de martes y tu tráfico de sábado son poblaciones distintas. Los visitantes entre semana pueden estar investigando desde el trabajo; los del fin de semana pueden estar comprando. Si tu experimento cubre de lunes a jueves, tu resultado describe comportamiento entre semana y lo vas a desplegar sobre una semana que incluye fines de semana.

Dos semanas completas es mejor que una, porque una sola semana puede distorsionarse por una nómina, un pico de campaña o un sábado raro. Si tu negocio tiene ritmo mensual —picos de nómina, ciclos de suscripción—, plantéate un mes completo para cualquier cosa sobre la que vayas a actuar estratégicamente.

En la práctica: coge el mayor entre tu suelo de muestra y tu requisito de ciclo, y redondea hacia arriba a semanas enteras. Bixlow hace ese redondeo por defecto en vez de parar a mitad de semana, porque un test que termina un miércoles tiene un fin de semana y medio dentro, y esa asimetría acaba en tu resultado.

Regla tres: hay un techo#

La regla que nadie enuncia. Más allá de unas seis u ocho semanas, un experimento empieza a medir un mundo en movimiento en vez de tu cambio.

La pérdida de cookies se acumula, así que tu persistencia se degrada y los visitantes empiezan a cruzarse entre variantes. Tu mezcla de tráfico cambia según cambian las campañas. Llega la estacionalidad. Tu propio equipo publica otros cambios en la web. El grupo de control contra el que comparas no es el mismo con el que empezaste.

Si tu cálculo de muestra dice que necesitas catorce semanas, la lectura honesta no es "déjalo catorce semanas". Es "esta hipótesis no es testeable con mi tráfico actual": vuelve atrás y elige un cambio mayor, una métrica más frecuente o una población más amplia.

Qué hacer mientras corre#

Comprueba dos cosas, y ninguna es el resultado.

Salud. ¿Renderizan las dos variantes? ¿El tráfico se reparte más o menos como configuraste? ¿Las tasas de error son normales? Una variante que falla en silencio al cargar en Safari se verá como una preciosa victoria del control.

Guardrails. Si el revenue por sesión se hunde en la variante, para. Parar por daño es siempre legítimo: no estás afirmando nada positivo, estás evitando un perjuicio. Parar por una victoria, no.

Esa asimetría es toda la disciplina. Puedes terminar un test antes para dejar de perder dinero. No puedes terminarlo antes para empezar a cantar victoria.

Alargar un test que salió no concluyente#

Tentador, y casi siempre equivocado. Si declaraste 20.000 sesiones y obtuviste un resultado no concluyente, alargar a 30.000 porque no te gustó la respuesta es el problema de ir mirando con otro sombrero.

La versión legítima: decide antes de alargar que ahora estás lanzando un test nuevo y más largo con una muestra declarada nueva, y asume que los datos que ya tienes contribuyeron a esa decisión. Mejor aún: trata el "no concluyente" como la respuesta que suele ser —el efecto, si lo hay, es menor de lo que te importaba— y pasa a una hipótesis más grande.

Claves#

• La duración es el mayor entre tu suelo de muestra declarado y tu requisito de ciclo, redondeado a semanas enteras.
• "Correr hasta que sea significativo" no es una política, es ir mirando.
• Pasadas seis u ocho semanas mides un mundo en movimiento. Necesitar catorce semanas significa que la hipótesis no es testeable, no que debas esperar.
• Parar antes para evitar daño siempre vale. Parar antes para declarar victoria, nunca.