Elegir tu efecto mínimo detectable: una decisión de negocio, no estadística

Toda calculadora de tamaño de muestra pide un efecto mínimo detectable y casi todo el mundo lo adivina. Tu tasa de conversión es una medición. Tu tráfico es una medición. El MDE es una elección, y es la que más palanca tiene sobre cuánto durará tu test.

El MDE es la mejora más pequeña que tu experimento podrá distinguir del ruido. Fíjalo en el 5% y necesitas mucho tráfico. Fíjalo en el 25% y necesitas muchísimo menos.

Lo que no es: una predicción de cuánto va a mejorar la variante. No estás adivinando el efecto; estás declarando el umbral por debajo del cual te da igual.

Ese cambio de encuadre es todo el artículo. La pregunta correcta no es "¿cuánto va a ayudar esto?" —no lo sabes, por eso lo testeas—. Es: ¿qué mejora, por pequeña que sea, seguiría cambiando lo que hago?

Para una marca pequeña es una cuenta que cabe en el reverso de un sobre.

Coge la facturación anual que pasa por la página que vas a testear. Digamos que una ficha de producto mueve 200.000 € al año. Una mejora del 5% en conversión ahí son 10.000 € anuales. Una del 20%, 40.000 €.

Ahora pregúntate qué cuesta mantener el cambio. Si es un cambio de diseño permanente sin coste recurrente, 10.000 € claramente merecen la pena, así que un MDE del 5% está justificado, si tienes tráfico para él. Si el cambio obliga a mantener dos versiones de una página para siempre, puede que 10.000 € al año no sobrevivan a esa carga, y entonces solo deberían importarte efectos lo bastante grandes como para pagar la complejidad.

El MDE sale de esa comparación, no de una regla general.

Reducir el MDE a la mitad multiplica por cuatro la muestra necesaria. Esa relación es brutal y es la razón de que esta variable importe más que las otras.

Pasar de un MDE del 20% a uno del 10% en una página con 300 sesiones diarias lleva tu test de unas tres semanas a unos tres meses. Tres meses cruzan el techo a partir del cual la estacionalidad, el cambio de mezcla de tráfico y la pérdida de cookies empiezan a contaminar la comparación, así que en la práctica no has comprado un test más sensible: has comprado uno poco fiable.

Por eso la respuesta honesta para marcas con poco tráfico suele ser subir el MDE en vez de bajarlo. Un test que solo detecta efectos grandes, bien ejecutado, gana a uno que dice detectar efectos pequeños y corre durante una temporada entera.

Sin autoengaños: un MDE alto significa que te vas a perder mejoras reales. Si lo fijas en el 25% y el efecto verdadero es del 8%, tu test sale no concluyente y concluirás que la idea no funcionó. Sí funcionó: simplemente no podías verlo.

Ese es el intercambio de verdad, y por eso un "no concluyente" debería registrarse como "ningún efecto mayor del 25%" en vez de como "no funcionó". Son notas muy distintas de releer dentro de un año.

Bixlow enseña el MDE en el resultado junto al intervalo por este motivo. Un test no concluyente con un umbral declarado del 25% te dice algo concreto; uno sin umbral declarado no te dice casi nada.

Si no quieres hacer la cuenta de facturación cada vez, esto sirve para la mayoría de marcas pequeñas:

• MDE del 20-25% para tus primeros tests. Solo cambios grandes y estructurales. Resultados en semanas.
• 10-15% cuando tu tráfico lo sostenga, para refinar cosas que ya ganaron.
• Por debajo del 10% solo si de verdad tienes el volumen, y solo para cambios en tu página de mayor valor.

Y siempre que la calculadora devuelva una duración de más de unas ocho semanas, no bajes la confianza: sube el MDE o elige otra hipótesis.

• El MDE es una elección sobre qué cambiaría tu decisión, no una predicción del efecto.
• Dedúcelo de la facturación de la página y del coste recurrente de mantener el cambio.
• Reducir el MDE a la mitad multiplica por cuatro la muestra. Es la variable con más palanca.
• Registra los no concluyentes como "ningún efecto mayor del X%", no como "no funcionó".