Tamaño de muestra: cómo saber si tu test es fiable

El tamaño de muestra es el factor que más experimentos arruina sin que nadie se dé cuenta. Un test puede estar perfectamente diseñado, con una hipótesis impecable y una variante bien ejecutada, y aun así no servir para nada si no reúne suficientes usuarios para que el resultado sea fiable. Entender este concepto te ahorra semanas de trabajo perdido.

La buena noticia es que no hace falta resolver fórmulas: basta con conocer tres variables y usar una calculadora. La mala es que muchos equipos lanzan tests sin comprobar si tienen tráfico para terminarlos, y acaban tomando decisiones sobre datos que no aguantan un análisis. En este artículo verás cómo evitarlo.

Las tres variables que determinan la muestra#

El tamaño de muestra necesario depende de tres cosas. La primera es tu tasa de conversión actual o tasa base: cuanto más baja, más usuarios necesitas. La segunda es el efecto mínimo detectable, es decir, la mejora más pequeña que quieres ser capaz de detectar; detectar un cambio del 1% exige muchísima más muestra que detectar uno del 10%. La tercera es el nivel de confianza, normalmente el 95%.

Con esas tres entradas, cualquier calculadora de tamaño de muestra te devuelve el número de usuarios por variante que necesitas. Hacer este cálculo antes de lanzar es lo que convierte un test en una inversión con sentido, porque te dice por adelantado si tienes tráfico suficiente para llegar a una conclusión en un plazo razonable.

Qué pasa cuando tienes poco tráfico#

Si tu sitio recibe poco tráfico, los tests con efectos pequeños pueden tardar meses o ser directamente inviables. En lugar de rendirte, ajusta tu estrategia para que los experimentos sigan generando valor pese a la limitación de volumen.

• Prueba cambios grandes y atrevidos, que producen efectos mayores y necesitan menos muestra.
• Concentra el test en las páginas o pasos con más tráfico, no en los rincones poco visitados.
• Mide métricas más frecuentes, como clics, en lugar de conversiones finales escasas.
• Acepta un nivel de confianza algo menor en decisiones reversibles y de bajo riesgo.

No confundas muestra con tiempo#

Alcanzar el tamaño de muestra no basta por sí solo: ese volumen debe acumularse a lo largo de ciclos completos para que sea representativo. Reunir 30.000 usuarios en dos días de campaña no equivale a reunirlos a lo largo de dos semanas normales. Combina siempre el criterio de muestra con el de duración para asegurarte de que el dato refleja a tu audiencia real y no a una situación puntual.

Claves#

• El tamaño de muestra depende de la tasa base, el efecto mínimo detectable y el nivel de confianza.
• Calcula la muestra necesaria antes de lanzar para saber si el test es viable.
• Con poco tráfico, prueba cambios grandes y concéntrate en las páginas más visitadas.