¿Cuánto tráfico necesitas para hacer A/B testing?

"¿Cuánto tráfico necesito?" es la primera pregunta que hace toda marca antes de empezar a experimentar, y casi siempre se responde mal: o con una cifra redonda que asusta como "100.000 visitas al mes", o con un tranquilizador "¡vale cualquier tráfico!". Ninguna es cierta, porque la respuesta no es un número. Es una función de tres cosas que tú controlas.

Las tres variables#

Tu conversión de partida. Cuanto más baja, más sesiones necesitas. Convertir al 0,8% es muchísimo más caro de testear que convertir al 6%, porque los eventos raros necesitan muestras mayores para distinguirse del azar.

El efecto mínimo detectable. Cómo de grande tiene que ser la mejora para que puedas verla. Es la variable que todo el mundo olvida y la que más palanca tiene: reducir a la mitad el efecto que quieres detectar multiplica por cuatro la muestra que necesitas.

Tu confianza y tu potencia. Por convención, 95% de confianza y 80% de potencia. La confianza es tu tolerancia a declarar ganador algo que no lo es; la potencia es tu tolerancia a perderte un ganador real.

Fíjate en lo que no está en la lista: el número de variantes solo importa porque divide tu tráfico, y la herramienta que uses no importa en absoluto. Quien te venda una plataforma que "necesita menos tráfico" te está vendiendo un umbral de confianza más bajo con mejor nombre.

Números reales#

Al 95% de confianza y 80% de potencia, sesiones necesarias por variante:

Léelo como un menú, no como una sentencia. Una marca con un 2% de conversión y 500 sesiones diarias en sus fichas tiene 250 por variante y día. Detectar un +20% le lleva un mes. Detectar un +10%, cuatro meses. Detectar un +50%, menos de una semana.

Bixlow hace este cálculo con tus datos reales cuando configuras un experimento: lee tu conversión de partida de tu propio tráfico en vez de pedirte que la adivines, y te enseña la duración esperada antes de lanzar. Si el número es absurdo te enteras en la pantalla de configuración, no ocho semanas después.

La palanca que nadie usa: elegir mejor métrica#

La tabla de arriba habla de conversión a compra. Pero no siempre tienes que medir la compra.

Si tu test cambia algo en la ficha de producto, el add-to-cart ocurre unas ocho veces más a menudo que la compra. Medir el add-to-cart como métrica principal reduce la muestra necesaria más o menos en la misma proporción. El trade-off es real —las subidas de add-to-cart no siempre sobreviven hasta la facturación—, y por eso se acompaña de un guardrail sobre el revenue por sesión.

Es una técnica legítima cuando se usa con honestidad: mide el evento más cercano al cambio que has hecho y protege el evento que de verdad te importa. Se vuelve deshonesta cuando falta el guardrail y el número de add-to-cart acaba en el informe como si fuera facturación.

Cuando el número sí es demasiado grande#

A veces la respuesta honesta es que no puedes testear esa hipótesis. Eso es información, no un fracaso. Tres cosas que hacer con ella:

Muévela aguas arriba. No puedes detectar una mejora del 5% en el checkout, pero probablemente sí puedas detectar si una landing completamente distinta para tu tráfico de Meta funciona, porque ese efecto es grande.

Amplía la población. Si la hipótesis solo aplica a un segmento, puede que el segmento sea demasiado pequeño. A veces la misma idea aplica a toda la web y entonces sí es medible.

Decide sin testear. No toda decisión necesita un experimento. Si el cambio es barato, reversible y direccionalmente obvio, publícalo. Guarda tu muestra para las decisiones en las que de verdad no sabes la respuesta y equivocarte sale caro.

¿Y los tests secuenciales?#

Verás herramientas que anuncian métodos secuenciales de "mira cuando quieras". Son estadística real, no un truco, y sí permiten parar antes cuando el efecto es muy grande. Lo que no hacen es volver detectables los efectos pequeños con muestras pequeñas. Cambian cuándo puedes parar, no cuánta señal hay en tus datos.

Bixlow usa tests de horizonte fijo con tamaño de muestra declarado, y sencillamente no enseña un ganador hasta que hay evidencia. Es la opción más conservadora y, para equipos sin estadístico en plantilla, la que produce menos decisiones equivocadas.

Claves#

• La respuesta depende de tu conversión de partida, del efecto que quieras detectar y de tu nivel de confianza; no de tu herramienta.
• Reducir a la mitad el efecto que quieres detectar multiplica por cuatro la muestra necesaria.
• Medir un evento más frecuente (add-to-cart en vez de compra) recorta la muestra, pero solo si mantienes un guardrail de facturación.
• "Esto no lo puedes testear" es una respuesta válida y útil. Gasta tu muestra donde de verdad no sepas la respuesta.