Los cinco errores que comete toda marca en su primer mes de CRO

No son hipotéticos. Son las cinco cosas que salen mal en las primeras cuatro semanas en casi toda marca que empieza a experimentar, y cada una produce conclusiones muy seguras a partir de datos que no las sostienen.

1. Parar en cuanto se pone verde#

El día tres la variante va un 18% arriba y todo el mundo quiere publicarla. El día once va un 4% abajo. El día veintidós va un 2% arriba y no es significativo.

No es mala suerte, es cómo se comporta la variación aleatoria con números pequeños. Al principio de un test, un puñado de conversiones mueve el porcentaje muchísimo. Si paras cada vez que la gráfica pinta bien, tienes garantizado "encontrar" ganadores: lo único que haces es muestrear el ruido en su momento más favorecedor.

La solución es de procedimiento, no estadística: decide el tamaño de muestra antes de lanzar y no mires el resultado hasta alcanzarlo. Bixlow declara la muestra necesaria al configurar y no enseña ganador antes de llegar a ella, lo que saca la decisión de la sala por completo.

2. Lanzar seis experimentos a la vez en una web sin tráfico#

El entusiasmo de la primera semana produce un test en la home, otro en la ficha, otro en el carrito y otro en el popup de newsletter, todos vivos a la vez.

Se rompen dos cosas. Tu muestra se reparte entre todos, así que no termina ninguno. Y los visitantes caen en varios experimentos simultáneamente, así que cuando gana el del carrito no puedes saber si lo que produjo ese comportamiento fue el cambio del carrito o el de la home.

La exclusión mutua resuelve el segundo problema: marcas dos experimentos como excluyentes y un visitante que entra en uno nunca entra en el otro. No resuelve el primero. Con poco tráfico, un experimento cada vez. Secuenciar da sensación de lentitud y aun así es más rápido que cuatro tests no concluyentes.

3. No poner guardrail#

La variante sube el add-to-cart un 12%. Se publica. La facturación del mes siguiente está plana y nadie relaciona las dos cosas.

Lo que ha pasado es de lo más corriente: el cambio hizo más fácil meter cosas al carrito, incluidas cosas que la gente no iba a comprar. Las adiciones al carrito subieron, las compras no, y la métrica que elegiste para celebrar fue la que se movió.

Todo experimento necesita una métrica que no puede empeorar. En ecommerce suele ser el revenue por sesión; en captación de leads, muchas veces la tasa de lead cualificado en vez de formularios enviados. Bixlow enseña el guardrail junto a la métrica principal en el mismo panel, a propósito, para que no puedas leer una sin la otra.

4. Editar el experimento mientras corre#

El día seis alguien ve una errata en la variante y la corrige. O amplía la audiencia porque la muestra entra despacio. O añade una tercera variante.

Cada una de esas cosas reinicia el significado de los datos. Los visitantes de los días uno a seis vieron algo distinto de los posteriores, y están todos en el mismo saco. El resultado ya no es interpretable y, peor, tiene buena pinta.

Si tienes que cambiar algo, para el experimento y empieza uno nuevo. Perder seis días de datos sale mucho más barato que publicar una decisión basada en dos experimentos promediados.

5. Tratar una victoria como un hecho permanente#

El test ganó, está publicado, el equipo pasa a otra cosa. Seis meses después la mezcla de tráfico ha cambiado —más móvil, más pago, otro país— y el cambio que ganó para la audiencia del año pasado está costando dinero en silencio.

Un resultado es evidencia sobre una audiencia concreta en un momento concreto. Es una buena razón para publicar, no una ley. Apunta el segmento del que salió el resultado y, cuando tu mezcla de tráfico cambie de verdad, mantente dispuesto a volver a testear los importantes.

Por eso también importan los resultados por segmento. Un experimento neutro en global pero claramente positivo en visitantes nuevos de móvil no es un experimento fallido: es una instrucción de segmentación. Bixlow desglosa los resultados por audiencia exactamente por esto.

Claves#

• Declara el tamaño de muestra antes de lanzar y no mires hasta alcanzarlo. Las gráficas tempranas son ruido.
• Con poco tráfico, un experimento cada vez. Usa exclusión mutua cuando de verdad necesites dos.
• Todo experimento necesita guardrail. Add-to-cart sin revenue por sesión es cómo salen los trimestres planos.
• Nunca edites un experimento en marcha. Páralo y empieza otro.
• Una victoria es evidencia sobre una audiencia en un momento, no un hecho permanente.