Tests excluyentes: evitar que dos experimentos se contaminen

Tienes un test en la ficha de producto y otro en el carrito. Un visitante puede caer en la variante B del primero y la A del segundo, o B y B, o A y B, o A y A. Tienes cuatro poblaciones y estás analizando dos.

La mayoría de las veces no pasa nada. A veces destruye tu resultado en silencio, y la diferencia importa.

Cuándo el solape es inofensivo#

Si dos experimentos tocan partes no relacionadas del recorrido y ninguno afecta a la métrica del otro, lanzarlos a la vez no te cuesta nada y te da dos respuestas en el tiempo de una.

Un test sobre el alta a newsletter de tu blog y un test sobre tu checkout son independientes. La aleatorización reparte las variantes del blog de forma pareja entre las dos variantes del checkout, así que la comparación del checkout sigue siendo justa. Este es el caso normal y por eso testear en paralelo es práctica estándar a escala.

Cuándo el solape rompe el resultado#

Se rompe cuando los experimentos interactúan, es decir, cuando el efecto de uno depende de qué variante del otro le tocó al visitante.

El caso más claro son dos experimentos en el mismo funnel con la misma métrica aguas abajo. Un test de ficha de producto que aumenta el volumen de add-to-cart cambia la composición de quién llega al carrito. Si tu test de carrito está cambiando a la vez la experiencia del carrito, ese test se está evaluando sobre una población distinta dentro de cada variante de la ficha.

La aleatorización sigue equilibrando los recuentos, así que no tendrás una media groseramente sesgada. Lo que pierdes es la capacidad de interpretarla: el efecto de carrito que mides es una media entre dos condiciones distintas aguas arriba, y si esas condiciones tiran en sentidos opuestos, la media puede quedar cerca de cero mientras los dos efectos reales son grandes.

El segundo caso es la colisión visual. Dos experimentos que modifican la misma zona de la misma página pueden producir una combinación que nadie diseñó y nadie previsualizó: una barra fija de un test tapando un banner promocional del otro.

Qué hace la exclusión mutua#

Marcar dos experimentos como excluyentes significa que un visitante inscrito en uno nunca entra en el otro. Cada uno conserva una población limpia y sin contaminar.

El coste es tráfico. Los dos experimentos ahora se reparten tu audiencia en vez de compartirla, así que cada uno recibe la mitad de la muestra y tarda aproximadamente el doble. En una empresa grande es un intercambio fácil. En una marca pequeña suele significar que deberías haberlos lanzado en secuencia.

En Bixlow declaras la exclusividad entre experimentos y el motor de asignación la resuelve de forma determinista: el mismo visitante se resuelve siempre igual, sin carreras entre dos experimentos intentando reclamarlo.

Grupos de exclusión, no solo parejas#

A medida que crece un programa, la exclusividad por parejas se vuelve inmanejable. La estructura habitual es un grupo de exclusión: un cubo con nombre en el que cualquier visitante entra como mucho en un experimento.

Una estructura de partida sensata para una marca de ecommerce es un grupo por fase del funnel —descubrimiento, producto, carrito, checkout—, con los experimentos de un mismo grupo excluyentes entre sí y los de grupos distintos libres de solaparse. Eso captura casi todo el riesgo real de interacción sin paralizar tu programa.

El consejo honesto para una marca pequeña#

Si tienes poco tráfico, la exclusión mutua es más una señal de alarma que una herramienta. Necesitarla significa que estás intentando lanzar dos experimentos para los que no tienes muestra.

Lanza uno cada vez. Da sensación de lentitud y no lo es: dos tests simultáneos con la mitad de potencia que acaban los dos sin conclusión te han costado más tiempo que dos tests secuenciales que dieron los dos una respuesta.

Guarda la exclusión para el caso en el que de verdad no hay alternativa —una personalización permanente que tiene que seguir viva mientras testeas otra cosa en la misma página— y úsala a propósito, no como ajuste por defecto.

Claves#

• Los experimentos solapados suelen ser inofensivos. Se rompen cuando uno cambia la población o la superficie que el otro mide.
• La exclusión mutua te compra una población limpia y te cuesta la mitad de la muestra.
• Organiza la exclusividad en grupos por fase del funnel, no en parejas.
• Con poco tráfico, necesitar exclusión mutua suele significar que deberías lanzar los tests en secuencia.