A/B testing vs A/B/n: cuándo usar cada uno

Cuando un equipo ya se maneja con soltura con los experimentos, siempre hay alguien que propone probar más de dos versiones a la vez. Eso es el A/B/n: la misma idea que el A/B testing clásico, pero comparando tres o más versiones de una tacada. Puede ser la herramienta adecuada, siempre que sepas lo que cuesta en tráfico y en fiabilidad.

Cada versión adicional reparte el tráfico entre más opciones y alarga el tiempo que tardas en llegar a una conclusión, así que conviene pensárselo antes de meter una cuarta o quinta versión solo porque se puede.

El A/B clásico compara dos versiones, el control y una variante. El A/B/n enfrenta el control a dos, tres o más alternativas dentro del mismo experimento, y la n no es más que el número de versiones. La técnica de fondo es la misma; cambia cuántas opciones compiten y lo que eso supone para el reparto del tráfico.

El tráfico se divide entre todas las versiones. En un A/B cada una recibe la mitad de los visitantes; en un A/B/n con cuatro versiones, cada una recibe una cuarta parte. Para que todas lleguen al tamaño de muestra que las hace fiables, necesitas bastante más tráfico total o bastante más tiempo. Si un test de dos versiones en tu página de precios tarda dos semanas, uno de cuatro tardará más o menos el doble en darle a cada versión los mismos visitantes.

Depende de cuántas ideas de verdad distintas tengas y de cuánto tráfico puedas dedicarles. Ninguno es mejor en abstracto:

• El A/B encaja con tráfico limitado o cuando hay una sola alternativa clara que comparar con el control.
• El A/B/n encaja cuando sobra tráfico y tienes varias ideas distintas que merece la pena enfrentar a la vez.
• El A/B/n también sirve al principio, para comparar enfoques muy diferentes y ver qué dirección conviene explorar.
• Si lo que tienes son retoques pequeños de una misma idea, olvídate del A/B/n y haz tests A/B seguidos, que es más eficiente.

Cada versión de más no solo divide el tráfico. También aumenta la probabilidad de que alguna parezca ganadora por pura suerte, el llamado problema de las comparaciones múltiples. Con cinco versiones, las opciones de que una destaque por azar son muchas más que con dos. Cuando haya muchas variantes, exige un nivel de confianza más alto antes de dar por buena la significancia estadística, o aplica una corrección estadística. Y sé estricto con lo que entra en el test: cada variante debería responder a una hipótesis clara, porque una que metes "por ver qué pasa" te come tráfico y hace más probable un falso ganador.