Tests multivariante: cuándo merecen la pena

El test multivariante, o MVT, es un escalón más de complejidad en experimentación. En lugar de comparar versiones completas de una página, prueba combinaciones de varios elementos a la vez, de forma que además de saber qué versión gana sabes qué elementos han tenido que ver y cómo se afectan entre sí. Es un método potente, y pide unas condiciones que la mayoría de webs no cumplen.

Lo que lo hace atractivo es que saca a la luz las interacciones. A veces un titular solo funciona mejor cuando va con una imagen concreta, y eso un test normal no te lo cuenta. Lo que lo hace difícil es la cantidad de tráfico que se come.

Eliges varios elementos de la página, por ejemplo el titular y la imagen principal, y preparas unas cuantas versiones de cada uno. La herramienta monta todas las combinaciones posibles y reparte el tráfico entre ellas. Dos titulares y dos imágenes dan cuatro combinaciones. Si añades un tercer elemento con dos versiones, son ocho; si ese tercer elemento tiene tres, doce. La cuenta se dispara enseguida, y cada combinación necesita su parte de visitantes.

El A/B/n compara versiones completas e independientes de una página. El MVT, en cambio, descompone el resultado por elementos y mide cómo se influyen unos a otros. Esa información sobre interacciones no te la da ningún test A/B, y es el único motivo de peso para cargar con la complejidad extra.

El MVT solo tiene sentido en circunstancias bastante concretas. Fuera de ellas, un A/B bien planteado te da respuestas más rápidas y fiables con mucho menos esfuerzo. Antes de lanzar uno, comprueba que se cumple todo esto:

• Tienes muchísimo tráfico, porque cada combinación necesita su propio tamaño de muestra.
• Te interesa de verdad entender cómo interactúan los elementos, y no solo qué versión global gana.
• Los elementos conviven en la misma pantalla, así que es razonable que se influyan.
• Puedes permitirte esperar, porque con tantas combinaciones el experimento se alarga.

Para casi todos los equipos, y más si no manejan un tráfico enorme, una secuencia de tests A/B rinde más que un MVT. Pruebas primero el titular y aplicas el ganador; luego la imagen, y así sucesivamente. Renuncias a la información de interacciones, pero tienes respuestas antes, te puedes fiar más de ellas y son mucho más fáciles de explicar al resto de la empresa. Guarda el MVT para cuando el tráfico sobre y la pregunta de cómo interactúan los elementos sea una que de verdad necesitas responder.