Más de dos variantes: cuándo un A/B/C tiene sentido de verdad

El instinto cuando tienes tres ideas es testear las tres a la vez. Parece eficiente. Para la mayoría de marcas pequeñas es la forma más rápida de terminar un experimento con tres números no concluyentes en vez de una respuesta clara.

El coste, con precisión#

Con una cantidad fija de tráfico, cada variante que añades encoge todos los grupos. Tres variantes significa que cada una recibe un tercio de tus sesiones en vez de la mitad, así que cada comparación individual contra el control tiene aproximadamente dos tercios de la precisión que habría tenido.

Peor aún: ahora estás haciendo comparaciones múltiples. Si testeas dos variantes contra el control y aceptas un 5% de falsos positivos en cada una, tu probabilidad de tener al menos un "ganador" espurio ronda el 10%, no el 5%. Con cuatro se acerca al 20%.

Las plataformas serias corrigen esto —Bixlow ajusta el umbral cuando añades variantes, lo que significa que cada comparación necesita más evidencia, no menos—. El resultado es honesto y también más lento. No hay forma de esquivar ese intercambio: una herramienta que añade variantes sin ajustar nada simplemente te está dando más oportunidades de engañarte.

Cuándo tres variantes es lo correcto#

Cuando la pregunta es de verdad "cuánto" y no "si". Testear el envío gratis con umbrales de 30, 50 y 70 € es una sola pregunta con tres puntos de una curva. Lanzar tres tests A/B secuenciales tardaría más y los resultados no serían directamente comparables, porque las condiciones de mercado cambian entre ellos.

Cuando las variantes son respuestas mutuamente excluyentes a una misma pregunta de diseño. ¿La ficha debe abrir con reseñas, con la garantía o con la ficha técnica? No se pueden combinar, así que testearlas juntas es la única forma de compararlas en igualdad.

Cuando tienes el tráfico. Si tu cálculo de muestra dice que un test a tres bandas termina en tres semanas, no hay motivo para no hacerlo. La restricción es aritmética, no de principios.

Cuándo no lo es#

El fallo habitual: tres variantes que en realidad son una idea más dos retoques cosméticos de ella. La variante B es el nuevo layout, la C es el nuevo layout con otro titular, la D es el nuevo layout con otro botón. Lo que vas a aprender es si el nuevo layout funciona, y lo vas a aprender tres veces más despacio que si lo hubieras testeado una sola vez.

Si dos variantes comparten su mecanismo principal, no son hipótesis distintas. Elige la mejor versión de la idea y téstala contra el control. El refinamiento, después, si la idea gana y el refinamiento sigue pareciendo digno de un mes.

Léelo como comparaciones, no como ranking#

Un resultado de tres variantes no es una clasificación. Es un conjunto de comparaciones separadas, cada una con su intervalo de confianza, y el orden entre B y C normalmente no es significativo por sí mismo.

Si B va +12% y C va +9%, casi con seguridad no puedes concluir que B gana a C. Puede que sí puedas concluir que las dos ganan al control. Publicar B en vez de C por tres puntos porcentuales es elegir ruido.

Cuando la respuesta honesta es "las dos ganan al control, no podemos separarlas", elige por otros motivos: cuál es más barata de mantener, cuál encaja con la marca, cuál prefiere el equipo. Esa es una decisión legítima. Fingir que la tomaron los datos, no.

La regla práctica para una marca pequeña#

Dos variantes salvo que puedas escribir, en una frase, por qué la tercera responde a una pregunta distinta de las dos primeras. Si no puedes, tienes un test A/B con una idea extra pegada, y esa idea extra te está costando un tercio de la muestra.

Claves#

• Cada variante extra encoge todos los grupos y exige un umbral más estricto para controlar los falsos positivos.
• Tres variantes se ganan su sitio en preguntas de dosis-respuesta y en respuestas de diseño mutuamente excluyentes.
• Las variantes que comparten mecanismo no son hipótesis distintas. Testea la idea primero y refina después.
• El orden entre dos variantes ganadoras rara vez es significativo. Deshaz el empate por otros motivos, con honestidad.