El motivo más común de un test plano: nadie se dio cuenta

Un resultado nulo tiene pinta de respuesta: lo probamos, no funcionó, siguiente. Es una conclusión cómoda y falla más de lo que parece. Puede que la idea fuera mala, pero muchas veces el experimento ni siquiera la puso delante de suficiente gente como para saberlo.

Antes de archivar un test plano como hipótesis descartada, hay cuatro cosas que comprobar.

Mira la profundidad de scroll a la altura del cambio, dispositivo por dispositivo. Si solo el 30% de los visitantes de móvil llega hasta ahí, el 70% restante de tu muestra móvil no vio ninguna diferencia entre las dos variantes.

Conviene tener la cuenta en la cabeza. Si solo un tercio ve el cambio, un efecto real del 15% entre quienes lo vieron aparece como un 5%, más o menos, en la cifra de cabecera, y ese 5% probablemente queda por debajo de lo que el test podía detectar. El efecto existía, pero se diluyó hasta desaparecer.

Tienes dos salidas: subir el cambio por encima del fold y repetir el test, o limitar el experimento a quienes llegaron de verdad a ese punto, para que la muestra sea solo la gente expuesta. La segunda es más limpia, pero necesitas tener medido el evento de scroll.

La gente no lee las páginas web, las recorre con la vista. Un párrafo reescrito en mitad de un bloque de texto, para la mayoría de los visitantes, no existe.

Es la cara de exposición del consejo de testear estructura y no adornos. Si las capturas de la variante y del control se parecen casi del todo a simple vista, cuenta con un resultado nulo por muy bueno que sea el texto nuevo. Ponlas una al lado de la otra y míralas dos segundos. Si tú no las distingues en ese tiempo, tus clientes tampoco.

Aquí hablamos de un bug, y pasa más de lo que nadie espera. Una variante que no se aplica en Safari, o con cierto ancho de pantalla, o cuando sale el banner de cookies, te deja un grupo mezclado en el que parte de los visitantes "de la variante" vieron en realidad el control.

Eso empuja el efecto medido hacia cero de forma mecánica, y en el panel de resultados no se ve, porque esas sesiones cuentan como variante. Lo detectas con una revisión a mitad de test: en los dos primeros días, mira unas cuantas grabaciones del grupo de la variante y asegúrate de que el cambio se ve. Son cinco minutos frente a tres semanas midiendo nada.

Ya lo hemos tratado con calma en otro artículo, pero tiene que estar en esta lista. Mira el desglose antes de sacar conclusiones. Un cambio que solo les importa a los visitantes nuevos de móvil va a parecer plano en una audiencia que es sobre todo recurrente y de escritorio.

Si has descartado esas cuatro cosas, el resultado plano es real y tiene valor. Te dice que, dentro de lo que podías detectar, a tus clientes este cambio les da igual.

Apúntalo bien. "Ningún efecto mayor del 20% en add-to-cart, exposición confirmada en el 85% de la muestra" es un registro útil. "No funcionó" es una nota que dentro de seis meses vas a leer mal, y que quizá te lleve a repetir el mismo test sin darte cuenta. Los nulos de verdad también te ahorran esfuerzo: un equipo que sabe que tres cosas concretas no mueven a sus clientes sabe más que uno que solo ha apuntado victorias.

Lo más barato es hacerte unas preguntas al terminar cada experimento, antes de interpretar nada. ¿Qué parte de la muestra vio de verdad el cambio? ¿Se pintó en todos los dispositivos y navegadores? ¿El efecto es plano en todos los segmentos o solo de media? ¿Te habrías dado cuenta del cambio si fueras un visitante más?

Si te las haces siempre, bastantes veredictos de "la idea era mala" pasan a ser "hay que repetir el experimento bien hecho", y con ese segundo veredicto al menos sabes qué hacer el lunes.