Ver las grabaciones de quienes vieron la variante B

Un resultado: experimento 32, botón de añadir al carrito fijo en móvil. Add-to-cart +8,4%. Compra: sin diferencia significativa. Revenue por sesión: plano.

¿Qué haces con eso? La métrica principal se movió, el guardrail no se degradó, pero lo que de verdad querías —más facturación— no ocurrió. Los números ya te han dicho todo lo que pueden. El resto está en las sesiones.

Sin etiquetado por variante, abrir Clarity te da todas las sesiones de la web. La mayoría son de control. El comportamiento que quieres entender —qué hizo la gente con el botón fijo— queda diluido entre miles de sesiones en las que el botón fijo no existía.

Con etiquetado, filtras a experimento 32, variante B, móvil, y tienes las 237 sesiones en las que pasó la cosa. Ahora sí, veinte minutos de mirar valen algo.

Esta es la diferencia entre "tenemos grabaciones de sesión" y "podemos ver qué hizo nuestro experimento". Casi todas las empresas tienen lo primero y creen tener lo segundo.

Mira diez sesiones que convirtieron y diez que no. No veinte al azar. El contraste es donde está la información: si quienes convierten y quienes no se comportan igual hasta el punto de decisión, tu cambio no es donde se está marcando la diferencia.

Míralas a 2x y salta las partes muertas. Buscas dudas, scroll repetido, toques que no hacen nada y rage clicks. Clarity los saca automáticamente, que es el sitio más rápido por donde empezar.

Apunta lo que ves antes de interpretarlo. "Seis de diez pasaron de largo del botón sin usarlo" es una observación. "A la gente no le gustan los botones fijos" es una teoría que le has pegado encima. Mantenlas separadas, porque la observación sigue siendo cierta y la teoría normalmente no.

Mirar las sesiones de la variante B del experimento 32 podría enseñar algo así: la gente toca el botón fijo, se abre el cajón del carrito, y lo cierran inmediatamente y siguen bajando. Lo están usando para comprobar el precio, no para comprar.

Eso reencuadra todo el resultado. El add-to-cart subió porque el botón abarató una acción, no porque más gente decidiera comprar. Los carritos extra eran exploratorios. Lo que explica exactamente por qué la compra no se movió.

Y genera una siguiente hipótesis real: si la gente toca el botón para ver el precio, el precio no está lo bastante visible cuando deciden. Ese es otro experimento, con otro mecanismo, al que no habrías llegado nunca solo con los números.

La comparación más útil con diferencia es la misma rutina sobre sesiones de control. Diez de B, diez de A, misma página, mismo dispositivo.

Diferencias que parecen alarmantes aisladas resultan muchas veces ser simplemente cómo usa todo el mundo tu web. Que la gente pase de largo de tu CTA solo significa algo si pasa de largo más que en el control.

Este es el paso que la gente se salta, y saltárselo es como una sesión de grabaciones se convierte en una lista de cosas que siempre han sido verdad sobre tu web culpando a tu variante.

Ver a gente pelearse con algo es vívido y persuasivo de una forma que un intervalo de confianza no lo es. Esa asimetría es peligrosa: un equipo que acaba de ver cinco sesiones dolorosas va a invalidar un resultado estadísticamente sólido sin darse cuenta de que lo ha hecho.

La jerarquía se mantiene. El experimento decide si el cambio ayudó. Las grabaciones explican el mecanismo y generan la siguiente hipótesis. Si las grabaciones contradicen los números, has encontrado algo que merece testearse, no un motivo para descreer de la medición.

• Filtrar las grabaciones a una variante es lo que convierte el replay de sesiones de decoración en diagnóstico.
• Mira diez que convirtieron y diez que no, no veinte al azar. El contraste lleva la información.
• Pasa siempre la misma rutina por el control. Casi todos los comportamientos alarmantes son simplemente cómo funciona tu web.
• Las grabaciones son vívidas y no representativas. Explican y generan hipótesis; no invalidan un resultado.