Métricas primarias y secundarias: qué medir en cada test

Decidir qué medir es de las elecciones más importantes de un test, y de las que más se pasan por alto. Si nadie dice de antemano qué métrica decide el ganador, se acaba eligiendo después, normalmente mirando qué número ha salido mejor. Es una de las maneras más discretas de engañarte con los datos, porque mientras lo haces parece análisis.

Un experimento bien diseñado separa tres tipos de métrica: la que decide, las que explican y las que detectan daños colaterales. Vamos con qué hace cada una, cómo elegir la primaria y por qué importan las demás.

Es la única que dice si la variante gana o pierde. Se define antes de lanzar y no se toca después. Lo ideal es que esté lo más cerca posible del valor de negocio, una compra o un registro, y no en un paso intermedio como un clic. Una variante que consigue más clics que luego no llevan a nada no ha mejorado gran cosa.

A veces el evento de negocio es tan poco frecuente que tu tráfico no va a detectar un cambio en un plazo razonable. Entonces puede tener sentido usar como primaria una métrica intermedia más frecuente, dando por hecho que va de la mano del resultado final. Pongamos que tienes pocas compras y decides con el "añadir al carrito". Es un compromiso aceptable mientras no olvides que mejorar esa métrica no garantiza mejorar el negocio.

Alrededor de la primaria conviene vigilar otras que dan contexto y seguridad. No eligen al ganador, pero evitan que celebres un resultado que ha causado un problema en otra parte del embudo o del negocio.

• Las métricas secundarias ayudan a entender por qué ganó la variante: scroll, tiempo en página, clics intermedios.
• Las de guardarraíl comprueban que no has roto nada importante: valor medio del pedido, tasa de devolución, satisfacción.
• Las de contrapeso detectan mejoras conseguidas a costa de otra cosa, como más registros pero de peor calidad.

La primaria decide y el resto informa. Si la variante gana en la primaria pero empeora una métrica de guardarraíl importante, el ganador no está limpio y toca averiguar qué pasa antes de publicarlo. La otra tentación es ascender a primaria una secundaria a posteriori porque ha salido bien; a esas alturas estás buscando un ganador en un test que no lo ha dado. Deja la jerarquía por escrito antes de empezar, para que cuando lleguen los números no quede nada por elegir.