Elegir la métrica principal de un experimento

La métrica principal es el número que decide si tu experimento salió bien. Una sola, declarada antes de lanzar y vinculante. Todo lo demás es contexto.

Los equipos se resisten. Tener una sola métrica da sensación de estar tirando información, y siempre hay un argumento razonable para seguir seis. Pero en el momento en que tienes seis métricas que deciden, no tienes ninguna: tienes una carta, y después del test vas a pedir de ella.

Tiene que estar causalmente cerca de tu cambio. Si modificaste la ficha de producto, la compra queda causalmente lejos: pasan muchas cosas entre tu cambio y ese evento, y casi todas son ruido que ahora estás midiendo. El add-to-cart está más cerca, así que una porción mayor de la varianza que observas es de verdad atribuible a lo que hiciste.

Tiene que ocurrir con suficiente frecuencia. Una métrica que se dispara 30 veces por semana no alcanzará la significancia en una marca pequeña. Esta es la restricción que se impone a casi cualquier preferencia teórica.

Tiene que importar, o estar protegida por algo que importe. Una métrica frecuente y cercana que no correlaciona con la facturación es un número que puedes mover todo el día sin ayudar al negocio. Por eso elegir una métrica cercana te obliga a declarar un guardrail.

Las tres tiran unas contra otras. Las métricas cercanas y frecuentes suelen significar menos; las que significan algo suelen ser lejanas y raras. La pareja principal/guardrail es cómo se resuelve.

Cambiaste la ficha de producto. Principal: tasa de add-to-cart. Guardrail: revenue por sesión.

Cambiaste el carrito o el checkout. Principal: finalización del checkout. Aquí la compra está lo bastante cerca como para ser la principal, y es lo bastante frecuente entre quienes llegaron al carrito. Guardrail: ticket medio, porque la forma más rápida de subir la finalización es quitar los upsells.

Cambiaste una landing para tráfico de pago. Principal: el siguiente paso de tu funnel, medido solo sobre el tráfico de esa campaña. Guardrail: coste por adquisición, o revenue por sesión de esa fuente.

Cambiaste un formulario de contacto. Principal: envíos. Guardrail: tasa de lead cualificado. No negociable: optimizar formularios sin guardrail de calidad produce de forma fiable más leads y menos clientes.

Cambiaste la navegación o las categorías. Principal: fichas de producto vistas por sesión, o tasa de búsqueda a producto. Guardrail: revenue por sesión. Los cambios de descubrimiento son fáciles de ganar en interacción y de perder en ventas.

Usa tasas, no totales. "Compras" sube si tu variante recibió más tráfico esa semana; "compras por sesión" no.

Esto importa más de lo que parece cuando tu reparto no es perfectamente par, que nunca lo es: la asignación es aleatoria, así que los grupos difieren algo, y comparar recuentos mete esa diferencia dentro de tu resultado.

"Tasa de add-to-cart" es ambiguo hasta que dices por qué. ¿Por sesión? ¿Por ficha de producto vista? ¿Por visitante único?

Para un cambio en la ficha, por ficha vista suele ser lo correcto: aísla el comportamiento de quien de verdad vio lo que cambiaste. Por sesión incluye a gente que nunca llegó a la página, diluyendo tu efecto con visitantes que el experimento ni tocó.

Bixlow te obliga a elegir el denominador al configurar en vez de poner uno por defecto en silencio, porque el mismo cambio puede parecer +11% o +3% dependiendo solo de esa elección, y si la eliges después vas a elegir la favorecedora.

Una frase, antes de que exista ningún dato: "Este experimento tiene éxito si mejora la tasa de add-to-cart por ficha vista, sin que caiga el revenue por sesión."

Esa frase es el contrato. Cuando lleguen los resultados y alguien sugiera que, bueno, la profundidad de scroll ha subido y eso es esperanzador, tienes algo a lo que apuntar.

• Una métrica principal, declarada antes de lanzar y vinculante. Seis métricas que deciden significan ninguna.
• Elige algo causalmente cercano a tu cambio y lo bastante frecuente para alcanzar significancia, y protégelo con algo que importe.
• Usa siempre tasas, nunca recuentos: tus grupos nunca son exactamente iguales.
• Declara también el denominador. El mismo cambio se lee muy distinto por sesión que por página vista.