Resultados por segmento: el test neutro que no es neutro

Un resultado global plano es el desenlace más habitual de un experimento y el menos examinado. El equipo apunta "sin efecto", pasa a otra cosa y tira la información más interesante que produjo el test.

Porque una media plana tiene dos explicaciones muy distintas. O no pasó nada en ninguna parte, o pasó algo en direcciones opuestas y la media lo borró.

De verdad nada. Todos los segmentos cerca de cero, todos los intervalos solapando el cero, el cambio no le importó a nadie. Es un hallazgo real. Apúntalo y sigue.

Cancelación. Los visitantes nuevos de móvil van +14%, los recurrentes de escritorio van −9%, y la media ponderada es +0,6%. El cambio ayudó a un grupo y perjudicó a otro. Archivarlo como "sin efecto" significa tirar una victoria y quedarte con una derrota.

Solo puedes distinguirlos mirando el desglose. Bixlow parte cada resultado por dispositivo, tipo de visitante, país y fuente de tráfico los hayas segmentado o no, precisamente para que el segundo caso no pueda esconderse dentro del primero.

Aquí está la tensión. Mirar segmentos a posteriori es también la forma más fácil de engañarse: con una docena de cortes, alguno parecerá significativo por azar aunque no esté pasando nada.

Así que el desglose tiene dos usos legítimos y uno ilegítimo.

Legítimo: diagnóstico. Un negativo grande en un segmento te dice que el cambio tiene un coste que no anticipaste. No necesitas certeza estadística para tomártelo en serio: es un motivo para mirar la página en ese dispositivo, no para publicar nada.

Legítimo: generar hipótesis. "Los visitantes nuevos de móvil fueron +14%" se convierte en el siguiente experimento, declarado de antemano y dirigido exactamente a ese segmento. Si sobrevive a un test en condiciones, es real.

Ilegítimo: publicarlo. Coger la porción ganadora y desplegar sobre ella porque el número tenía buena pinta es la trampa de las comparaciones múltiples, y es como los equipos acumulan personalizaciones que nunca se validaron.

Cuando encuentras cancelación, el mecanismo suele ser uno de estos:

El cambio asume un contexto que un grupo no tiene. Un test que se apoya en familiaridad previa ayuda a los recurrentes y confunde a los nuevos.

El cambio cuesta espacio. Añadir un bloque de confianza por encima del fold ayuda a quien necesitaba tranquilidad y empuja el producto más abajo para quien ya estaba convencido. En móvil, donde todo es una secuencia, esto es muy frecuente.

El cambio encaja con una intención. Simplificar hacia una sola llamada a la acción ayuda a quien venía a comprar y frustra a quien venía a comparar.

Fíjate en que los tres son diferencias en lo que el visitante necesitaba, que es exactamente para lo que existe la segmentación por audiencia. Un resultado que se cancela no es un experimento fallido: es un argumento a favor de segmentar que antes no tenías.

Tres pasos, en orden.

Primero, escribe el resultado segmentado aunque no vayas a actuar sobre él. "Neutro en global; +14% nuevos móvil, −9% recurrentes escritorio, los dos con intervalos anchos" es una nota que merece tener.

Segundo, decide si el segmento negativo es motivo para no publicar en absoluto. Si el cambio es neutro en global y perjudica claramente a un grupo que te importa, neutro no es suficiente.

Tercero, si el segmento positivo es plausible y grande, lánzalo como experimento segmentado. Declara el segmento, declara la muestra y averígualo. Es un mes bien gastado: persigues un efecto en el que tienes un motivo concreto para creer, que es mejor punto de partida del que llega a tener la mayoría de hipótesis.

• Una media plana tiene dos explicaciones: no pasó nada, o efectos opuestos se cancelaron. Lee siempre el desglose.
• Los resultados por segmento sirven para diagnosticar y para generar la siguiente hipótesis. No son licencia para publicar la porción ganadora.
• La cancelación suele significar que distintos segmentos necesitaban cosas distintas, que es un argumento para segmentar.
• Relanza el segmento prometedor como test segmentado y declarado. Si sobrevive, es real.