La significancia estadística explicada sin matemáticas

No necesitas calcular un p-valor. Sí necesitas saber qué afirma, porque si no vas a aceptar resultados que no sostienen las decisiones que tomas con ellos.

La pregunta que responde#

Imagina que tu variante es idéntica al control: literalmente la misma página, etiquetada distinto. Lanza ese "experimento" y seguirás viendo una diferencia entre los dos grupos, porque en cada uno cayó gente distinta y la gente varía. Esa diferencia es puro azar.

La significancia responde a una pregunta estrecha: si de verdad no hubiera ninguna diferencia, ¿con qué frecuencia el azar por sí solo produciría una brecha al menos tan grande como la que estoy viendo?

Cuando una herramienta dice 95% de confianza, significa: una brecha así de grande saldría por azar menos del 5% de las veces. Eso es todo. Es una afirmación sobre cómo de sorprendentes serían tus datos en un mundo donde el cambio no hizo nada.

Qué no te dice#

No te dice la probabilidad de que tu variante sea mejor. Es la lectura errónea más habitual. "95% de confianza" no es "95% de probabilidad de que gane B". Es una afirmación sobre los datos bajo un supuesto, no sobre la verdad de la hipótesis.

No te dice que el efecto sea grande. Con suficiente tráfico, una mejora del 0,3% se vuelve significativa. Significativo quiere decir detectable, no importante. Lee siempre el tamaño junto a la significancia.

No te dice que el efecto sea estable. Un resultado significativo en noviembre te habla del tráfico, las campañas y los clientes de noviembre.

Y no significa absolutamente nada si has estado mirando. Este es el que arruina resultados en la práctica. La garantía del 5% asume que miraste una vez, a un tamaño de muestra declarado de antemano. Si lo compruebas a diario y paras cuando se pone verde, tu tasa real de falsos positivos es mucho mayor: habitualmente un 20-30%. No has lanzado un test al 95%: has lanzado un procedimiento que encuentra "ganadores" en el ruido.

Lee el intervalo, no el veredicto#

El hábito más útil con diferencia es ignorar el tick verde y leer el intervalo de confianza, el rango en el que plausiblemente está el efecto real.

"+7%, intervalo +2% a +12%" dice que el cambio probablemente ayudó, entre poco y bastante. Sobre eso puedes actuar.

"+7%, intervalo −4% a +19%" contiene el cero. El efecto real podría ser negativo. El número de cabecera es el mismo y la conclusión es completamente distinta.

"+0,4%, intervalo +0,1% a +0,7%" es estadísticamente significativo y comercialmente irrelevante. Publícalo si es gratis, pero no construyas una estrategia encima.

Bixlow abre con el intervalo en vez de con el veredicto exactamente por esto. Un número suelto invita a una lectura de sí o no; un rango te obliga a pensar en magnitud e incertidumbre a la vez.

Las cuatro frases#

Cuando llegue un resultado, dilas en voz alta:

1. La diferencia observada es del X%.
2. El rango plausible va del A% al B%.
3. ¿Ese rango incluye el cero? Si sí, no tienes evidencia de una diferencia: tienes un test no concluyente, que no es lo mismo que evidencia de que no hay diferencia.
4. ¿El extremo bajo del rango es lo bastante grande como para importar? Si ni siquiera el extremo optimista cambiaría tu trimestre, el resultado es trivia por muy bueno que sea su p-valor.

Esa es toda la práctica. Sin fórmulas, y te mantendrá fuera de casi todas las trampas.

Por qué la herramienta debería negarse a enseñarte un ganador antes de tiempo#

Dado lo mucho que domina el problema de ir mirando, la decisión de diseño útil no es mejor estadística: es quitar la oportunidad. Bixlow declara la muestra necesaria al configurar y no enseña veredicto antes de que llegue.

Eso resulta frustrante de vez en cuando y de eso se trata. La alternativa es un panel que permite a un equipo motivado encontrar un ganador el día tres, siempre.

Claves#

• La significancia dice con qué frecuencia el azar produciría una brecha así. No es la probabilidad de que tu variante sea mejor.
• Mirar a diario y parar en verde convierte un 5% de falsos positivos en un 20-30%.
• Lee el intervalo de confianza, no el veredicto. Un intervalo que contiene el cero es un test no concluyente.
• Estadísticamente significativo y comercialmente irrelevante son compatibles. Comprueba siempre la magnitud.