Por qué muchos tests "ganadores" no sobreviven al contacto con la realidad

Los programas grandes de experimentación que han medido esto con honestidad suelen contar lo mismo, y es incómodo: una parte importante de los ganadores publicados no se reproduce al volver a testearlos. La brecha entre lo que prometen los experimentos y lo que aparece en el negocio no es un misterio. Tiene cuatro causas concretas, y tres son evitables.

1. Paraste cuando tenía buena pinta#

Esta es la causa dominante y merece decirse otra vez de otra forma. Un umbral del 95% de confianza asume una sola mirada, a una muestra declarada de antemano. Comprobar a diario y parar en verde lo convierte en un procedimiento con una tasa real de falsos positivos en torno al 20-30%.

Así que si estuviste mirando, aproximadamente uno de cada cuatro de tus "ganadores" nunca lo fue. No mediste un efecto: mediste el momento más favorecedor de un paseo aleatorio.

La solución es de procedimiento y es absoluta: declara la muestra, no mires, no pares antes salvo para evitar daño. Bixlow retiene el veredicto hasta que llega la muestra declarada precisamente por esto: la disciplina falla cuando la tentación está a un clic.

2. El efecto novedad#

Los visitantes recurrentes notan el cambio. Un banner nuevo, una página reestructurada, un botón en otro sitio: todo eso atrae atención simplemente por ser distinto de lo que alguien vio la semana pasada. La atención parece interés, y el interés parece una victoria.

Después se apaga. Dos meses más tarde la variante es simplemente la página, y la mejora ha desaparecido.

Afecta sobre todo a webs con alta proporción de visitantes recurrentes. Dos formas de detectarlo: mira si el efecto está concentrado en recurrentes —si los nuevos no muestran nada y los recurrentes muestran una subida grande, sospecha novedad antes que mejora—. Y mira si el efecto decae a lo largo de las semanas del test en vez de mantenerse plano.

Bixlow desglosa los resultados por tipo de visitante por defecto, así que la primera comprobación sale gratis.

3. Regresión a la media#

Elegiste esa página para testear porque iba mal. Ir mal es en parte real y en parte mala suerte del periodo que mediste. Cuando la testeas, la mala suerte no se repite, y esa porción de la recuperación se le atribuye a tu cambio.

Por eso "arreglamos nuestra peor página y mejoró" es una evidencia más débil de lo que parece. La página habría mejorado algo de todas formas.

Un grupo de control concurrente resuelve esto correctamente, que es exactamente lo que es un test A/B y exactamente lo que no es una comparación de antes y después. Si tu evidencia es secuencial en vez de concurrente, asume que parte de la mejora nunca fue tuya.

4. Encontraste el segmento después#

El test sale neutro en global. Cortas por dispositivo, país, fuente de tráfico, nuevo frente a recurrente y franja de precio. Un corte muestra +22%. Lo publicas para ese corte.

Con una docena de cortes, encontrar uno que parezca significativo al 95% está prácticamente garantizado aunque no esté pasando nada. Es el problema de las comparaciones múltiples, y la segmentación a posteriori es su forma más seductora porque la historia siempre suena plausible después.

La regla que hace útil el análisis por segmentos en vez de engañoso: un resultado llamativo en un subgrupo es una hipótesis para el siguiente experimento, nunca una decisión. Relánzalo como test segmentado con ese segmento declarado de antemano. Si sobrevive, es real, y ahora sabes algo valioso. Si no, te acabas de ahorrar publicar ruido.

Qué hacer al respecto#

La consecuencia práctica para una marca pequeña es publicar menos cosas y más seguras. Sube el listón: exige que el intervalo de confianza excluya el cero con holgura, no por los pelos. Prefiere un resultado claro al trimestre antes que cuatro ambiguos.

Y monta un holdout una o dos veces al año. Es la única forma de averiguar si las ganancias que reclama tu programa aparecen en agregado; y si no aparecen, los cuatro mecanismos de arriba son dónde mirar.

Claves#

• Si estuviste mirando, alrededor de un cuarto de tus ganadores era ruido. La regla de la muestra declarada no es opcional.
• La novedad infla resultados en webs con muchos recurrentes y se apaga. Comprueba si el efecto está concentrado ahí.
• Testear tu peor página exagera tu contribución salvo que el control sea concurrente.
• Un resultado llamativo de subgrupo encontrado a posteriori es una hipótesis, no una decisión. Relánzalo segmentado.