Cómo evitar el sesgo en tus experimentos

Un test A/B se hace para tener una respuesta objetiva, y solo la da si nada en el montaje está inclinando el resultado sin que te enteres. Un sesgo es cualquier cosa que empuja los datos siempre hacia el mismo lado, de modo que acabas con una conclusión falsa que encima parece rigurosa. Casi nunca se nota a simple vista: el test corre, la gráfica sale limpia y aun así te engaña.

La mayor parte del daño viene de unos pocos sesgos conocidos. Repasamos los que más aparecen en experimentos de marketing y de producto, y lo que hay que hacer para que el test sea lo bastante honesto como para decidir con él.

Unos vienen de cómo repartes a los usuarios, otros de cuándo mides y otros de qué datos eliges mirar.

• Sesgo de selección: las versiones no reciben usuarios comparables, porque el reparto no fue aleatorio o se coló una segmentación que nadie buscaba.
• Efecto novedad: el cambio gana porque es nuevo, y la ventaja se va diluyendo cuando la gente se acostumbra.
• Sesgo de supervivencia: analizas solo a quienes terminaron el embudo y te olvidas de todos los que se fueron.
• Sesgo del observador: miras los datos esperando un resultado concreto y paras el test en cuanto aparece.

Si el reparto del tráfico es aleatorio de verdad, las dos versiones reciben públicos equivalentes. Si cada usuario ve siempre la misma versión, las experiencias no se mezclan. Y si la métrica, la muestra y la duración están fijadas antes de lanzar, tus ganas de que gane una versión no deciden cuándo se acaba el test.

Contra el efecto novedad, tiempo: deja correr el test hasta que se pase la curiosidad inicial, sobre todo si buena parte de quienes lo van a juzgar son recurrentes que conocían la página anterior. Contra el sesgo de supervivencia, mira el embudo entero y no solo a quienes llegaron al final; muchas veces lo que más enseña es dónde se quedaron los demás.

Todos tenemos expectativas sobre cómo va a salir un test, y por eso conviene fiarse del método y no de la buena voluntad. Apunta la hipótesis y el criterio de éxito antes de abrir ningún dato. Pide a alguien que no se juegue nada con el resultado que repase el análisis. Y cuando algo te sorprenda, investígalo en vez de buscarle una excusa. Nada de esto te vuelve neutral por naturaleza, pero si lo haces siempre, tus decisiones se apoyan en lo que hicieron los usuarios y no en un artefacto de cómo montaste el test.