Qué hacer cuando un test no da resultados concluyentes

No todos los tests producen un ganador claro. Con frecuencia, después de semanas de experimento, las dos versiones acaban prácticamente empatadas y la herramienta no declara significancia. Es una situación frustrante, pero no es un fracaso: un resultado no concluyente también es información, y saber qué hacer con él distingue a los equipos que aprenden de los que solo prueban.

Lo importante es no reaccionar de forma precipitada, ni forzando un ganador inexistente ni descartando el aprendizaje. En este artículo verás cómo interpretar correctamente un test plano, qué preguntas hacerte para entender qué pasó y qué caminos tienes por delante según el motivo del empate.

Qué significa realmente un empate#

Un resultado no concluyente puede significar dos cosas muy distintas. Puede que no haya diferencia real entre las versiones, es decir, que tu cambio no afecte al comportamiento del usuario. O puede que sí exista una diferencia pero tan pequeña, o con tan poca muestra, que el test no ha tenido potencia para detectarla. Distinguir entre ambos casos es el primer paso para decidir qué hacer.

Para orientarte, mira el tamaño de muestra alcanzado y el intervalo de confianza. Si reuniste la muestra prevista y el intervalo es estrecho en torno a cero, es probable que de verdad no haya efecto. Si la muestra se quedó corta o el intervalo es muy ancho, el problema es de potencia y el test no estaba en condiciones de concluir nada.

Caminos según el motivo del empate#

Una vez entiendes por qué no hay ganador, tienes varias opciones razonables. La decisión depende de cuánta confianza necesites y de cuánto importe el cambio para tu negocio.

• Si faltó muestra, prolonga el test o relánzalo en una página de más tráfico.
• Si el cambio era pequeño, prueba una variante más atrevida que produzca un efecto mayor.
• Si de verdad no hay diferencia y el cambio es neutral, elige la versión más simple o barata de mantener.
• Si el resultado contradice tu hipótesis, revisa esa hipótesis antes de seguir iterando en la misma dirección.

Convierte el empate en aprendizaje#

Un test sin ganador refuta una creencia, y refutar creencias tiene valor: te ahorra invertir en cambios que no mueven la aguja. Documenta qué probaste, qué esperabas y qué pasó, para que el equipo no repita el experimento dentro de seis meses. Un empate bien documentado afina tu intuición sobre qué importa de verdad a tus usuarios y mejora la calidad de tus próximas hipótesis.

Claves#

• Un empate puede deberse a que no hay efecto real o a que faltó potencia y muestra.
• Mira la muestra alcanzada y el intervalo de confianza para distinguir entre ambos casos.
• Documenta el resultado plano: refutar una creencia también es aprendizaje valioso.