Qué testear primero cuando tu web tiene poco tráfico

Hay un consejo que se le repite a las marcas pequeñas: "no tienes tráfico suficiente para hacer A/B testing, vuelve cuando lo tengas". Es medio verdad, y la mitad que es falsa sale cara.

Lo que sí es verdad: con 300 sesiones al día nunca vas a detectar una mejora relativa del 3%. Las matemáticas no lo permiten, compres la herramienta que compres. Lo que es falso: que eso signifique que experimentar queda descartado. Significa que lo que queda sobre la mesa es otro tipo de experimentación, y la mayoría de marcas pequeñas está haciendo el tipo equivocado.

La restricción, dicha con honestidad#

El número de sesiones que necesitas por variante depende de tres cosas: tu conversión de partida, el tamaño del efecto que quieres detectar y cuánta confianza quieres tener.

Órdenes de magnitud aproximados para un 95% de confianza y una conversión de partida del 2%:

• Detectar una mejora relativa del 5%: unas 120.000 sesiones por variante.
• Detectar un 10%: unas 30.000 sesiones por variante.
• Detectar un 25%: unas 5.000 sesiones por variante.
• Detectar un 50%: unas 1.400 sesiones por variante.

Lee esa lista otra vez, porque contiene toda la estrategia. Con 300 sesiones al día repartidas en dos variantes, un efecto del 25% tarda unas cinco semanas. Uno del 5% tarda dos años. No estás eligiendo entre testear y no testear. Estás eligiendo en qué fila de esa tabla vas a vivir.

Bixlow te lo enseña antes de lanzar, no después: fijas el efecto que esperas y te dice cuánto tendrá que correr el experimento. Si la respuesta son catorce meses, has aprendido algo útil sobre esa hipótesis sin gastar catorce meses en ella.

Prueba estructura, no decoración#

Los cambios capaces de producir efectos del 25% o más casi nunca son cosméticos. Son cambios en lo que ofreces, a quién se lo ofreces o qué le pides al visitante que haga.

Cosas que pueden mover una web pequeña un 25%:

• La oferta. Umbral de envío gratis, pack frente a unidad suelta, suscripción frente a compra única, una garantía bien visible en vez de enterrada en el pie.
• El punto de entrada. Mandar el tráfico de pago a una landing dedicada en vez de a la home. Esta produce con regularidad efectos lo bastante grandes como para detectarlos en quince días.
• La estructura de la página. Si la ficha abre con prueba social, con la historia del producto o con la ficha técnica. No las palabras: el orden y el énfasis.
• Quitar un paso. Pago como invitado. Un campo menos en el formulario. No pedir el teléfono.
• La acción principal. Que el CTA diga "Comprar", "Añadir al carrito" o "Ver tallas" cambia quién hace clic y qué espera encontrar.

Cosas que no van a mover una web pequeña de forma detectable: el color del botón, variaciones de microcopy, subir un testimonio cuarenta píxeles, cambiar "Enviar" por "Mandar". Puede que tengan efectos reales. Simplemente no puedes medirlos con tu tráfico, y un efecto que no puedes medir es indistinguible de no tener efecto.

Concentra el tráfico en vez de repartirlo#

La segunda palanca es dónde lanzas el test. La mayoría de webs pequeñas reparte sus experimentos por todo el sitio, lo que reparte la muestra entre páginas que se comportan distinto y convierte el resultado en papilla.

Lanza el experimento en tu página individual con más tráfico. En la mayoría de ecommerce son una o dos fichas de producto, no el catálogo. En la mayoría de webs B2B es la página de precios o la landing a la que llega el tráfico de pago.

En Bixlow acotas un experimento a un patrón de URL, así que el test solo corre donde lo has apuntado y todas las sesiones de la muestra son comparables. Un test sobre una página con 200 sesiones diarias llega a significancia antes que el mismo test repartido por ocho páginas con 400 en total, porque el segundo está midiendo ocho cosas a la vez.

Amplía la ventana de efecto, no bajes la confianza#

Cuando las cuentas van justas aparece la tentación de bajar el umbral de confianza: correr al 80% en vez de al 95% y cerrar ganadores antes. No lo hagas. Al 80% de confianza, uno de cada cinco "ganadores" es ruido, y vas a construir seis meses de decisiones encima.

La palanca legítima es el efecto mínimo detectable. Decide de antemano que solo te interesan cambios lo bastante grandes como para importarle al negocio. Si una mejora del 4% no cambiaría lo que vas a hacer el trimestre que viene, no necesitas poder detectarla. Esto no es un apaño: es lo que los equipos con experiencia hacen a propósito.

El panel de resultados de Bixlow da el intervalo de confianza en vez de un número suelto, lo que hace esto muy concreto. "Entre −2% y +31%" es una descripción honesta de un test no concluyente con muestras pequeñas, y es mucho más útil que un tick verde.

Qué hacer con todo lo que no puedes testear#

Vas a tener muchísimas más ideas que tráfico para validarlas. Es normal y es permanente: también pasa en las empresas grandes, solo que a otra escala.

Con el resto, usa criterio y publica. Arregla sin testear lo que está obviamente roto: un checkout que peta en Safari móvil, una imagen de producto que no carga, un formulario que rechaza códigos postales válidos. No necesitas un experimento que te diga que un bug es malo.

Y guarda por escrito la lista de hipótesis que no te pudiste permitir. Cuando dupliques el tráfico, no tendrás que acordarte de ellas.

Claves#

• Poco tráfico no descarta experimentar, descarta los efectos pequeños. Elige la fila de la tabla de muestra en la que puedes vivir.
• Prueba la oferta, el punto de entrada, la estructura de la página y el número de pasos. No el color del botón.
• Acota los experimentos a tu página con más tráfico en vez de repartir la muestra por toda la web.
• Nunca cambies confianza por velocidad. Sube el efecto mínimo detectable en su lugar.