La interfaz puede ser IA. El motor de debajo, no.

Es tentador pensar que, si la IA hace bien una tarea, cuanta más IA mejor. En experimentación esa idea lleva a un sistema del que no te puedes fiar, y el motivo está en cómo se construye el sistema, no en lo bueno que sea el modelo.

Divide el sistema en dos capas.

En la de arriba la IA encaja bien. Entender lo que pides en lenguaje normal, generar el flujo que aplica un cambio, leer el tráfico para encontrar segmentos que se desvían, proponer una hipótesis y un mecanismo, resumir qué significa un resultado. Todo eso produce una propuesta que una persona revisa antes de que tenga efecto alguno. Si el modelo se equivoca, lo ves en el blueprint y lo corriges.

En la de abajo la IA no debería entrar nunca. Qué visitante recibe qué variante; si alguien que está en el experimento A puede entrar también en el B; cuántas sesiones hacen falta para que la muestra valga; si una diferencia es significativa; si un guardrail se ha degradado; cómo se cuenta un evento. De ahí salen hechos sobre los que se toman decisiones, y nadie los revisa, porque revisarlos exige justo el conocimiento que no querías necesitar cuando compraste la herramienta.

La capa de abajo necesita unas propiedades que ningún modelo de lenguaje tiene.

La primera es que sea reproducible. El mismo visitante tiene que caer en la misma variante todas las veces. Un hash determinista lo garantiza por cómo está hecho; un modelo no lo garantiza de ninguna manera, y en cuanto la asignación puede variar, la persistencia se rompe.

La segunda es que se pueda auditar. A la pregunta "¿por qué esto es significativo?" tiene que haber una respuesta que puedas seguir y comprobar. Una fórmula fija con umbrales declarados te la da. El criterio de un modelo no, y "lo dijo el modelo" no se sostiene delante de nadie.

La tercera es la que menos se comenta y la que más pesa: que no se deje convencer. Tú quieres que tu ganador sea real, y un modelo que conversa con un usuario con ganas de oír algo tiende a darle la razón. Eso lo hace agradable para trabajar y lo descalifica como árbitro. La estadística tiene que ser la única parte del sistema que no se deja convencer de nada.

Suena al revés, pero es así: cuanto mejor es la capa de IA, más estricto tiene que ser el motor de debajo.

Cuando una persona configura cada experimento a mano, hace de freno lento y caro a las malas ideas. Cuando un agente puede proponer veinte experimentos a la semana, ese freno desaparece, y lo único que queda entre una propuesta con buena pinta y una mala decisión de negocio es que la medición de debajo sea honesta. Por eso la infraestructura determinista, aburrida y muy testeada es lo que permite usar la IA con tranquilidad, por poco que luzca al lado.

En Bixlow, la asignación es un hash del visitante y el experimento que da como resultado un cubo. Son unas pocas líneas, tienen tests unitarios y hacen siempre lo mismo. No tienen nada de ingenioso.

Los grupos de exclusión comprueban si alguien pertenece a un conjunto. El veredicto sale de un modelo bayesiano con semilla fija y unas condiciones explícitas: muestra mínima por variante, duración mínima, probabilidad de ser la mejor y pérdida esperada, más una comprobación de que el reparto no se ha desviado. Los guardrails son comparaciones con un umbral. Nada de esto es ingeniería interesante y todo se puede testear. Cuando un resultado dice que una variante ha ganado, lo respalda código que podrías leerte en una tarde y no la opinión de un modelo.

Si estás mirando cualquier herramienta de experimentación que se venda con IA, unas pocas preguntas te dicen qué tipo de sistema tienes delante. ¿La asignación de visitantes es determinista y saben explicarte cómo funciona? ¿Cómo calculan la significancia, y qué tiene que cumplir un resultado antes de que lo llamen ganador? ¿La capa de IA puede cambiar un resultado, un umbral o una asignación? ¿Dónde termina lo que propone el modelo y empieza lo que decide el motor?

Si el proveedor no sabe enseñarte con claridad dónde está esa línea, lo más probable es que nunca la haya trazado.