El AB Test
Una metodología de experimentación y medición en la que pones a prueba dos o más variables 🧪🔬
El origen del AB Test
El AB test es muy antiguo. Una de las primeras personas en documentar la metodología (sin llamarla AB Test) fue James Lind, un cirujano británico que en 1753 puso a prueba seis tratamientos en grupos aleatorios de pacientes. En 1923 el autor Claude Hopkins (uno de los creadores de la publicidad) escribió el libro Scientific Advertising, en el que difundió un método en el que diferentes variables de una campaña publicitaria se podrían poner a pruebas en muestras de clientes para decidir cuál tendría un mayor impacto. Desde ese día, cada vez se utiliza más.
¿Dónde utilizar el AB test?
Puedes utilizar A/B test para medir casi cualquier cosa, desde la efectividad de un asunto de correos electrónicos hasta el impacto que genera en tus ventas un cambio de precios. Realmente son muy pocos los casos en los que este método no te será útil. Algunas de las cosas que podrás medir haciendo AB Test son:
El impacto del asunto en la apertura de un correo electrónico
El impacto de un cupón en la tasa de conversión de tu e-commerce.
El impacto de un texto (o copy) en el porcentaje de clics de un botón.
El impacto de un precio en las probabilidades de compra de tus clientes.
El impacto de los reviews en las conversiones de tu negocio.
El impacto de un diseño en la efectividad de tu anuncio.
El impacto de la segmentación en la efectividad de tus anuncios.
El impacto del tiempo de respuesta en la satisfacción de tus clientes.
El impacto de una oferta en la tasa de retención de tus clientes.
El impacto de un diseño de interfaz en tu tasa de conversión a leads.
Son muchas las cosas que podemos medir, sin embargo lo importante es tener claro cuál es la variable que quieres probar y el resultado por el que la vas a medir.
¿Cuándo no es una buena idea hacer un AB Test?
Si tienes factores externos importantes que afecten los resultados. Asegúrate de evaluar que el contexto en el que estás ejecutando tu AB test esté apartado de otras variables que puedan hacer que tu experimento fracase. Evita hacer experimentos en medio de grandes ofertas, crisis reputacionales de tu marca o test sobre grupos que ya están siendo expuestos a otro tipo de test. Esto es clave porque en medio de situaciones como estas es imposible que aisles el efecto que tienen estos otros elementos sobre los resultados de tu experimento y el comportamiento de tus clientes.
Otro caso es cuando tu base de usuarios está altamente comunicada y conectada. Uno de los pasos fundamentales para hacer un AB Test es separar los grupos de usuarios que estarán expuestos a las distintas variables. Sin embargo, esto no tiene sentido cuando tus clientes son personas altamente comunicadas entre sí. Un ejemplo son las apps de economía colaborativa como Uber / Rappi / Glovo. Generalmente los conductores y repartidores de estas aplicaciones están altamente conectados. Si ofreces un beneficio exclusivo para un grupo, es probable que el resto se entere y distorsione los resultados de tu experimento.
¿Cómo se hace un AB Test?
Debes empezar por el paso más importante: formular una hipótesis clara, es decir, una idea de algo que puede tener un impacto positivo en tu negocio. Idealmente, las hipótesis deben estar fundamentadas en la observación y análisis de lo que hacen tus clientes. Por ejemplo, si has encontrado que la mayoría de tus clientes abandonan el carrito de compras cuando visitan tu sitio web desde un teléfono móvil, puedes formular una hipótesis como la siguiente: “Desarrollar un diseño mobile first hará el proceso de compra más amigable e intuitivo , disminuyendo el tiempo y esfuerzo para completar una transacción y aumentará nuestras ventas”.
Una vez que tienes la hipótesis, define con qué variable la vas a poner a prueba. ¿Cuáles son las mejoras que harás para que la navegación sea más amigable?
Luego debes definir cómo vas a medir el AB Test esto significa definir los indicadores con los que identificarás si tu hipótesis es acertada o no. Pueden ser una o varias métricas. Lo importante es que conserven relación con las variables que estamos modificando. La métrica de nuestro ejemplo será la “Tasa de conversión a compra”.
Después debes elegir a los grupos para tu experimento. Aunque generalmente las herramientas de marketing te ofrecen una forma confiable para distribuir tus variables a grupos aleatorios, es posible que en algún momento seas tú mismo quien deba elegir los grupos de forma manual. Al hacerlo, asegúrate de que las características de estos grupos sean homogéneas y de que ambos son estadísticamente representativos.
Finalmente toca lanzar el experimento y medir. Ponlo en marcha y monitorea constantemente la evolución de los grupos de tu experimento. Cuando haya finalizado el tiempo del experimento o consideres que tienes datos suficientes para sacar una conclusión, analiza los resultados e identifica si tu hipótesis es verdadera o falsa y luego identifica la variable más efectiva.
¿Cuáles son los errores más comunes que se cometen al hacer AB Test?
Hacerlo en condiciones diferentes. Este es el error más común que he visto. Consiste en poner a prueba dos variables diferentes en momentos diferentes. Una de las reglas para que puedas sacar conclusiones sólidas de tu AB test es que las condiciones bajo las cuales se realizó la prueba en los dos grupos sean las mismas. Por ejemplo, si lanzas al grupo A un cupón de descuento del 30% en una semana y al grupo B un cupón de descuento del 20% en la semana siguiente, ¿cómo puedes estar seguro de que el cambio de semana no afectó los resultados? Puede que una semana haya un factor externo que influya en tus conclusiones, como por ejemplo lo cerca o lejos que está la fecha en la que tus clientes reciben su sueldo.
Hacer el experimento con grupos heterogéneos. Si haces un AB Test con dos o más grupos de clientes, debes asegurarte de que las condiciones de esos clientes son similares. Fíjate en las variables demográficas y transaccionales de esos clientes para asegurarte de que ambos grupos son prácticamente iguales. Revisa factores como:
El porcentaje de hombres vs el porcentaje de mujeres.
El porcentaje de participación de distintos segmentos de edad en cada uno de los grupos.
El ticket promedio de cada uno de los grupos
El tiempo promedio de cada uno de los grupos desde su última transacción.
El número promedio de transacciones por usuario que hay en cada grupo.
No tener un grupo control, es decir, un grupo que no está expuesto a ninguna de las variables. Esto es clave para que puedas medir el impacto real de tu experimento.
Imaginemos que estás probando el impacto que tiene poner en tu e-commerce eliminar el costo de envío vs. un costo de envío a mitad de precio. Y tus resultados son los siguientes:
Envío gratuito: 1.5% de conversión a venta.
Envío a mitad de precio: 1.3% de conversión a venta.
Grupo control, sin cambio en el costo de envío: 1.45% de conversión a venta.
Sin un grupo control, probablemente correrías a quitar el costo de envío en tu e-commerce. Sin embargo, el grupo control te muestra que es muy poca la diferencia en la tasa de conversión entre tener costo de envío normal y no tenerlo y que probablemente, es más el dinero que pierdes por no cobrar el envío que los clientes que ganas.
No monitorear los resultados con el paso del tiempo. Por ejemplo, si trabajas para un negocio que funciona bajo el modelo de suscripción (un app de streaming como Netflix o Spotify) es posible que quieras experimentar las ventajas y desventajas de un modelo de suscripción mensual, vs trimestral, semestral o anual. Probablemente el ofrecer un modelo mensual te traiga más clientes que un modelo trimestral o semestral. Sin embargo, es fundamental entender qué pasa con esos clientes a lo largo del tiempo. ¿Tienen mejor tasa de retención? ¿Estos clientes te dejan más o menos dinero que los otros? ¿Su uso del servicio es mayor o menor?
No solo se trata de medir los resultados en el periodo del experimento, sino también medir posibles efectos colaterales que pudo traer cada variable, para que concluyas de forma integral cuál de todas ellas es la mejor para tu negocio.
Modificar más de una variable. Por ejemplo, en un experimento para un correo electrónico no solamente se modifica el asunto del correo, sino también el contenido del correo. Al hacer esto no podrás saber qué impacto tuvo cada uno de los cambios y no podrás llegar a una conclusión contundente. De hecho, este tipo de experimento se conoce como test multivariable y no como un AB Test.
¿Cuánto tiempo debe durar un AB Test?
El periodo de duración de tu AB Test puede cambiar según el tipo de variable que estás midiendo y el tipo de negocio en el que lo estás aplicando. Por lo tanto, no existe un periodo ideal y el tiempo deberá ser el necesario para poder sacar una conclusión confiable.
El tiempo necesario depende del comportamiento de tus clientes y del indicador con el que está midiendo tu experimento.
Supongamos que estás probando el asunto de un correo electrónico. Los datos nos dicen que entre el 75% y el 90% de las aperturas de un correo se dan dentro de las primeras 12 horas después de ser enviados. Pues en este caso, 12 horas serían más que suficiente para correr este AB Test.
Por otro lado, tu experimento podría estar diseñado para mejorar la tasa de retención de tus clientes. Por ejemplo, se sabe que el 70% de los usuarios que se suscriben al servicio de streaming de Amazon Prime cancelan su suscripción luego de 7 meses. Si Amazon Prime quisiera impactar su tasa de retención con una tarifa más baja, tendría sentido que corra un AB Test con un grupo controlado de usuarios durante mínimo 7 meses.
¿Cómo seleccionar el tamaño de mis grupos A, B y mi grupo control?
Existen distintos métodos estadísticos para calcular el tamaño de tus muestras a la hora de ejecutar un AB Test. Sin embargo, mi recomendación es que lo veas con el área de research o data y sino que utilices la calculadora de AB Tasty que es bastante práctica y fácil de usar.
¿Cómo hacer AB Test en Google Ads?
Les dejo dos videos cortos que cuentan al detalle cómo hacerlo 💪🏻😉