Por fin te decidiste, empezaste a emplear test A/B para optimizar la conversión de tu site o para probar cambios dentro de la web que mejoren la experiencia del usuario generando más engage con tu marca, fidelizando, entre otras muchas de las cosas por las cuales incurrimos en el mundo de los test A/B.

Pero, si nos estamos apoyando en esta metodología para la toma de decisiones dentro de nuestra web, al menos deberíamos cerciorarnos de que la estamos empleando bien, ¿cierto? Así evitaremos la falta de resultados, los datos erróneos y mucha pero mucha frustración.

Por esta razón, debemos tomar en cuenta, los errores más comunes cuando hacemos tests A/B.

error #1: No dejar un test el tiempo suficiente

Si no dejamos que el test se ejecute durante el tiempo suficiente, no obtendremos resultados estadísticamente significativos, ya que lo más seguro es que no tengamos una muestra de tamaño suficiente para determinar una versión ganadora. Es recomendable como mínimo, dejar el test durante una semana, ya que el usuario se comporta de manera diferente cada día, con lo cual no es lo mismo realizar el test durante el fin de semana que probablemente recibamos un número diferente de visitas al resto de la semana.

error #2: Realizar test con cambios muy pequeños

Una de las recomendaciones fundamentales cuando empezamos a utilizar la metodología CRO es realizar cambios con impacto y que entre las variaciones que queramos testar se perciba una diferencia importante. Si realizamos cambios pequeños que no generen ningún tipo de diferencia, bien sea en la navegación o la estética de la página, perderemos muchas oportunidades de ganar aprendizajes a través del testing, sin nombrar la pérdida de tiempo y recursos.

error #3: Hacer test al azar

Todos los test que queramos ejecutar, deberán estar basados en una hipótesis, con su correspondiente evidencia, es decir, con datos que permitan soportar la idea de que al realizar un cambio obtendremos resultados mejores. De esta manera nos basaremos en hechos comprobados y no en opiniones.

error #4: Falsos positivos

Un falso positivo ocurre cuando en un test la variación es ganadora según el resultado, pero en la realidad no es así y ocurre por el error estadístico asociado a la metodología de testing (es decir, no hay nada que podamos hacer). La mayoría de las veces ocurre si el test tiene muchas variantes, es decir, es un test A/B/C/D. Así que lo recomendable en estos casos es que mientras menos variaciones, mejor. La verdad es que suele ocurrir poco y podemos contrastar la información del test con la de nuestra herramienta de analítica digital para evitar, en lo posible, dar por ganadora una versión que no lo es.

error #5:  Ejecutar un test durante mucho tiempo

Dejar un test ejecutarse durante mucho tiempo no nos garantizará un cambio dramático de resultados y sí pérdida de tiempo. Debemos tomar muchas variables en cuenta a la hora de calcular el tiempo de un test, como el número de visitas que recibimos, el ratio de conversión y el ciclo de compra de nuestro producto o servicio. Sin embargo, cuando una variación va perdiendo por un alto porcentaje, el dejarla más tiempo no significa que llegará a ser ganadora ni mucho menos.

error #6: no optimizar cada fuente de tráfico por separado

Sabemos que el comportamiento del usuario es diferente según de qué canal provenga. En el caso de algunas fuentes, el usuario estará más o menos propenso a la compra, con lo cual es recomendable una optimización ad hoc ya que las hipótesis suelen ser diferentes y podemos aprovechar la segmentación en nuestra herramienta de testing.  

error #7: Solo enfocarse en la tasa de conversión

La tasa de conversión es una variable que no debe entenderse de forma aislada. Imaginemos que ponemos todos los productos de nuestra web en oferta: nuestra tasa de conversión sin duda aumentará, pero esto no quiere decir que obtendremos más revenue. Igualmente, cuando realizamos campañas que aportan más tráfico y no necesariamente cualificado, nuestra tasa de conversión disminuirá pero quizás logremos dar visibilidad a nuestros productos o servicios y que los usuarios empiecen a conocernos.

A la hora de hacer testing no sólo pensemos en aumentar la tasa de conversión: enfoquémonos también en aprender de nuestro usuario, sus motivaciones y por qué nos visitan. A partir de todos estos aprendizajes podemos ir mejorando cada día y así alcanzar el objetivo final de ir mejorando poco a poco la tasa de conversión.