Un test A/A divide el tráfico de un site en dos para testar dos páginas idénticas. Si tras leer esta definición estás planteándote si esto tiene algún sentido, la respuesta es ¡sí! Vamos a descubrirlo juntos.

A la hora de hacer testing es fundamental realizar un buen cálculo de la muestra que formará parte de los test. Este cálculo nos permitirá saber cuánto tráfico (y, por tanto, cuánto tiempo) necesitaremos para que los resultados de nuestro test tengan significancia estadística. Herramientas como Google Optimize dicen en su documentación que con dejar pasar dos semanas corriendo un test será suficiente para obtener resultados:

En este punto podrías pensar “Genial, ¡olvidémonos del cálculo de muestra! Dejemos los test corriendo dos semanas y listo”. Hemos querido comprobar si realmente podemos fiarnos de los resultados de, en este caso, Optimize a las dos semanas del lanzamiento de un test y para ello realizamos test A/A en un site.

La configuración del test

Para nuestro experimento llevamos a cabo los siguientes pasos:

  1. Preparamos tres test A/A idénticos durante una quincena cada uno.
  2. Al ser A/A, la versión variante no tenía ni un solo cambio respecto a la versión de control.
  3. Dividimos el tráfico que llegaba al site al 50% entre ambas versiones:

Tras las dos semanas de rigor que dice la documentación de Google, efectivamente Optimize fue capaz de encontrar una variación predominante con tan solo 700 sesiones sometidas al test y en una página sin variación alguna:

En dos de los tres test idénticos que lanzamos en el mismo site, Optimize repitió este resultado. En el tercero, no fue capaz de encontrar una predominante entre ambas versiones.

El hecho de que la herramienta de test haya sido capaz de encontrar una versión predominante en ⅔ de estos test idénticos y sin cambios podría indicar que:

  1. La herramienta de test no es del todo precisa
  2. El test no haya sido configurado correctamente
  3. La muestra impactada en el test no es representativa que se ha dado un falso positivo

Es en este último punto donde creemos que este tipo de test tiene potencialidad: un falso positivo es algo crítico a la hora de ofrecer resultados de testing con garantías. Aunque el soporte de las herramientas trate de facilitarnos el trabajo con algunos consejos que a priori son útiles, es fundamental que siempre hagamos un cálculo previo sobre la muestra que necesitaremos para tener resultados con significancia estadística.

Gracias al test A/A, y sin hacer cambios evidentes para los usuarios del site, hemos podido cerciorarnos de que aquello de las dos semanas debemos cogerlo con pinzas. Aunque requieren tráfico y tiempo, este tipo de test pueden ayudarnos a entender e implementar mejor las herramientas de testing.

Y tú, ¿usas los test A/A? ¡Compártenos tu experiencia!