Aunque es algo que todo el mundo del ámbito digital, científico y estratégico conoce al detalle, la experimentación no solo es la base del ciclo de mejora de cualquier negocio, es mucho más. Es una metodología compuesta por varias fases iterativas donde cada responsable de su implantación tiene su propio framework. O dicho de otra manera, «cada maestrillo tiene su librillo». Una frase bastante trillada pero que no por eso sea menos cierta, es la que dijo Jeff Bezos a cerca precisamente de la experimentación …
Si duplicas el número de experimentos que haces al año, duplicarás tu ingenio.
Lo cual se puede traducir como «o testing o estancamiento». Por eso, más allá de la implementación, la parte esencial sobre la que pivotará el «ingenio» será la Analítica. Esta parte, necesaria durante el ciclo de experimentación es la que determinará el éxito de los diferentes planteamientos. Por eso se pueden integrar dentro de 3 momentos claves:
- Inicial. Cada vez que se plantea un nuevo experimento es necesario prever la posibilidad de llevarlo a cabo, tanto por número de usuarios implicados (muestra) como por alcance de los objetivos planteados.
- Durante. Seguimiento técnico-analítico que detecte casos de uso que puedan afectar al correcto funcionamiento del experimento.
- Final. Sin lugar a dudas, la parte más importante. La que dictamina estadísticamente el éxito del planteamiento inicial.
En este sentido, ya que una definición de cada etapa podría conllevar perfectamente la creación de varios artículos, he intentado concentrarlo todo desde el punto de vista de la visualización de datos. Para ello he usado como excusa la conocida herramienta Power BI y datos de BigQuery UA. Sin embargo, esto no es importante ya que la visualización se abstrae de esto centrándose en las dimensiones habituales de cualquier plataforma de experimentación: ExperimentId y/o ExperimentName y ExperimentVar. En la siguiente imagen se puede ver el resultado final tipo …
Visualización Power BI de experimento Test A/B.
En esta visualización, entrando más al detalle, se han desarrollado las siguientes lógicas programáticas y estadísticas para cada una de las etapas previamente mencionadas:
- Inicial. Calculadora estadística que cuantifica el tamaño de muestra necesario y los días de duración mínima del experimento únicamente indicándole el porcentaje de crecimiento del CVR (Conversion Rate) deseado. Además, permite saber al instante si la muestra mínima necesaria de usuarios cumple con el número de visitantes por cada país. En este caso se ha hecho en base a la dimensión país, ya que es la agregación diferenciadora principal necesaria. Este tipo de formulación se suele comenzar con la inserción del MDE y el Baseline CVR.
- MDE. El Minimum Detectable Effect es el efecto mínimo esperado por el analista para amoldarse a un nivel de significación concreto. Dicho de otra forma, determina la sensibilidad del experimento.
- CVR. Puede añadirse manualmente o de manera automática. Esta última opción es algo más compleja ya que tendrá que tener en cuenta la página exacta donde se va a realizar el test. Como es lógico no será lo mismo el CVR de la página Home que el del evento Begin Checkout o Purchase. Además, habrá que tener en cuenta cuál será su baseline actual (habitualmente en base a los últimos 28 días, aunque dependerá del negocio). Éste podría estar influenciado por sesgos como campañas específicas, fechas especiales, etc.
- Durante. El selector automático de KPI permite mostrar solo la métrica deseada con la intención de evitar tener que sobrecargar inicialmente la visualización, con lo que ello conlleva de coste en tiempo y en peticiones.
- Final. Obtención de una posible búsqueda de significancia estadística de cada variante con el objetivo determinar y facilitar al usuario la decisión final sobre la integración y la evolución del cambio propuesta en el experimento.
Como se puede observar, aunque la visualización es sencilla y fácilmente comprensible, el desarrollo funcional que hay «detrás» es complejo. Este es el objetivo de una visualización de datos óptima precisamente, responder a las preguntas de negocio de manera simplificada.
Si quieres ver el código DAX de Power Bi usado para desarrollar la calculadora estadística (Etapa Inicial) y el selector automático de KPIs (Etapa Durante) …
- Envía tu información a través del siguiente formulario (para evitar spam tendré en cuenta solo dominios de empresas reales; evitando gmail, outlook, etc.).
Debido a su dificultad y por lo tanto la necesidad de una mayor explicación en detalle, el código de la etapa Final lo trataré en futuros posts en este Blog. Aún así, con lo ya explicado en este artículo y con el código DAX de la calculadora, debería sernos de gran utilidad para todos aquellos quienes diariamente trabajamos con datos, especialmente para quienes estamos llevando a cabo acciones (experimentación) y estrategias de CRO. Si quieres seguir aprendiendo sobre este tipo de implementaciones de Analítica avanzada o saber más en torno al Marketing Digital, te invito a que visites el resto de artículos de mi Blog. ¡Te espero en el siguiente artículo!