Incrementalidad: cómo se diseña una prueba que responde algo

La pregunta que ningún modelo responde

Todos los modelos de atribución reparten el mérito de lo que ocurrió. Ninguno observa lo que habría ocurrido en ausencia de la inversión, que es exactamente lo que una dirección financiera quiere saber.

Una prueba de incrementalidad aborda esa pregunta directamente: se produce una diferencia deliberada entre dos situaciones y se observa qué cambia. No es un análisis, es un experimento.

Tres diseños posibles

Para la mayoría de empresas españolas de tamaño medio, la prueba geográfica es la única viable, porque no depende de funcionalidades específicas de la plataforma ni de volúmenes muy grandes de usuarios identificados.

Cómo se diseña una prueba geográfica

Elegir las unidades

En España lo habitual es trabajar con provincias o con comunidades autónomas, según el volumen del negocio. La condición es que las unidades sean lo bastante grandes para tener datos estables y lo bastante numerosas para permitir una comparación.

Construir grupos comparables

Los dos grupos deben parecerse en lo que importa: volumen de ventas previo, estacionalidad, presencia física de la marca y competencia local. La comparabilidad se verifica con el histórico, no con la intuición.

Decidir el sentido de la prueba

Se puede suspender la inversión en el grupo de prueba o ampliarla. Suspender responde con más claridad y cuesta ventas. Ampliar cuesta presupuesto y su lectura es menos nítida.

Fijar la duración antes de empezar

La duración debe cubrir el ciclo de decisión del producto y al menos un periodo estacional completo del negocio. Fijarla de antemano evita la tentación de detener la prueba cuando los resultados parecen favorables.

No tocar nada mientras dura

Es la condición más incumplida. Cualquier cambio de precio, promoción, distribución o inversión en otro canal durante la prueba contamina el resultado.

Condiciones que debe cumplir para servir

• Volumen suficiente en las unidades elegidas para que la variación normal no oculte el efecto.
• Grupos comparables verificados con datos históricos, no elegidos por conveniencia.
• Duración fijada de antemano y respetada.
• Ausencia de cambios en precio, promoción y distribución durante el periodo.
• Criterio de lectura escrito antes de ver los resultados.

La última condición merece énfasis. Escribir antes de empezar qué diferencia se considerará relevante evita que la conclusión se ajuste al resultado obtenido, que es el modo más común de invalidar un experimento sin darse cuenta.

El coste real de la prueba

Una prueba de suspensión tiene un coste de oportunidad: las ventas que no se producen en el grupo de prueba. Ese coste es real y conviene presupuestarlo de forma expresa, porque es el precio de obtener una respuesta que ningún informe puede dar.

Presentarlo así ante un comité cambia la conversación. No se está pidiendo permiso para dejar de invertir, se está comprando información con un coste conocido y acotado.

Cómo se interpreta el resultado

Una prueba bien diseñada no produce una cifra exacta, produce un intervalo con incertidumbre. Presentarla como un dato preciso es un error técnico y una promesa que no se podrá sostener.

También conviene acotar el alcance de la conclusión. Una prueba mide el efecto de un nivel de inversión concreto, en un periodo concreto, con un repertorio creativo concreto. No autoriza a extrapolar a niveles de inversión muy distintos.

Y un resultado que no muestra efecto detectable no demuestra ausencia de efecto: puede significar que la prueba no tenía capacidad para detectarlo. Esa distinción debe explicarse antes de presentar resultados, no después.

Cada cuánto repetirla

Una prueba de incrementalidad no es un ejercicio anual obligatorio. Tiene sentido cuando hay una decisión presupuestaria importante que depende de la respuesta, cuando cambia de forma sustancial el nivel de inversión o cuando el sistema de atribución produce lecturas que no encajan con la contabilidad.

Repetirla sin motivo consume presupuesto y credibilidad. Y su resultado caduca: el mercado, la competencia y el propio repertorio creativo cambian.

Cómo se presenta el resultado sin perder matices

Una prueba bien hecha puede arruinarse en la presentación. El error más común es reducirla a un porcentaje sin contexto, que después circula por la organización despojado de todos sus supuestos.

Una presentación razonable incluye cinco elementos: la pregunta exacta que se quería responder, el diseño empleado, el intervalo de resultado con su incertidumbre, las condiciones bajo las que es válido y qué decisión habilita.

El cuarto elemento es el que evita el daño posterior. Escribir de forma expresa que el resultado se refiere a un nivel de inversión concreto, en un periodo concreto y con un repertorio creativo concreto impide que se use dos años después para justificar una decisión distinta.

Cuando la prueba no es viable

No todas las empresas pueden permitirse una prueba de incrementalidad. Cuando el volumen no da o el coste de oportunidad resulta inasumible, quedan dos caminos parciales que conviene no confundir con una prueba.

El primero es la observación de señales indirectas, como la evolución de las búsquedas del nombre de la marca en las semanas de mayor inversión. Es información, no demostración, y conviene presentarla como tal.

El segundo es la encuesta de origen declarado en el proceso de compra, que recoge parte del efecto sin clic a cambio de introducir fricción y de asumir el sesgo de memoria de quien responde.

Lo que conviene llevarse

La incrementalidad es la única vía que responde a la pregunta que interesa a una dirección financiera. La prueba geográfica es la variante viable para la mayoría de empresas españolas.

Y su valor depende por completo de la disciplina: grupos comparables, duración fijada antes, nada que se toque mientras dura y criterio de lectura escrito antes de mirar los resultados.