Una vendita attribuita non risponde alla domanda causale
Il report può associare una vendita a un annuncio senza dimostrare che, in assenza di quell’annuncio, la vendita non sarebbe avvenuta. Una persona poteva già conoscere il marchio, avere un carrello aperto o essere stata convinta da un commerciale. L’attribuzione organizza i risultati osservati secondo regole; l’incrementalità cerca di stimare la differenza prodotta dall’investimento.
Andy Littlewood, in Brainlabs, assegna ruoli diversi alle misure: attribuzione per l’operatività, esperimenti per la causalità e modelli del marketing mix per orientare l’allocazione strategica. Il punto utile è decidere quale evidenza può guidare quale scelta. Se le misure divergono, occorre cercare la causa della divergenza, senza forzarle dentro un unico numero rassicurante.
Scegliere il test in base alla decisione
Se vuoi sapere quale impostazione di offerta funziona meglio, puoi confrontare due configurazioni con un’assegnazione sperimentale adeguata. Se entrambe ricevono pubblicità, però, stai misurando la differenza tra due strategie. Per stimare l’effetto della presenza del canale serve un controllo che rappresenti la sua assenza o la variazione di investimento effettivamente studiata.
Katherine Cook, sempre su Brainlabs, propone di selezionare gli esperimenti in base al valore commerciale, alla solidità dell’evidenza e alla possibilità di usare il risultato. A ogni test va associata una decisione prima del lancio. Applichiamo il principio chiedendo quale variazione di budget sarebbe giustificata da un risultato positivo, negativo o troppo incerto.
Scrivi una frase prima di aprire la piattaforma: “Vogliamo stimare gli ordini aggiuntivi mantenendo questa attività, rispetto alla sua esclusione, nel pubblico e nel periodo definiti”. Per un test molto costoso, aggiungi il valore dell’informazione: quanto investimento futuro potrà essere migliorato dalla risposta? Una domanda interessante ma irrilevante per le decisioni non ha priorità.
| Segnale | Controllo | Decisione |
|---|---|---|
| Report piattaforma | 50.000 € attribuiti · 10.000 € spesi | ROAS osservato 5 |
| Test trattamento/controllo | 120.000 € contro 100.000 € | 20.000 € di ricavo incrementale |
| Margine di contribuzione 40% | 8.000 € generati su 10.000 € spesi | Il test non è ancora profittevole |
Preparare metrica, perimetro e potenza
Scegli una metrica primaria legata al risultato aziendale: ordini validi, ricavo netto o lead qualificati. Aggiungi poche protezioni, come quota di resi e costo totale. Evita di scegliere a fine test la metrica che produce la storia più favorevole. Definisci in anticipo periodo, esclusioni, trattamento degli ordini tardivi e regole di interruzione.
La numerosità dipende dal rumore dei dati e dall’effetto minimo che vuoi riconoscere. Non esiste la regola “bastano due settimane”. Per un negozio con pochi ordini giornalieri un cambiamento piccolo può restare indistinguibile dalla variabilità normale. Una simulazione sui dati storici aiuta a valutare se il test ha possibilità concrete di rispondere.
È utile fare una prova A/A del flusso di misurazione: due gruppi che ricevono la stessa condizione dovrebbero produrre differenze compatibili con il caso. Non garantisce un futuro test perfetto, ma può far emergere problemi di assegnazione, conteggio o segmentazione prima di mettere a rischio budget e ricavi.
Il brand è una buona domanda, non una risposta pronta
Miles McNair, in PPC Mastery, difende il branded search per la presenza dei concorrenti e il controllo di messaggio e destinazione. Questa è una motivazione strategica, non una misura dell’incrementalità. Usiamola per formulare un’ipotesi: in quali condizioni la campagna protegge vendite che andrebbero perse? La quota organica e la pressione competitiva sono contesto da misurare.
Un possibile disegno usa aree geografiche distinte, con trattamento e controllo, controllando andamenti precedenti, negozi, promozioni locali e logistica. È una proposta metodologica: l’abbinamento delle aree non elimina da solo le differenze. Servono assegnazione e analisi adeguate, oltre alla verifica che le campagne rispettino davvero i confini del test.
Controlla anche la contaminazione: chi abita in un’area può acquistare altrove; altre campagne possono intercettare le query di brand escluse dal test. Guarda gli ordini complessivi sul perimetro concordato. Limitarsi alle conversioni della campagna spenta renderebbe il risultato ovvio ma poco utile. Se non riesci a isolare il trattamento, ridimensiona la conclusione.
Esempio operativo: ROAS 5, ritorno incrementale 2
Immaginiamo due gruppi casuali di uguale dimensione, comparabili, con la stessa misurazione. Nel periodo il trattamento genera 120.000 euro, il controllo 100.000 euro. La differenza osservata è 20.000 euro. Se la spesa specifica del trattamento è 10.000 euro, il rapporto incrementale semplificato è 2. Il report di attribuzione potrebbe contemporaneamente associare 50.000 euro alla campagna e mostrare ROAS 5.
I due numeri rispondono a domande diverse. L’esempio non basta a dichiarare significatività: occorrono distribuzione dei risultati, disegno e intervallo di incertezza. Se i gruppi hanno dimensioni diverse, non puoi sottrarre i totali senza normalizzare. Se il trattamento consiste in un aumento di spesa rispetto a un controllo che continua a investire, il rapporto marginale va riferito alla differenza di spesa.
Anche la convenienza dipende dal margine. Ventimila euro di ricavi aggiuntivi con contribuzione pre advertising del 40% corrispondono a 8.000 euro, meno dei 10.000 investiti. È un esempio economico semplificato: eventuali riacquisti futuri non vanno aggiunti senza evidenza e un orizzonte esplicito.
Leggere un risultato incerto senza forzarlo
Un intervallo ampio che comprende effetti piccoli e grandi richiede prudenza nella dimensione della decisione. “Non abbiamo dimostrato un effetto” non equivale a “l’effetto è zero”. Può voler dire che il test non aveva abbastanza informazione. Riporta stima, incertezza e problemi osservati insieme alla raccomandazione.
Per l’azienda il documento finale deve chiarire cosa è stato testato, su chi, quando e cosa cambieremo. Un risultato sul brand in un paese e in un trimestre non diventa una legge valida per tutte le campagne. Conserva la configurazione e programma la revisione quando cambiano condizioni commerciali, concorrenza o mix di canali.
- La decisione da prendere è scritta prima del test.
- Il controllo rappresenta il confronto realmente desiderato.
- Metrica primaria, durata e regole di stop sono predefinite.
- La conclusione distingue dati osservati, stima causale e ipotesi economiche.
Fonti e approfondimenti
Riferimenti citati nella guida. Gli esempi numerici sono illustrativi.
- Which Marketing Metric Should You Actually Trust?Brainlabs · Andy Littlewood
- Marketing Experimentation Framework: How to Run Better TestsBrainlabs · Katherine Cook
- Branded Search: necessity or a total waste of money?PPC Mastery · Miles McNair