Il risultato deve rispondere a una domanda

“Testiamo cinque creatività” descrive una produzione, non ancora un esperimento. Se cambiano simultaneamente promessa, formato, prezzo, pubblico e pagina, un eventuale vincitore dice quale combinazione ha funzionato meglio in quelle condizioni. Non permette di attribuire il risultato a un singolo elemento.

Puoi scegliere consapevolmente entrambe le strade. Nell’esplorazione cerchi concetti promettenti; nel confronto controllato provi a capire se una modifica produce un effetto utile. Il problema nasce quando una classifica esplorativa viene raccontata come prova definitiva. La procedura proposta qui serve a rendere la conclusione proporzionata ai dati disponibili.

Scrivi una frase che possa anche risultare falsa

Un’ipotesi operativa può essere: “Mostrare il problema logistico prima della soluzione aumenta le richieste qualificate rispetto a iniziare dalla descrizione del servizio”. Identifica trattamento, controllo, risultato e pubblico. “Il video funziona meglio” è troppo vago: quale video, rispetto a cosa, per quale azione?

Nei suoi principi di strategia, Jon Loomer propone di partire da persone, problemi e motivazioni, producendo concetti riconoscibilmente diversi. Un’applicazione pratica è costruire una matrice con tre ostacoli all’acquisto e una promessa verificabile per ciascuno. Scegli la coppia che può cambiare una decisione commerciale; non aprire dieci confronti su dettagli grafici se manca ancora un messaggio convincente.

Esempio operativoDati illustrativi, non dati cliente
SegnaleControlloDecisione
Hook «costo nascosto»Stesso pubblico, formato e CTAConfrontare qualità e CPL
Hook «demo in 30 secondi»Video 4:5 sullo stesso ad setLeggere hold rate e lead qualificati
Nuovo pubblico + nuovo hookCambiano due variabiliNon attribuire il risultato al concept
La decisione arriva dopo il controllo del dato e del contesto, non dal numero isolato.

Prepara un brief di confronto, non soltanto due grafiche

Per un test dell’apertura video, mantieni uguali offerta, durata complessiva, CTA e pagina, variando la sequenza iniziale. Se invece vuoi confrontare dimostrazione e testimonianza come concetti completi, accetta che cambino più elementi e formula la conclusione al livello del concetto. Non chiamarla prova del singolo fotogramma.

Conserva asset finali, testo, destinazione, periodo, configurazione e modifiche automatiche abilitate. La creatività effettivamente distribuita deve essere riconducibile alla variante progettata. Se il sistema combina o trasforma elementi, annota l’effetto sul disegno del confronto prima del lancio; non ricostruirlo soltanto dopo aver visto il risultato.

  • Controllo: la versione di riferimento e il motivo per mantenerla.
  • Trattamento: la modifica precisa o il nuovo concetto completo.
  • Metrica primaria: vendita, richiesta qualificata o altro esito definito.
  • Vincoli: spesa, periodo, volume atteso e condizioni di interruzione.

La distribuzione ordinaria non crea gruppi equivalenti

Jon Loomer distingue il confronto ordinario fra campagne dall’A/B test in Meta Experiments: il test organizza gruppi randomizzati e separati nel periodo definito. La normale distribuzione, invece, può assegnare traffico diverso agli annunci. La classifica resta utile per gestire la campagna, ma non basta per attribuire causalmente la differenza a un elemento creativo.

Scegli nel test una metrica primaria coerente con la domanda e controlla che il resto del confronto sia allineato. Nell’articolo Loomer ricorda anche che la fine dell’esperimento non equivale necessariamente alla fine delle campagne coinvolte. Prepara quindi la gestione successiva. Salva le impostazioni effettive: disponibilità delle funzioni e interfaccia possono cambiare, mentre il requisito di un confronto interpretabile rimane.

Misura l’esito e usa i segnali intermedi per capire

Nella guida alla lead generation, Loomer invita a definire quale problema renda un contatto poco utile e a controllare anche la velocità del follow-up. “Lead scarso” può significare persona fuori target, recapito falso o richiesta valida richiamata troppo tardi. Se i gruppi vengono lavorati diversamente dal commerciale, il test rischia di misurare anche questa differenza.

Collega quindi ogni richiesta a uno stato CRM concordato e registra tempo al primo contatto e motivo di esclusione. Mantieni uguali le regole di qualificazione. La variante partita ieri ha avuto meno tempo per accumulare esiti: confronta finestre mature. Clic e visualizzazioni aiutano a leggere il percorso, ma la scelta deve seguire il risultato commerciale definito prima del lancio.

Esempio operativo: il lead meno caro non è il risultato migliore

Immagina due gruppi comparabili di un test correttamente progettato. A spende 1.200 euro, produce 80 lead e 24 contatti qualificati. B spende 1.200 euro, produce 100 lead e 20 qualificati. Il costo per lead è 15 euro per A e 12 per B; il costo per qualificato è 50 contro 60. Scegliere B sul solo modulo compilato contraddirebbe l’obiettivo concordato.

Questi numeri sono didattici e non dimostrano una differenza affidabile. Le percentuali 24/80 e 20/100 descrivono la qualità dei lead generati, ma selezionano persone dopo l’esposizione: non misurano da sole l’effetto totale sugli utenti assegnati. Per decidere considera l’esito primario del test, l’incertezza e la qualità della raccolta. Se un gruppo ha ricevuto più tentativi di contatto, correggi il processo prima di attribuire il vantaggio alla creatività.

Stabilisci quando decidi, senza inseguire il primo vantaggio

Definisci prima del lancio la differenza minima che cambierebbe una scelta, il volume disponibile e la durata compatibile con il ciclo di conversione. Se il budget non permette di distinguere differenze piccole, prova concetti più distanti o riduci il numero di varianti. Aggiungere alternative a dati scarsi produce spesso più classifiche che apprendimento.

Evita di proclamare un vincitore appena compare un vantaggio. Se vuoi valutare continuamente i dati, il metodo statistico deve essere adatto a questa osservazione ripetuta. Mantieni invece controlli operativi per errori, spesa anomala o pagine non funzionanti: interrompere un test rotto è diverso da fermarlo perché un grafico sembra favorevole.

Archivia quello che hai imparato e il suo perimetro

La scheda finale dovrebbe dire cosa hai cambiato, cosa è successo, quanto è incerta la differenza e dove proverai a replicarla. “Nessuna differenza chiara” è un esito utilizzabile: può indirizzare il lavoro verso una promessa più distinta, la pagina o la qualità dell’offerta. Non trasformarlo in “le due versioni sono identiche”.

Quando una variante merita più distribuzione, portala gradualmente nel contesto operativo e osserva se mantiene la qualità dei risultati. Il test riduce un’incertezza; non elimina cambiamenti di pubblico, concorrenza, frequenza e domanda. La libreria creativa diventa utile quando conserva ipotesi e limiti insieme agli asset.

Fonti e approfondimenti

Riferimenti citati nella guida. Gli esempi numerici sono illustrativi.