Come fare un A/B test veramente utile. Le regole

Nel web marketing, e soprattutto nella campagne pubblicitarie, vi verrà ripetuto molto spesso di eseguire un A/B test. Di cosa si tratta? è un metodo che consiste nell’impostare una campagna, una pubblicità o una landing page mantenendo tutti gli elementi fissi, e cambiandone uno alla volta, prima di eseguire ulteriori test.

Come fare un A/B test veramente utile. Le regole

In questo modo è possibile dedurre cosa va e cosa no, o in alternativa verificare quale elemento funziona più di un altro, cosa che sarebbe impossibile o estremamente difficile se cambiaste più di un elemento alla volta. Se vi chiedete qual è il modo migliore per fare un test A/B, sappiate che le risposte possono essere molto diverse. Ecco 8 punti da considerare:

Come fare un A/B test veramente utile: usate il metodo scientifico

“Penso che se usassimo una diversa tonalità di blu, ci cliccheranno sopra più persone”

Usate il metodo scientifico: fate un’ipotesi e poi testatela per vedere se funziona o no. Non provate una cosa solo per vedere cosa succede attraverso tanti parametri diversi: se ne considerate troppi, è possibile che il test vi rimandi un risultato falsato.

Avete sentito del finto studio sul cioccolato? Nello studio non si specificava cosa sarebbe dovuto cambiare, sono stati misurati 18 diversi parametri e c’era il 60% di probabilità che almeno uno di loro sarebbe cambiato. È uscito il parametro “peso”, per cui il risultato è stato un paradossale “mangia cioccolato e perdi peso”.

Pensate quindi a quello che volete fare:

“Vogliamo che le persone aggiungano più prodotti al loro carrello”;
“Vogliamo che i nostri clienti comprino più scarpe”;
“Vogliamo che più utenti scarichino le guide d’aiuto”.

Accertatevi di monitorare una data attività correttamente, attraverso eventi, numero di visualizzazioni o transazioni e poi aggiornate il vostro test utilizzando solo quel determinato parametro. Insomma, non cambiate il pulsante per incrementare il numero di conversioni ma, una volta che l’avete fatto, concentratevi sul fatto che le conversioni sono aumentate.

Come fare un A/B test veramente utile: cominciate con una sola variabile

Per eseguire un A/B Test veramente utile bisogna iniziare con piccole variabili, specie se siete all'inizio
Per eseguire un A/B Test veramente utile bisogna iniziare con piccole variabili, specie se siete all’inizio

 

“Che succede se cambiamo il blu del pulsante ma abbiamo anche cambiato le immagini degli animali sulla pagina?”

Ci sono delle piattaforme che vi permettono di fare test multivariati (Multivariate test), ma se siete agli inizi o non avete moltissimo traffico, provate a testare con una sola variabile. Cambiate una cosa per volta: ad esempio il pulsante o il titolo, ma non entrambi. Se dovete testare molte variabili o se avete abbastanza traffico potete anche farlo, ma se siete alle prime armi è meglio di no.

Cambiate una cosa e controllate se il vostro parametro per quella determinata cosa si è modificato in maniera significativa. Se siete agli inizi non c’è bisogno di essere troppo ossessivi nel testare tutto, rischiando di impantanare la vostra organizzazione: è probabile che cambiando un parametro per volta riusciate a fare sostanziali miglioramenti senza complicarvi troppo la vita.

Come fare un A/B test veramente utile: Testate da una a due settimane

Fate A/B test della durata di una o due settimane: è importante per rendersi conto dei cambiamenti che avvengono da un giorno all’altro o da una settimana all’altra. Magari il vostro test mostra un incremento il sabato e la domenica ma l’opposto durante la settimana. Per programmare dei cambiamenti importanti cercate di testare per almeno un’intera settimana.

Non andate però oltre le due settimane: sono troppe le variabili che potrebbero cambiare in un arco di tempo così lungo. Se trovate che ottenete conversioni migliori durante i weekend, provate a testare periodi più piccoli, come il weekend soltanto, o solo il pomeriggio. Potrete scoprire che certi cambiamenti funzionano meglio in determinati momenti della settimana o in certe ore del giorno, e quindi regolarvi di conseguenza con la pubblicazione di contenuti sul vostro sito.

Come fare un A/B test veramente utile: Fate test periodici

Non limitatevi ai risultati di un test settimanale: ripetete il test a distanza di 1 mese, 3 mesi e 6 mesi, per essere sicuri che i risultati del primo test non fossero isolati. Se testate qualcosa per una settimana una volta sola avrete, nel migliore dei casi, il 95% di probabilità che sia corretto; se lo testate una volta per trimestre, siete decisamente più sicuri.

Dipende però da quello che state testando: il parametro può subire variazioni periodiche. Se state cercando di capire se certi cambiamenti funzionino meglio in inverno che in estate, potete usare i risultati per cambiare il vostro sito in base alla stagione; ma non fatelo se siete ancora alla ricerca di cambiamenti generali. Piuttosto, se globalmente avete un risultato positivo, abbiate l’accortezza di testarlo ancora in futuro.

Come fare un A/B test veramente utile: Calcolate bene

Per fare un A/B Test corretto dove capire cosa significano le variabili e saper vedere i dati di insieme.
Per fare un A/B Test corretto dove capire cosa significano le variabili e saper vedere i dati di insieme.

 

A volte la piattaforma vi fornisce direttamente i calcoli (come Google Analytics), ma qualsiasi cosa stiate usando, siate consapevoli dei numeri rilevanti per le vostre statistiche e che cosa essi significhino.

Magari non vi serve sapere cos’è un valore, ma provate a capirlo e tenete presente che siete nel campo delle probabilità. Se avete un risultato positivo, il test vi sta dicendo che sarà probabilmente positivo, non certamente positivo.

In matematica, il 95% di certezza significa: “c’è il 95% di probabilità che l’ipotesi che stai testando sia probabilmente vera”. Non è un sì o un no assoluto. Tenete anche presente che la statistica non sa se avete condotto bene il vostro test, se state guardando le variabili giuste o se ne state guardando troppe, ecc. Semplicemente, mette insieme i numeri che le fornite: accertatevi di fornirle i numeri giusti e, quando arrivate ai risultati, non parlate mai del 100% di certezza.

Come fare un A/B test veramente utile: Controllate quello che cambiate

È possibile che abbiate risultati che vi dicono con il 99% di probabilità che un certo cambiamento sarebbe positivo; poi, quando lo fate, ottenete un effetto opposto – ma non vi siete curati di controllare la risposta ai cambiamenti mentre questi avvenivano. Se testate qualcosa, controllate il numero di conversioni nel momento stesso in cui effettuate i cambiamenti e osservate come questo influenza il test. Non lasciate passare un mese per poi dire: “avevamo ipotizzato un certo risultato e non è successo. Perché?” Dopo che avete fatto il cambiamento, osservate e reportizzate le conversioni che fate di settimana in settimana.

Un’ottima soluzione è dirigere tutto il traffico verso la versione del sito che è risultata “vincitrice” dopo un test. Alcune applicazioni vi permettono di farlo: potrete allora osservare i cambiamenti a partire da quel punto, con la libertà di tornare indietro se le cose dovessero mettersi male.

Come fare un A/B test veramente utile: Non testate troppi utenti

Un A/B Test ben eseguito deve essere fatto su una porzione limitata dal proprio pubblico, per motivi di budget e per facilitare le analisi.
Un A/B Test ben eseguito deve essere fatto su una porzione limitata dal proprio pubblico, per motivi di budget e per facilitare le analisi.

Testate una percentuale del vostro pubblico non troppo grossa, in modo che possiate gestirla. Se state testando transazioni importanti sul 100% del vostro pubblico, il 50% potrebbe avere dei problemi, facendo crollare le transazioni e causandovi guai.

Scegliete una porzione di pubblico da testare: se riuscite a ottenere risultati dal 5% del vostro pubblico in 1-2 settimane, non state perdendo molto denaro (solo il 2,5% del vostro pubblico totale subirà il cambiamento, e non il 50%).

Per usare numeri reali, immaginate di aver guadagnato 1 milione di euro in una settimana e che i vostri cambiamenti abbiano causato una perdita del 50% (250.000 euro persi da parte del 50% del vostro pubblico). Nel secondo caso, invece, perdete solo 25.000 euro- certo, non è bello, ma non è meglio che perderne 250.000?

Se non avete molto traffico, è difficile – dovete calcolare qual è la porzione più piccola del vostro pubblico che potete testare per avere un risultato valido in 1-2 settimane (ci sono dei programmi di calcolo online per farlo, per maggiori informazioni potete consultare questo blog). Sfortunatamente, più cercherete un risultato preciso, più avrete bisogno di un pubblico ampio.

Come fare un A/B test veramente utile: Testate sempre

Non c’è ragione per non testare: fatelo. Test piccoli, grandi, test sui pulsanti, sulle immagini, sul layout, sul contenuto…su quello che volete. Testate prodotti diversi, titoli e call to action diverse; testate diversi layout per le conversioni. Se non vi viene in mente nulla da testare è perché non ci avete pensato abbastanza.

Questo articolo è una traduzione libera dell’originale.

Niccolò Giraudo

Torino è una città fantastica, specialmente per chi ama il design in tutte le sue forme. Chi non ci credesse può venire a casa mia: matite e pennelli non mancano. Si può anche suonare il violoncello. È l’ambiente ideale anche per recensire un film, un blog o un nuovo tostapane. Provare per credere.

Lascia un commento