Sperimentazione & CRO
Ipotesi di A/B Test Che Portano Risultati
Un A/B test vale quanto l'ipotesi che lo genera. La maggior parte dei backlog di CRO che ho ereditato erano liste di idee carine senza una base comportamentale dietro: si testava una variante perché un competitor la usava, non perché si era capito un attrito reale nel percorso dell'utente. Il traffico speso su un test così è quasi sempre sprecato, perché anche un risultato positivo non insegna nulla su cosa replicare altrove. In questo articolo condivido il formato con cui scrivo un'ipotesi che porta risultati, quello che ho usato per ottenere lift reali sull'e-commerce Whirlpool EMEA.
Da dove nasce un'ipotesi che vale la pena testare
Un'ipotesi solida non parte da una soluzione ("proviamo un pulsante verde") ma da un'osservazione sul comportamento reale. Il mio approccio nasce prima ancora di lavorare nel marketing, da un MSc in Cyberpsychology, dove ho imparato a chiedermi perché le persone si comportano come si comportano online, molto prima di provare a risolverlo con un test. Nella pratica significa guardare i dati di sessione, le heatmap e i punti di abbandono in un funnel per capire dove si perde l'utente, e solo dopo formulare cosa credo che lo affronti.
La differenza è netta. "Gli utenti abbandonano il checkout quando le spese di spedizione compaiono tardi: mostrandole prima, riduciamo l'abbandono a quello step" è un'ipotesi. "Cambiamo qualcosa nel checkout e vediamo" non lo è.
Il formato che uso: osservazione, cambiamento, metrica attesa
Ogni ipotesi che scrivo tiene insieme tre elementi. Cosa osservo nel comportamento reale, che è la base e non un'intuizione. Quale cambiamento credo che affronti quell'osservazione. E quale metrica mi aspetto che si muova, e di quanto. Il terzo elemento è quello che manca più spesso, ed è quello che trasforma un test in un apprendimento: senza una previsione, qualunque risultato è accettabile a posteriori, e un test che non poteva essere smentito non ha misurato niente.
Perché la base psicologica cambia la qualità dell'ipotesi
Un'ipotesi ancorata a un meccanismo psicologico specifico è più forte di una nata per imitazione, perché spiega perché il cambiamento dovrebbe funzionare, non solo cosa cambiare. Se so che l'avversione alla perdita pesa quasi il doppio di un guadagno equivalente, posso formulare un'ipotesi sul modo in cui comunico una soglia di spedizione gratuita, invece di provare frasi a caso. Il passaggio da un insight comportamentale a un'ipotesi testabile è il cuore del mestiere, e gli ho dedicato un articolo a parte su come si costruisce quel ponte tra psicologia e CRO.
Scrivere l'ipotesi con la metrica e la soglia già decise
L'ultimo passo, prima di lanciare, è fissare la metrica primaria e la soglia che deciderà se il test ha vinto, prima di vedere qualunque dato. Cambiare la metrica dopo aver visto i risultati parziali è il modo più comune e meno visibile di ingannare se stessi con un A/B test. La metrica primaria deve essere una sola, affiancata da poche metriche guardrail che verificano di non stare peggiorando qualcos'altro mentre si ottimizza il numero principale.
Decidere la soglia in anticipo si lega direttamente a come si legge il risultato: guardare i dati troppo presto e fermarsi appena la variante sembra vincere produce falsi vincitori con una frequenza sorprendente. Ho approfondito questo punto nell'articolo su significatività statistica e peeking. Il metodo completo, dall'ipotesi al programma di sperimentazione, è invece nella guida a CRO e A/B test.
Contattami per una consulenza CRO
Parliamo del tuo progetto
Ti è utile questo articolo? Vediamo come applicarlo al tuo contesto.
Articoli correlati
Il Test Ha Davvero Vinto? Significatività e Peeking
Come capire se un A/B test ha davvero vinto: significatività statistica, dimensione del campione e il peeking che fa dichiarare vincitori inesistenti.
CRO e sperimentazione: la guida completa agli A/B test
Guida completa a CRO e sperimentazione: dall'ipotesi all'A/B test, dalla prioritizzazione alla significatività. Il metodo dietro il +57% di Whirlpool EMEA.
+57% Conversione: Anatomia di un Programma CRO
Anatomia del programma di sperimentazione dietro il +57% di conversione su Whirlpool EMEA: com'è nato, cosa abbiamo testato e cosa ha funzionato.