Sperimentazione & CRO
Il Test Ha Davvero Vinto? Significatività e Peeking
La domanda che chiude ogni A/B test sembra semplice: ha vinto la variante? La risposta onesta è più difficile di quanto la piattaforma faccia sembrare, perché il modo in cui si guarda un risultato può fabbricare vincitori che non esistono. In questo articolo spiego cosa significa davvero la significatività statistica, perché il peeking è l'errore che uccide più test di quanto sembri, e come decido se un test ha vinto senza ingannare me stesso.
Cosa dice, e cosa non dice, la significatività
La significatività statistica risponde a una domanda precisa: quanto è probabile che la differenza osservata tra variante e originale sia frutto del caso, e non di un effetto reale? Non dice quanto è grande l'effetto, né quanto è importante per il business. Un test può essere statisticamente significativo e produrre un guadagno così piccolo da non valere il costo di implementarlo, e può essere promettente ma non ancora significativo perché il campione è troppo piccolo.
Il numero che la piattaforma mostra è affidabile solo a una condizione: che il campione abbia raggiunto la dimensione decisa prima di partire. Su un campione ancora in crescita, la significatività calcolata istante per istante non significa quello che sembra.
Il peeking: l'errore che fabbrica falsi vincitori
Il peeking è controllare i risultati ogni giorno e fermare il test appena la variante sembra vincere. Sembra innocuo, ed è invece l'errore più costoso della sperimentazione. Ogni volta che si guarda un risultato parziale e si decide se fermarsi, si aumenta la probabilità di dichiarare vincitore un test che, portato fino alla fine, sarebbe tornato alla parità. Non è sfortuna: è matematica. Più occasioni ti dai di fermarti sul picco, più spesso ti fermerai su un picco casuale.
Come si evita davvero, senza smettere di guardare i dati
La soluzione non è ignorare il test finché non finisce, che è irrealistico. È decidere in anticipo la dimensione del campione o la durata minima, e impegnarsi a non prendere decisioni prima. Quando la piattaforma lo permette, si usano metodi statistici pensati per la lettura sequenziale, che tengono conto del fatto che stai guardando più volte e correggono la soglia di conseguenza. Come Optimizely Experimentation Certified Core Strategist è uno dei punti su cui più spesso correggo l'istinto di chi vorrebbe fermare un test perché "ormai sembra chiaro come va a finire".
Un'altra tentazione da governare è la segmentazione a posteriori: tagliare i risultati per dispositivo, canale o paese finché non si trova un segmento vincente. Più tagli si fanno, più aumenta la probabilità di trovarne uno significativo per puro caso. I segmenti vanno decisi prima del test, in numero limitato e legati a un'ipotesi.
Cosa conta come vittoria
Un test ha vinto quando la metrica primaria decisa in anticipo ha superato la soglia concordata, sul campione pieno, senza che le metriche guardrail siano peggiorate. Ogni altra definizione, costruita dopo aver visto i dati, è un modo per raccontarsi la storia che si preferisce. Questa disciplina parte a monte, dal modo in cui si scrive l'ipotesi: se vuoi vedere come lego metrica e soglia fin dalla formulazione, ne parlo nell'articolo su come scrivere un'ipotesi di A/B test efficace. Il quadro completo del metodo è nella guida a CRO e sperimentazione.
Contattami per una consulenza CRO
Parliamo del tuo progetto
Ti è utile questo articolo? Vediamo come applicarlo al tuo contesto.
Articoli correlati
Ipotesi di A/B Test Che Portano Risultati
Come scrivere un'ipotesi di A/B test che porta risultati: dalla base comportamentale alla metrica attesa, il formato che uso per non sprecare traffico.
+57% Conversione: Anatomia di un Programma CRO
Anatomia del programma di sperimentazione dietro il +57% di conversione su Whirlpool EMEA: com'è nato, cosa abbiamo testato e cosa ha funzionato.
CRO e sperimentazione: la guida completa agli A/B test
Guida completa a CRO e sperimentazione: dall'ipotesi all'A/B test, dalla prioritizzazione alla significatività. Il metodo dietro il +57% di Whirlpool EMEA.