Sperimentazione & CRO
A/B test con poco traffico: scegli domande misurabili
Pianifica A/B test con poco traffico usando effetti utili, pubblico ammissibile e incertezza. Scopri quando testare, fare ricerca, semplificare o rinviare.
Un A/B test con poco traffico parte da un vincolo: il sito potrebbe non produrre abbastanza osservazioni ammissibili per distinguere un cambiamento utile dal caso entro un periodo ragionevole. Un nuovo nome statistico non elimina il vincolo. Devi scegliere se cambiare domanda, migliorare il disegno, usare un'altra ricerca o rinviare il confronto.
Puoi comunque avanzare. Il punto è riservare il traffico alle domande misurabili e usare evidenze qualitative e verifiche di qualità per altre decisioni. Qui colleghi il piano del campione alle alternative operative. La cornice è nella guida a CRO e A/B test.
Conta chi può vedere davvero il cambiamento
Parti dal punto di esposizione. I visitatori totali non sono il campione di un test sul checkout se soltanto una piccola parte raggiunge quel passaggio. Definisci l'ammissibilità prima del trattamento e identifica l'unità da assegnare casualmente.
Se assegni persone, le visite ripetute fanno parte della loro esperienza e non diventano nuove persone indipendenti. Se assegni account, conta gli account anche quando generano molte sessioni. L'analisi deve essere coerente: più eventi non forniscono automaticamente più evidenza indipendente.
Verifica identificativi e tracciamento. Perdita dei cookie, consenso quando richiesto, passaggi all'accesso e dispositivi diversi possono complicare la misura dell'esposizione. Descrivi i limiti senza presentare la dashboard come un censimento perfetto delle persone.
Usa una baseline recente sul percorso e sul periodo operativo pertinenti. Il tasso di conversione complessivo può essere inadatto a un pubblico specifico. Separa disponibilità del campione e frequenza del risultato: entrambe influiscono sulla possibilità di rispondere.
Decidi quale effetto cambierebbe la scelta
L'effetto minimo rilevabile descrive la sensibilità pianificata. L'effetto minimo utile descrive cosa conta operativamente. Vanno discussi insieme, ma non coincidono. Un calcolatore stima cosa sia rilevabile sotto certe ipotesi; non decide se valga la pena mantenere una modifica.
Con una baseline ipotetica del 2%, passare al 2,4% significa crescere di 0,4 punti percentuali e del 20% in termini relativi. Sono calcoli illustrativi, non una previsione. Indica entrambe le scale affinché il gruppo non confonda una variazione relativa con i punti percentuali.
Chiedi quale miglioramento giustifichi sviluppo, manutenzione e compromessi. Se serve conoscere un effetto molto piccolo, il contesto potrebbe non produrre evidenze sufficienti. Se il cambiamento deve essere molto più grande per avere senso, un intervento sostanziale può offrire una domanda più coerente di una piccola rifinitura.
La ricerca Microsoft sulla sensibilità delle metriche collega effetti rilevabili, potenza, campione e varianza. Usa questi elementi per valutare scenari, senza scegliere soltanto l'output che promette la durata minore.
Trasforma il campione in un calendario credibile
Pianifica con risultato, baseline, effetto, approccio alla significatività, potenza e allocazione. Usa un metodo adatto alla metrica e al disegno. Una formula per una singola proporzione o per osservazioni indipendenti non deve essere copiata in ogni esperimento.
Traduci poi il fabbisogno in unità ammissibili per periodo. Usa un intervallo di traffico invece di una stima ottimistica. Includi il seguito dei risultati ritardati e un periodo che copra i cicli pertinenti. Il campione numerico non garantisce rappresentatività tra condizioni operative diverse.
Se la durata supera il tempo in cui il percorso resterà stabile, dichiaralo. Offerte, campagne, prodotti e implementazioni possono cambiare prima che il campione maturi. Un test di mesi attraversato da modifiche non registrate può essere difficile da interpretare anche con un conteggio finale alto.
Non risolvere il problema abbassando i criteri dopo aver visto un risultato favorevole. Cambiare metodo, effetto o regola richiede una motivazione difendibile e un trattamento appropriato dei dati già osservati. La guida a significatività e peeking affronta il problema dell'interruzione.
Mantieni un registro datato dei cambiamenti che possono influenzare il percorso: campagne, disponibilità, prezzi, pubblico e problemi del servizio. Una modifica simultanea in entrambe le varianti non invalida automaticamente la randomizzazione, ma può cambiare il significato del risultato. Descrivi se l'effetto riguardi una condizione operativa specifica, senza trasformare analisi esplorative sui sottogruppi in nuove prove confermative.
Verifica anche se la stima di traffico comprenda persone escluse dalla regola di ammissibilità. Una campagna può raddoppiare le visite e contribuire poco a un test rivolto ai clienti di ritorno. Costruisci il calendario dall'assegnazione reale e conserva la distinzione nel rapporto.
Se il campione cambia durante il periodo, evita di unire automaticamente segmenti con comportamenti e possibilità di esposizione diversi. Riesamina la domanda e documenta il nuovo perimetro. La disponibilità di altri eventi non rende coerente un confronto che ora riguarda un'attività differente da quella pianificata all'inizio.
Compila la fattibilità prima di creare le varianti
La scheda tiene visibili insieme domanda aziendale e vincolo statistico. È un supporto editoriale alla pianificazione, non una regola fissa sulla dimensione del campione.
Scorri lateralmente o usa i tasti freccia per leggere tutte le colonne.
| Domanda | Cosa registrare | Cosa suggerisce una risposta debole |
|---|---|---|
| Chi è ammissibile? | Pubblico e regola prima del trattamento | Chiarire l'esposizione |
| Qual è l'unità assegnata? | Persona, account o altra unità definita | Riesaminare indipendenza e analisi |
| Qual è la baseline? | Metrica, periodo e incertezza | Migliorare la misurazione |
| Quale effetto conta? | Scala assoluta e relativa | Chiarire la scelta di rilascio |
| Cosa è rilevabile? | Sensibilità sotto ipotesi definite | Cambiare disegno o esplicitare limiti |
| Quanto traffico è disponibile? | Unità ammissibili per periodo | Ricalcolare la durata |
| Cosa può peggiorare? | Tutele e precisione necessaria | Verificare tutta la decisione |
| Il percorso resterà comparabile? | Cambiamenti previsti e seguito | Rinviare o restringere |
| Qual è l'alternativa? | Ricerca, correzione, rilascio semplice, attesa | Scegliere un metodo pertinente |
Includi le metriche guardrail. Un test può misurare abbastanza bene il risultato principale e restare troppo impreciso per tutelare una conseguenza importante.
Esempio ipotetico: poche richieste B2B
Immagina un sito di servizi specialistici con poche richieste qualificate. L'esempio illustra decisioni senza attribuire risultati a clienti. Il gruppo vuole confrontare due etichette del pulsante usando le richieste completate.
Il pubblico ammissibile è piccolo e soltanto una parte invia il modulo. Il cambiamento è modesto, mentre la decisione richiede evidenze su un miglioramento contenuto. Il campione pianificato richiederebbe più tempo di quanto l'offerta rimarrà stabile.
Il gruppo approfondisce il compito prima di lanciare. Osserva persone del target che cercano di capire se il servizio sia adatto e come preparare una richiesta. Mancano informazioni sul processo di collaborazione. Questa osservazione genera un'ipotesi più sostanziale sulla chiarezza di requisiti e aspettative.
Il gruppo prepara un prototipo, corregge difetti visibili e migliora la misurazione. Potrà confrontare una pagina rivista quando il traffico lo consentirà. Non dichiara un aumento percentuale di conversione sulla base di poche sessioni qualitative.
La guida GOV.UK ai test di usabilità moderati spiega come osservare persone che svolgono compiti. L'evidenza ha una funzione diversa dalla stima dell'effetto sulla popolazione.
Migliora il disegno senza cambiare domanda di nascosto
Riduci varianti non necessarie. Ogni trattamento divide il traffico disponibile e aggiunge confronti. Un test focalizzato su due versioni può essere più utile di un disegno multivariato quando le risorse sono limitate.
Migliora la sensibilità quando il metodo è giustificato. Dati precedenti al test possono talvolta ridurre la varianza, ma richiedono informazioni appropriate e uno stimatore che preservi il confronto causale. Non assumere che una funzione della piattaforma produca un moltiplicatore fisso sul tuo sito.
Concentra il pubblico soltanto con regole definibili in modo coerente per trattamento e controllo. Selezionare chi clicca un elemento presente soltanto nella variante crea un problema di selezione successiva. Non puoi trattare quel gruppo come assegnato casualmente dall'inizio.
Una modifica più ampia può avere un effetto più rilevabile, ma risponde a una domanda diversa. Documentala come insieme e non attribuire il risultato a un componente specifico. Potrai separare i componenti in seguito, se la distinzione sarà importante e misurabile.
Usa la ricerca qualitativa per le sue decisioni
La ricerca riconosce linguaggio confuso, informazioni mancanti, ostacoli e ipotesi poco plausibili. Migliora l'intervento e aiuta a scegliere cosa merita traffico. Da sola non quantifica l'aumento di conversione sull'intero pubblico.
La guida alla ricerca qualitativa per la CRO separa osservazioni e spiegazioni. Coinvolgi persone pertinenti e considera esigenze di accessibilità. Un campione comodo di colleghi può rilevare difetti senza rappresentare i clienti.
Per le idee comportamentali, usa la guida dalla psicologia all'ipotesi di test. Un meccanismo plausibile migliora la domanda, ma non stabilisce la grandezza dell'effetto. Conserva il collegamento tra osservazione e proposta.
Quando emerge un difetto evidente o un'informazione necessaria assente, correggilo con il processo di qualità. Un rilascio reversibile monitorato può essere adatto a certe scelte, ma chiamalo rilascio. Il movimento prima e dopo non isola la causa.
Prima di estendere una modifica, controlla anche l'ambiente operativo: dispositivi, accessibilità, errori e continuità del percorso. Queste verifiche possono prevenire un danno anche quando il sito non ha traffico per dimostrare un incremento piccolo. Hanno un esito concreto e distinto dalla promessa di una percentuale di miglioramento.
Leggi l'esito incerto senza forzare un vincitore
Un risultato non significativo può informare se l'intervallo esclude effetti abbastanza grandi da contare. Può invece essere poco utile se comprende beneficio rilevante e danno inaccettabile. Leggi stima e intervallo rispetto alla decisione, senza affidarti all'etichetta.
Anche i metodi bayesiani richiedono ipotesi, dati e una regola concordata. Possono esprimere diversamente l'incertezza, ma non rendono automaticamente decisivo un campione debole. Descrivi il prior e la sensibilità quando pertinenti, senza promettere verità più rapida.
Conserva gli esiti incerti nel backlog esperimenti. Registra se riformulare la domanda, ripetere in condizioni migliori o chiudere perché il valore decisionale è troppo basso.
Parti da una proposta e compila la fattibilità. Se il traffico non sostiene la decisione, scegli un'alternativa capace di rispondere. Per progettare un approccio sul tuo pubblico e i tuoi vincoli, raccontami il percorso.
Applica queste idee al tuo progetto
Raccontami quale decisione devi prendere, i vincoli e cosa hai già provato.
Continua ad approfondire
Backlog esperimenti: come scegliere i test prioritari
Definisci le priorità del backlog esperimenti con evidenze, traffico e valore decisionale. Crea una coda pratica che trasforma osservazioni in test.
Metriche guardrail A/B test: tutela il percorso completo
Scegli metriche guardrail per gli A/B test che tutelano qualità, prestazioni e risultati successivi. Definisci soglie e decisioni prima del lancio.
Come scrivere un'ipotesi di A/B test utile
Scrivi un'ipotesi di A/B test partendo da evidenze, pubblico e comportamento atteso. Una scheda pratica per scegliere metriche e leggere un risultato negativo.