Una delle domande più ricorrenti quando si progetta un A/B test è: quanti utenti mi servono per ottenere un risultato affidabile? La risposta non è un numero magico: dipende da quanto è grande l’effetto che vogliamo rilevare, dal tasso di conversione di partenza e dal livello di certezza statistica che desideriamo raggiungere.
Calcolare in anticipo la dimensione campionaria (sample size) è un passaggio fondamentale per evitare due errori classici: fermare il test troppo presto, dichiarando un vincitore che non c’è, oppure lasciarlo correre troppo a lungo, sprecando traffico e tempo. In altri termini, si tratta di trovare il punto di equilibrio tra risorse e rigore.
Chi ha letto l’articolo sul A/B Testing ricorderà che la power analysis è il metodo statistico che ci permette di determinare questa soglia. E chi ha approfondito gli intervalli di confidenza sa già che livello di significatività e potenza del test non sono concetti astratti, ma leve operative che influenzano direttamente la dimensione del campione.
Il calcolatore qui sotto automatizza questo processo: basta inserire i parametri del proprio test per ottenere immediatamente il numero di osservazioni necessarie per variante e, se si conosce il traffico giornaliero, una stima della durata in giorni.
Indice
Il calcolatore
Inseriamo i parametri del nostro A/B test e il calcolatore restituisce istantaneamente la dimensione campionaria necessaria.
Calcolatore Sample Size
Il conversion rate attuale della variante di controllo
L’incremento relativo minimo che consideriamo significativo (es. 20% = da 5% a 6%)
Visitatori giornalieri totali per stimare la durata del test
—
La formula: come funziona il calcolo
Il calcolatore utilizza la formula classica per il confronto tra due proporzioni con un test a due code (two-tailed z-test). Vediamo passo dopo passo come si arriva al risultato.
Partiamo dai parametri che inseriamo:
- p1: il tasso di conversione di base (controllo), espresso come proporzione. Se il nostro CR è del 5%, allora p1 = 0.05.
- p2: il tasso di conversione atteso per la variante. Se l’effetto minimo rilevabile (MDE) è del 20% relativo, allora p2 = p1 × (1 + MDE/100) = 0.05 × 1.20 = 0.06.
- α: il livello di significatività, cioè la probabilità di dichiarare un effetto quando non c’è (errore di tipo I). Con α = 0.05 lavoriamo al 95% di confidenza.
- 1 − β: la potenza del test, cioè la probabilità di rilevare un effetto quando effettivamente esiste. Con potenza 0.80, abbiamo l’80% di probabilità di cogliere l’effetto.
La formula è:
\( n = \frac{\left[z_{\alpha/2} + z_{\beta}\right]^2 \cdot \left[p_1(1-p_1) + p_2(1-p_2)\right]}{(p_1 – p_2)^2} \)Dove zα/2 e zβ sono i quantili della distribuzione normale standard. Per i valori più comuni:
- α = 0.05 → zα/2 = 1.96
- α = 0.01 → zα/2 = 2.576
- β = 0.20 (potenza 0.80) → zβ = 0.842
- β = 0.10 (potenza 0.90) → zβ = 1.282
Esempio numerico. Supponiamo di avere un tasso di conversione base del 3% e di voler rilevare un incremento relativo del 20% (cioè passare dal 3% al 3.6%), con α = 0.05 e potenza = 0.80:
- p1 = 0.03, p2 = 0.036
- zα/2 = 1.96, zβ = 0.842
- Numeratore: (1.96 + 0.842)2 × [0.03 × 0.97 + 0.036 × 0.964] = 7.849 × 0.0638 = 0.5008
- Denominatore: (0.03 − 0.036)2 = 0.000036
- n = 0.5008 / 0.000036 ≈ 13.911 per variante
Dunque: per rilevare un effetto del 20% relativo su un CR del 3%, servono circa 13.900 osservazioni per variante (quasi 28.000 in totale). Numeri che fanno riflettere: se il nostro sito ha 500 visitatori al giorno, il test durerà circa 56 giorni. È uno dei motivi per cui, nella pratica, molti A/B test su siti a traffico medio richiedono settimane, non giorni.
Come usare il calcolatore
Come scegliere l’MDE. L’effetto minimo rilevabile è il parametro più delicato. Non chiediamoci “quanto vorremmo che migliorasse” ma piuttosto: qual è il miglioramento minimo che giustificherebbe lo sforzo di implementare la modifica? Un MDE del 5% relativo richiede campioni enormi; un MDE del 50% è facile da rilevare ma raramente realistico. La fascia 10-30% è un buon punto di partenza per la maggior parte dei test su conversion rate.
Un dettaglio importante: l’MDE nel calcolatore è relativo, non assoluto. Un MDE del 20% su un CR base del 5% significa che stiamo cercando di rilevare un passaggio dal 5% al 6% (cioè un punto percentuale assoluto, ma il 20% relativo del valore iniziale).
Come stimare il traffico giornaliero. Il traffico da inserire è quello delle pagine coinvolte nel test, non il traffico totale del sito. Se il test riguarda la pagina di checkout e questa riceve 300 visite al giorno, il valore corretto è 300. Possiamo ricavare questo dato dal nostro strumento di analytics (GA4, Matomo o simili) facendo una media degli ultimi 30 giorni per attenuare le oscillazioni giornaliere.
Potrebbe interessarti anche
- A/B Testing: guida ai test statistici per l’analisi A/B
- Intervalli di confidenza
- Il test delle ipotesi
Per approfondire
Il riferimento più completo sulla progettazione rigorosa di esperimenti online è: Trustworthy Online Controlled Experiments di Ron Kohavi, Diane Tang e Ya Xu. Copre sample size, power analysis e molto altro, con decenni di esperienza pratica in Microsoft e Google.