statistica

Calcolatore Sample Size per A/B Test

Una delle domande più ricorrenti quando si progetta un A/B test è: quanti utenti mi servono per ottenere un risultato affidabile? La risposta non è un numero magico: dipende da quanto è grande l’effetto che vogliamo rilevare, dal tasso di conversione di partenza e dal livello di certezza statistica che desideriamo raggiungere.

Calcolare in anticipo la dimensione campionaria (sample size) è un passaggio fondamentale per evitare due errori classici: fermare il test troppo presto, dichiarando un vincitore che non c’è, oppure lasciarlo correre troppo a lungo, sprecando traffico e tempo. In altri termini, si tratta di trovare il punto di equilibrio tra risorse e rigore.

Chi ha letto l’articolo sul A/B Testing ricorderà che la power analysis è il metodo statistico che ci permette di determinare questa soglia. E chi ha approfondito gli intervalli di confidenza sa già che livello di significatività e potenza del test non sono concetti astratti, ma leve operative che influenzano direttamente la dimensione del campione.

Il calcolatore qui sotto automatizza questo processo: basta inserire i parametri del proprio test per ottenere immediatamente il numero di osservazioni necessarie per variante e, se si conosce il traffico giornaliero, una stima della durata in giorni.

Il calcolatore

Inseriamo i parametri del nostro A/B test e il calcolatore restituisce istantaneamente la dimensione campionaria necessaria.

Calcolatore Sample Size

Tasso di conversione base (%)

Il conversion rate attuale della variante di controllo

Effetto minimo rilevabile — MDE (% relativo)

L’incremento relativo minimo che consideriamo significativo (es. 20% = da 5% a 6%)

Significatività (α)

Potenza (1−β)

Traffico giornaliero (opzionale)

Visitatori giornalieri totali per stimare la durata del test

Sample size per variante
—

La formula: come funziona il calcolo

Il calcolatore utilizza la formula classica per il confronto tra due proporzioni con un test a due code (two-tailed z-test). Vediamo passo dopo passo come si arriva al risultato.

Partiamo dai parametri che inseriamo:

p₁: il tasso di conversione di base (controllo), espresso come proporzione. Se il nostro CR è del 5%, allora p₁ = 0.05.
p₂: il tasso di conversione atteso per la variante. Se l’effetto minimo rilevabile (MDE) è del 20% relativo, allora p₂ = p₁ × (1 + MDE/100) = 0.05 × 1.20 = 0.06.
α: il livello di significatività, cioè la probabilità di dichiarare un effetto quando non c’è (errore di tipo I). Con α = 0.05 lavoriamo al 95% di confidenza.
1 − β: la potenza del test, cioè la probabilità di rilevare un effetto quando effettivamente esiste. Con potenza 0.80, abbiamo l’80% di probabilità di cogliere l’effetto.

La formula è:

\( n = \frac{\left[z_{\alpha/2} + z_{\beta}\right]^2 \cdot \left[p_1(1-p_1) + p_2(1-p_2)\right]}{(p_1 – p_2)^2} \)

Dove z_α/2 e z_β sono i quantili della distribuzione normale standard. Per i valori più comuni:

α = 0.05 → z_α/2 = 1.96
α = 0.01 → z_α/2 = 2.576
β = 0.20 (potenza 0.80) → z_β = 0.842
β = 0.10 (potenza 0.90) → z_β = 1.282

Esempio numerico. Supponiamo di avere un tasso di conversione base del 3% e di voler rilevare un incremento relativo del 20% (cioè passare dal 3% al 3.6%), con α = 0.05 e potenza = 0.80:

p₁ = 0.03, p₂ = 0.036
z_α/2 = 1.96, z_β = 0.842
Numeratore: (1.96 + 0.842)² × [0.03 × 0.97 + 0.036 × 0.964] = 7.849 × 0.0638 = 0.5008
Denominatore: (0.03 − 0.036)² = 0.000036
n = 0.5008 / 0.000036 ≈ 13.911 per variante

Dunque: per rilevare un effetto del 20% relativo su un CR del 3%, servono circa 13.900 osservazioni per variante (quasi 28.000 in totale). Numeri che fanno riflettere: se il nostro sito ha 500 visitatori al giorno, il test durerà circa 56 giorni. È uno dei motivi per cui, nella pratica, molti A/B test su siti a traffico medio richiedono settimane, non giorni.

Come usare il calcolatore

Come scegliere l’MDE. L’effetto minimo rilevabile è il parametro più delicato. Non chiediamoci “quanto vorremmo che migliorasse” ma piuttosto: qual è il miglioramento minimo che giustificherebbe lo sforzo di implementare la modifica? Un MDE del 5% relativo richiede campioni enormi; un MDE del 50% è facile da rilevare ma raramente realistico. La fascia 10-30% è un buon punto di partenza per la maggior parte dei test su conversion rate.

Un dettaglio importante: l’MDE nel calcolatore è relativo, non assoluto. Un MDE del 20% su un CR base del 5% significa che stiamo cercando di rilevare un passaggio dal 5% al 6% (cioè un punto percentuale assoluto, ma il 20% relativo del valore iniziale).

Come stimare il traffico giornaliero. Il traffico da inserire è quello delle pagine coinvolte nel test, non il traffico totale del sito. Se il test riguarda la pagina di checkout e questa riceve 300 visite al giorno, il valore corretto è 300. Possiamo ricavare questo dato dal nostro strumento di analytics (GA4, Matomo o simili) facendo una media degli ultimi 30 giorni per attenuare le oscillazioni giornaliere.

Per approfondire

Il riferimento più completo sulla progettazione rigorosa di esperimenti online è: Trustworthy Online Controlled Experiments di Ron Kohavi, Diane Tang e Ya Xu. Copre sample size, power analysis e molto altro, con decenni di esperienza pratica in Microsoft e Google.

Paolo Gironi