Due sondaggi politici: uno su 800 persone, uno su 20.000. È ovvio che il secondo sia più affidabile? Non necessariamente. Se il primo è stato estratto casualmente dalla popolazione e il secondo è composto da volontari raccolti online, il primo può essere molto più preciso del secondo.
La qualità del campione viene prima della sua dimensione. È una frase che vale la pena ricordare, perché ribalta l’intuizione comune.
Due domande distinte
Quando pianifichiamo una raccolta dati, dobbiamo rispondere a due domande separate, e la prima viene prima della seconda:
- Il campione rappresenta davvero la popolazione? Questo dipende dal metodo di campionamento, non dalla quantità di dati.
- Il campione è sufficientemente grande? Questo dipende dalla variabilità dei dati e dalla precisione che cerchiamo.
| Domanda | Da cosa dipende |
|---|---|
| Il campione è rappresentativo? | Metodo di campionamento |
| Quante osservazioni servono? | Variabilità, effetto atteso, livello di confidenza, margine di errore |
Nel web marketing ci troviamo continuamente di fronte a entrambi i problemi. Un test A/B lanciato solo su utenti mobile ci dice poco sugli utenti desktop (problema di rappresentatività), anche se raccogliamo milioni di visite. Un test con 100 visitatori per variante non ci dice nulla di utile (problema di numerosità), anche se il campionamento è perfettamente casuale.
Come scegliere chi misurare: i tipi di campionamento
Prima di capire quanti dati ci servono, dobbiamo capire come raccoglierli. I tre metodi principali sono:
- Campionamento casuale semplice: Ogni utente ha esattamente la stessa probabilità di essere scelto. È il gold standard, quello che cerchiamo di ottenere quando randomizziamo gli utenti in un A/B test.
- Campionamento stratificato: Dividiamo gli utenti in gruppi (es. traffico Mobile e Desktop) e campioniamo casualmente all’interno di ogni gruppo, rispettando le proporzioni originali. Assicura che nessuna minoranza importante venga ignorata.
- Campionamento sistematico: Scegliamo un utente ogni k (es. un utente ogni 10). Facile da implementare, ma insidioso quando nei dati si nasconde una ciclicità (immaginiamo di campionare un utente ogni 7: se prendiamo solo i lunedì, la stima sarà deformata in partenza).
Nella distribuzione normale abbiamo visto che la variabilità campionaria si riduce all’aumentare delle osservazioni — ma solo se il campione è rappresentativo. Un campione distorto e grande dà stime precise ma sbagliate, ed è molto peggio di un campione piccolo ma ben raccolto.
La dimensione campionaria: la matematica dietro la stima
Supponiamo ora di aver risolto il problema della rappresentatività. Il campione è ben raccolto. Quanto deve essere grande?
L’intuizione è semplice: più è piccolo l’effetto che cerchiamo (o più i dati sono variabili), più dati ci servono per distinguerlo dal rumore di fondo. Se tutti gli individui della popolazione fossero quasi identici fra loro, basterebbero poche osservazioni. Più la popolazione è eterogenea, maggiore dovrà essere il campione per descriverla con precisione.
Perché la popolazione conta pochissimo
È uno dei risultati più sorprendenti della statistica. Che un sito abbia 10.000 visitatori al mese o 10 milioni, il campione necessario per stimare una proporzione è praticamente lo stesso. Raddoppiare la popolazione non significa dover raddoppiare il campione. Una volta raggiunte popolazioni molto grandi, ciò che determina la precisione è soprattutto il margine di errore desiderato.
Ciò che davvero conta è la variabilità interna dei dati, non quanti utenti ci sono in tutto.
I tre ingredienti
Per calcolare il numero esatto, ci servono tre ingredienti:
- Livello di confidenza: Quanto vogliamo essere sicuri? Di solito si usa il 95% (che corrisponde a uno Z-score di 1,96). Ne abbiamo parlato negli intervalli di confidenza.
- Margine di errore (E): L’errore massimo che siamo disposti ad accettare (es. 1% o 0,01).
- Proporzione attesa (p): La stima del tasso di conversione. Se non ne abbiamo idea, usiamo 0,5 (50%): è il caso di massima incertezza e darà il campione più grande possibile, quindi la scelta più conservativa.
La formula per stimare una proporzione (come il Conversion Rate) è:
\( n = \frac{Z^2 \cdot p(1-p)}{E^2} \\ \)dove Z è il quantile della normale corrispondente al livello di confidenza scelto (1,96 per il 95%).
Cosa fa crescere il campione (in parole): – un margine di errore più stretto → più dati (l’E è al quadrato al denominatore: dimezzare l’errore quadruplica il campione) – una confidenza maggiore → più dati (Z cresce) – un effetto atteso più piccolo → più dati (la differenza da rilevare è più sottile) – una variabilità più alta → più dati (p(1-p) massimo quando p=0,5) È una checklist mentale utile: prima di partire con una raccolta dati, chiediamoci su quali di questi quattro punti abbiamo margine di manovra.
La figura racconta la storia meglio di mille parole. All’inizio, aggiungere dati migliora tantissimo la precisione. Poi la curva si appiattisce: ogni nuovo centinaio di osservazioni riduce il margine d’errore sempre meno. È il principio dei rendimenti decrescenti applicato ai dati. Dimezzare il margine d’errore (passare da E = 3% a E = 1,5%) non richiede il doppio dei dati, ma quattro volte tanto. Non esiste un campione grande in assoluto: esiste solo un campione sufficientemente grande per la domanda che stiamo cercando di porre.
Perché? Perché l’errore standard diminuisce con la radice quadrata della numerosità campionaria. Per dimezzare il margine d’errore non basta raddoppiare il campione: occorre quadruplicarlo. È una di quelle idee che cambiano il modo di ragionare sui dati.
| Campione | Margine d’errore (circa, 95%) |
|---|---|
| 100 | ± 10% |
| 400 | ± 5% |
| 1.600 | ± 2,5% |
Naturalmente sono valori indicativi (assumendo p = 0,5). Il punto è un altro: per ottenere la metà dell’errore serve quattro volte il campione. La tabella lo rende immediato.
Se invece leggiamo la curva dall’altro lato — fissiamo il margine d’errore desiderato e chiediamo “quanto campione serve?” — otteniamo un’altra figura utile:
La curva sale lentamente per margini ampi (da E = 10% a E = 5% servono poche centinaia di osservazioni in più), poi impenna: passare da E = 2,5% a E = 1% richiede oltre 5.000 osservazioni aggiuntive. È il costo della precisione, reso visibile in un colpo d’occhio.
Calcoliamolo in R e Python
Facciamo un esempio al volo. Vogliamo stimare il Conversion Rate di una nuova pagina con un margine di errore dell’1% (0,01) e un livello di confidenza del 95% (Z = 1,96). Per cautela, impostiamo p = 0,5.
Calcoliamo in R:
Z <- 1.96
p <- 0.5
E <- 0.01
n <- (Z^2 * p * (1-p)) / E^2
print(paste("Dimensione necessaria:", round(n)))
# Output: Dimensione necessaria: 9604Verifichiamo in Python:
Z = 1.96
p = 0.5
E = 0.01
n = (Z**2 * p * (1-p)) / E**2
print(f"Dimensione necessaria: {round(n)}")
# Output: Dimensione necessaria: 9604Servono circa 9.604 utenti per quella precisione. Se accettassimo un margine di errore del 2% (E = 0,02), il numero crollerebbe a circa 2.401. È l’effetto dell’E al quadrato a denominatore: dimezzare la pretesa di precisione significa dividere per quattro il campione richiesto. Va sempre tenuto bene a mente quando si decide quale margine accettare.
Popolazioni finite: quando la formula standard sopravvaluta il campione La formula che abbiamo usato assume una popolazione infinita (o molto grande), il che va bene per il traffico web. Ma se stai facendo un sondaggio su una lista chiusa, per esempio una newsletter con N = 5.000 iscritti, la formula standard ti dirà che servono migliaia di risposte — e poi scopri che la lista è finita e molte di quelle risposte non esistono. In questi casi si applica la correzione per popolazioni finite: $\( n_{adj} = \frac{n}{1 + \frac{n-1}{N}} \)$ dove n è il campione calcolato con la formula standard (infinita) e N è la dimensione della popolazione. Se la formula standard dà n = 1.000 e la popolazione è N = 2.000, il campione corretto scende a circa 667. Se invece N = 100.000, la correzione è trascurabile. La regola pratica: se il campione supera il 5-10% della popolazione, la correzione vale la pena.
Un esempio SEO concreto
Una pagina riceve 38 clic in una settimana e il CTR passa dal 5% al 7%. È davvero migliorata? Con un numero così ridotto di impression potremmo stare osservando solo rumore statistico. La domanda giusta non è “il CTR è aumentato?” ma “i dati che abbiamo sono sufficienti per distinguere un cambiamento reale dalla fluttuazione casuale?”.
Altro caso. Modifichiamo il title di una landing page e dopo tre giorni il CTR aumenta del 20%. Possiamo già festeggiare? Probabilmente no: prima dobbiamo chiederci se il campione raccolto (le impression dei tre giorni) è sufficiente per avere una stima stabile.
In entrambi i casi, la formula del campionamento ci dà un’indicazione preziosa: quanti dati ci servono prima di poter dire qualcosa di sensato.
C’è però un’altra domanda che chi lavora con i dati si trova ad affrontare ogni giorno: quanti dati vale la pena raccogliere? Ogni osservazione aggiuntiva ha un costo — in tempo, in risorse, in complessità. Il problema statistico non è solo raggiungere una certa precisione, ma trovare il punto in cui l’incremento di precisione giustifica ancora il tempo e le risorse impiegate. È esattamente il problema che la power analysis e l’effect size affrontano nei test A/B.
Errori comuni
Alcuni equivoci ricorrono continuamente quando si parla di campionamento:
- Pensare che 1.000 osservazioni siano sempre sufficienti. Dipende tutto dalla variabilità e dalla precisione richiesta. Per un’elezione con margine stretto servono decine di migliaia di intervistati; per stimare la media di un processo industriale stabile possono bastare poche decine.
- Credere che conti solo la dimensione della popolazione. Come abbiamo visto, una volta che la popolazione è grande, ciò che davvero conta è la variabilità interna.
- Ignorare il metodo di campionamento. Un campione grande ma distorto è peggio di uno piccolo ma rappresentativo.
- Aumentare il campione finché non si trova un risultato significativo. Questa pratica, nota come p-hacking, è uno degli errori più insidiosi della statistica applicata. Più dati raccogliamo, più è probabile trovare differenze statisticamente significative anche quando non esistono — perché la significatività statistica dipende anche dalla dimensione del campione, non solo dall’effetto reale. Ne abbiamo parlato a proposito del p-value.
Dalla stima all’A/B Testing
La formula vista finora serve a stimare una singola proporzione. Ma nella pratica quotidiana della CRO il problema è quasi sempre un altro: confrontare due proporzioni, come in un A/B test.
In quel caso la logica è la stessa, ma la formula si complica perché entrano in gioco due concetti nuovi: l’Effect Size (la minima differenza che vogliamo rilevare) e la Potenza Statistica (power). Sono i temi dei prossimi articoli del percorso, insieme ai test d’ipotesi e alla power analysis.
Per evitare di calcolarlo a mano ho preparato un calcolatore interattivo del sample size per A/B test: fa il lavoro sporco al posto nostro e indica anche per quanti giorni far girare il test, dato il traffico medio della pagina.
FAQ
Qual è la differenza tra errore campionario e bias?
L’errore campionario è la fluttuazione casuale che si riduce aumentando il campione. Il bias è un errore sistematico che non si riduce con più dati — anzi, un campione grande e distorto dà stime precise ma sbagliate.
La formula funziona per popolazioni finite?
Sì, con una correzione: se il campione supera il 5-10% della popolazione totale, si applica un fattore di correzione per popolazioni finite. Nella web analytics è raramente necessario perché la popolazione (tutti i visitatori) è virtualmente infinita.
Cosa fare se non ho idea della proporzione attesa p?
Usa p = 0,5: è il caso di massima incertezza e produce il campione più grande possibile. È la scelta conservativa.
Posso usare la stessa formula per un A/B test?
No, per un A/B test servono formule specifiche che coinvolgono effect size e potenza statistica. La formula qui presentata stima una proporzione singola. Per i test A/B usa il calcolatore dedicato.
La domanda “quanti dati servono?” è, in fondo, mal posta. La statistica non cerca un numero magico valido per ogni situazione: cerca un compromesso tra precisione, costi, variabilità e obiettivo dello studio. Due esperimenti possono richiedere campioni molto diversi pur studiando lo stesso fenomeno. La qualità del dato, il metodo di raccolta e la domanda che stiamo ponendo contano più di qualsiasi formula.
Fin qui abbiamo parlato dei fattori che influenzano la dimensione del campione: variabilità, margine d’errore, livello di confidenza, rappresentatività, costo. Il passo successivo è trasformare queste considerazioni in un calcolo concreto: quanti dati servono per confrontare due versioni di una pagina web, o due strategie SEO? È il campo della power analysis, e ne parleremo nel prossimo articolo del percorso.
Per approfondire
Se vuoi approfondire il tema del campionamento, dei bias che possono distorcerlo e della logica dell’inferenza statistica, L’arte della statistica di David Spiegelhalter è il compagno di viaggio più adatto. Spiegelhalter dedica pagine illuminanti a casi reali — sondaggi sbagliati, campioni di convenienza, statistiche che ingannano — e mostra come la matematica del campionamento valga poco senza una riflessione attenta su come i dati vengono raccolti.