Avete mai lanciato un test A/B e vi siete chiesti se il test giusto sia il t-test o il Wilcoxon? La scelta non è banale: usare il test sbagliato può farvi perdere un risultato significativo — o, peggio, farvi credere significativo ciò che non lo è.
I test statistici si dividono in due grandi famiglie: parametrici e non parametrici. La differenza fondamentale? I primi assumono che i dati seguano una distribuzione nota (di solito la normale); i secondi no. Questa distinzione non è un dettaglio tecnico: determina quali test puoi usare, quanto sono potenti, e quanto puoi fidarti dei risultati.
In questo articolo vediamo le differenze, quando usare l’uno o l’altro, e come la scelta impatta sull’analisi dei dati del tuo sito.
Di cosa parleremo
Molti test parametrici presuppongono che i dati siano distribuiti in modo approssimativamente normale.
Le condizioni tipiche per usarli sono:
Il vantaggio principale dei test parametrici è il potere statistico più elevato: a parità di effetto e dimensione campionaria, un test parametrico ha più probabilità di rilevare una differenza reale. Questo perché sfruttano l’informazione sulla distribuzione dei dati — se l’assunzione è corretta.
Esempi di test parametrici che abbiamo incontrato: il test Z, il test t di Student, l’analisi della varianza ANOVA, il coefficiente di correlazione r di Pearson, la regressione lineare.
I test non parametrici (detti anche distribution-free) non richiedono di assumere una particolare distribuzione dei dati né si basano sulla stima dei parametri di tale distribuzione. Lavorano spesso sui ranghi (l’ordinamento dei valori) piuttosto che sui valori stessi.
Si dividono in due macro-categorie:
Altri esempi includono il test U di Mann-Whitney (alternativa al t-test per due campioni indipendenti), il test di Kruskal-Wallis (alternativa all’ANOVA) e il tau di Kendall (alternativa a Spearman per ranghi con legami).
Il prezzo della versatilità? I test non parametrici hanno in genere potere statistico inferiore quando le assunzioni dei parametrici sono rispettate. Si dice che hanno un’efficienza minore: per ottenere la stessa potenza, servono campioni più grandi.
Quando usare l’uno e quando l’altro? Ecco un riepilogo:
| Caratteristica | Test parametrici | Test non parametrici |
|---|---|---|
| Distribuzione assunta | Normale (o approx.) | Nessuna |
| Tipo di dati | Continui, intervallo/rapporto | Qualsiasi (anche ordinali, ranghi) |
| Potenza statistica | Più alta (se le assunzioni valgono) | Più bassa (a parità di n) |
| Robustezza | Sensibile a outlier e non-normalità | Robusto a outlier e asimmetrie |
| Campione minimo | Dipende dalle ipotesi del modello | Funziona anche con n piccoli |
| Risultato | Stima parametri + p-value | Test basato su ranghi |
| Esempi | t-test, ANOVA, Pearson, Z-test | Wilcoxon, Mann-Whitney, Kruskal-Wallis, Spearman |
Un sito ecommerce ha due versioni della pagina prodotto (A e B). I tempi di sessione in secondi per 10 visitatori ciascuna sono:
versione_A <- c(45, 52, 48, 61, 55, 49, 53, 47, 58, 51)
versione_B <- c(42, 65, 44, 70, 50, 68, 55, 71, 49, 63) Eseguiamo sia un t-test (parametrico) che un Wilcoxon (non parametrico) per vedere se la differenza è significativa:
# Test parametrico (presuppone normalità)
t.test(versione_A, versione_B)
# Test non parametrico (basato sui ranghi)
wilcox.test(versione_A, versione_B) Domande:
1. I due test danno lo stesso verdetto (p < 0,05)?
2. Quale dei due avrebbe più senso usare con soli 10 dati per gruppo?
3. Come cambierebbe la scelta se avessimo 100 visitatori per versione?
Risposte:
1. Su questi dati specifici, il t-test dà p ≈ 0,12 (non significativo), mentre Wilcoxon dà p ≈ 0,16 (non significativo). Entrambi convergono — ma non è sempre così.
2. Con n = 10 è difficile verificare la normalità. Il Wilcoxon è la scelta più prudente: non assume nulla sulla distribuzione e funziona bene anche con campioni piccoli.
3. Con n = 100, il teorema del limite centrale garantisce che la media campionaria è approx. normale anche se i dati originali non lo sono. Il t-test diventa più giustificato — e più potente.
La scelta tra un test parametrico e uno non parametrico non dipende da quale sia "migliore" in assoluto, ma dalla natura dei dati e dalle ipotesi che siamo ragionevolmente disposti ad assumere.
La regola pratica è:
Attenzione: la potenza non è tutto.
Un test parametrico più potente non è sempre la scelta migliore. Se i dati violano le assunzioni (normalità, omoschedasticità), il p-value del test parametrico può essere inaffidabile — e ti esponi a un falso positivo o a un falso negativo. In questi casi un test non parametrico, pur meno potente, dà un risultato più onesto.
Per approfondire la scelta pratica tra test, vedi la guida ai test statistici per analisi A/B, e per una trattazione sistematica delle condizioni di applicabilità, effect size e power analysis.
Per orientarsi nella scelta tra test parametrici e non parametrici, con le condizioni di applicabilità di ciascuno, Statistica di Newbold, Carlson e Thorne offre la copertura più sistematica disponibile in italiano.
Il report di settembre è quasi pronto, e c'è un numero che stona: ad agosto…
Il rifacimento del sito è deciso, la data di messa online pure, e prima o…
Il report annuale arriva sul tavolo con una buona notizia in prima pagina: la posizione…
Le guide tecniche di un sito salgono nei risultati di ricerca, compaiono più spesso, e…
Clic e sessioni variano più di quanto la Poisson preveda: come accorgersene in R e…
Un report annuale si chiude spesso con una riga sola: i clic da Google sono…
View Comments
sintetico e comprensibile ma pochi esempi