Domande come questa — questa differenza è dovuta al caso? — nascono in continuazione in ogni attività basata su dati. Il test delle ipotesi è la procedura statistica che ci permette di rispondere con metodo, distinguendo i risultati dovuti a un fenomeno reale da quelli che sono soltanto effetto del caso.

Di cosa parleremo:

• Che cos’è un test delle ipotesi
• Cosa sono l’ipotesi nulla e l’ipotesi alternativa
• Cosa sono gli errori di I e II tipo
• Test a una coda o a due code: quale scegliere
• Qual è la procedura in cinque passaggi
• Un esempio SEO: l’A/B test sui title tag
• Cosa ci dice il p-value
• Cosa misura la potenza del test
• Come determinare la dimensione campionaria
• Domande frequenti
• Prova tu
• Per approfondire

In sintesi: il test delle ipotesi è una procedura statistica che risponde a una domanda precisa: il risultato che osserviamo nel campione è dovuto al caso oppure a un fenomeno reale? Si parte dall’ipotesi nulla (non c’è effetto), si raccolgono i dati e si calcola il p-value. Se il p-value scende sotto la soglia prefissata, il caso non è una spiegazione plausibile e rifiutiamo l’ipotesi nulla.

Che cos’è un test delle ipotesi

Nella vita di tutti i giorni, dobbiamo spesso prendere decisioni basate su informazioni incomplete. Un nuovo title genera qualche clic in più: è il title a funzionare meglio, o è stata semplicemente una settimana fortunata?

Il test delle ipotesi è una procedura statistica che ci consente di porre un quesito sulla base di informazioni campionarie, al fine di raggiungere una decisione basata sui dati.

La differenza tra probabilità e inferenza è il punto di partenza:

• Se conosciamo i dati della popolazione e vogliamo sapere qual è la probabilità di un dato risultato, siamo nel campo della probabilità.
• Se da un campione cerchiamo di risalire ai valori della popolazione, siamo nell’inferenza. Il test delle ipotesi è lo strumento principale dell’inferenza statistica.

Cosa sono l’ipotesi nulla e l’ipotesi alternativa

Nel test delle ipotesi abbiamo sempre da soppesare due ipotesi. Lo status quo è chiamato ipotesi nulla, simbolo H₀. È l’ipotesi che non ci sia effetto, che non ci sia differenza, che tutto sia dovuto al caso.

Quello che facciamo è testare l’ipotesi nulla contro un’ipotesi alternativa, simbolo Hₐ — che è, in genere, l’ipotesi a cui crediamo o che vogliamo dimostrare.

Scegliamo poi un livello di significatività o alpha level, indicato con α. Lo standard comune è α = 0,05, che corrisponde a un livello di confidenza del 95%. In base all’alpha level possiamo stabilire la o le regioni critiche: le zone della distribuzione campionaria in cui, se cade il nostro risultato, rifiutiamo l’ipotesi nulla.

Se il valore che otteniamo cade in una regione critica, abbiamo evidenze statistiche sufficienti per rifiutare H₀ a favore di H₁.

Cosa sono gli errori di I e II tipo

Il risultato del test, ovviamente, non costituisce una certezza. Possiamo incorrere in due tipi di errore:

• Errore di I tipo: rifiutare l’ipotesi nulla quando in realtà è vera. La probabilità di commettere questo errore è esattamente α, il livello di significatività che abbiamo fissato.
• Errore di II tipo: non rifiutare l’ipotesi nulla quando in realtà è falsa. La probabilità di questo errore si indica con β, e dipende da diversi fattori (dimensione del campione, entità dell’effetto reale, livello di α).

Il modo più chiaro per visualizzare i due tipi di errore è questa tabella:

Il calcolo della probabilità di incorrere in un errore di II tipo non è diretto come quello dell’errore di I tipo. Lo affronteremo tra poco, quando parleremo di potenza del test.

Test a una coda o a due code: quale scegliere

Il test può essere a una coda, quando l’ipotesi alternativa è direzionale (ad esempio “la media è maggiore di” oppure “la media è minore di”), oppure a due code, quando l’ipotesi alternativa è semplicemente “diverso da”:

Nell’ipotesi a una coda, tutta la regione critica è concentrata su un lato della distribuzione. Nel test a due code, la regione critica è suddivisa in due code simmetriche, ciascuna con area α/2.

La scelta tra una coda e due code va fatta prima di raccogliere i dati, in base alla domanda di ricerca. Se vogliamo sapere solo se B è diverso da A, usiamo due code. Se vogliamo sapere se B è migliore di A, usiamo una coda (destra).

Qual è la procedura in cinque passaggi

La sequenza operativa del test delle ipotesi si riassume in cinque passaggi:

1. Stabilisco l’ipotesi nulla H₀ e l’ipotesi alternativa Hₐ.
2. Fisso il livello di significatività α (di solito 0,05).
3. Scelgo la distribuzione appropriata: normale (z) o t di Student.
4. Raccolgo i dati e calcolo la statistica test.
5. Traggo le conclusioni: rifiuto o non rifiuto H₀.

La scelta tra distribuzione normale e t dipende da:

• Conosco la deviazione standard σ della popolazione? Se sì, uso la normale.
• Il campione è sufficientemente numeroso (n > 30)? Se sì, posso usare la normale anche senza conoscere σ (grazie al teorema del limite centrale).
• Se la risposta a entrambe è no, uso la distribuzione t di Student, di cui parliamo nell’articolo dedicato.

Un esempio SEO: come leggere un A/B test sui CTR

Ripartiamo dall’esempio dell’inizio. Abbiamo messo in A/B test due title tag:

• Variante A: 127 clic su 4.000 impression → CTR 3,17%
• Variante B: 152 clic su 4.000 impression → CTR 3,80%

La differenza è di 25 clic, pari a 0,63 punti percentuali. È un effetto reale o rumore?

Seguiamo i cinque passaggi.

1. Ipotesi

• H₀: il CTR di B è uguale al CTR di A (differenza = 0)
• Hₐ: il CTR di B è maggiore del CTR di A (differenza > 0, test a una coda)

2. Livello di significatività

Fissiamo α = 0,05 (il livello standard).

3. Distribuzione

Per proporzioni, la distribuzione campionaria della differenza sotto H₀ è approssimativamente normale (il TLC ci garantisce che con n = 4.000 possiamo stare tranquilli). Usiamo il test z per due proporzioni.

4. Calcolo

In R:

# Dati
n <- 4000
clic_A <- 127; clic_B <- 152

# Proporzione pooled sotto H0
p0 <- (clic_A + clic_B) / (2 * n)      # 0.034875

# Errore standard della differenza
se <- sqrt(p0 * (1 - p0) * (1/n + 1/n))  # ~0.00410

# Z-score osservato
z_oss <- (clic_B/n - clic_A/n) / se      # ~2.22
z_oss

Output:

[1] 2.224

Il valore z osservato è 2,22, cioè la differenza tra i due CTR si trova a più di due deviazioni standard dal valore atteso sotto H₀ (zero). La figura mostra la posizione del valore osservato rispetto alla distribuzione campionaria:

L’area rossa a destra della linea blu tratteggiata è il p-value: la probabilità di osservare una differenza pari o superiore a quella ottenuta, assumendo che H₀ sia vera.

5. Conclusione

Il p-value è circa 0,013, inferiore alla soglia α = 0,05. Rifiutiamo l’ipotesi nulla: la differenza è statisticamente significativa. La variante B produce un CTR superiore alla variante A, e il caso non è una spiegazione plausibile del risultato.

# Calcolo del p-value (test a una coda destra)
p_val <- 1 - pnorm(z_oss)
p_val

Output:

[1] 0.0131

Possiamo verificare il risultato anche con il comando built-in di R:

prop.test(c(127, 152), c(4000, 4000), alternative = "greater", correct = FALSE)

Cosa ci dice il p-value

Il p-value è la probabilità di ottenere un risultato uguale o più estremo di quello osservato, assumendo che l’ipotesi nulla sia vera. Un p-value piccolo indica che il risultato osservato è improbabile sotto H₀, e quindi ci porta a rifiutarla.

Valori critici di z per i livelli di significatività più comuni:

Cosa misura la potenza del test

Nel test delle ipotesi la potenza è la probabilità di rifiutare correttamente l’ipotesi nulla quando è falsa. In formula: potenza = 1 − β, dove β è la probabilità di errore di II tipo.

La potenza dipende da quattro fattori:

• La dimensione dell’effetto: più l’effetto reale è grande, più facile rilevarlo
• La dimensione del campione: più dati abbiamo, maggiore è la potenza
• Il livello di significatività α: abbassare α riduce la potenza
• La variabilità dei dati: meno variabilità, maggiore potenza

Riprendiamo l’esempio del test su CTR. Il nostro test con n = 4.000 per variante ha rilevato una differenza di circa 0,63 punti percentuali. Ma se l’effetto reale fosse più piccolo, diciamo 0,3 punti percentuali, quanta potenza avremmo avuto?

La curva mostra la potenza al variare del valore alternativo della proporzione (μₐ). Con n = 4.000 e α = 0,05, per rilevare una differenza corrispondente a μₐ = 4,5% (cioè una differenza di 1,5 punti percentuali), la potenza è circa il 76%. Per il nostro effetto osservato (3,80% ≈ 0,8 punti percentuali sopra il 3%), la potenza è più bassa, intorno al 50% — abbiamo cioè una probabilità su due di commettere un errore di II tipo.

Se vogliamo aumentare la potenza, dobbiamo aumentare il campione. Il calcolatore di sample size ci aiuta a determinare quanti dati servono:

# Potenza per diverse dimensioni campionarie
# Usando pwr package
library(pwr)
pwr.2p.test(h = ES.h(0.038, 0.0317),   # effect size per proporzioni
            n = 4000, sig.level = 0.05, alternative = "greater")

Output:

     Difference of proportion power calculation for binomial distribution

              h = 0.0497
              n = 4000
      sig.level = 0.05
          power = 0.5346
    alternative = greater

La potenza del nostro test è circa il 53%: poco sopra una moneta. Se l’effetto reale è di questa dimensione, abbiamo quasi una probabilità su due di non rilevarlo. Per arrivare all’80% di potenza (lo standard considerato accettabile), dovremmo quasi triplicare il campione.

Vedi l’articolo dedicato a effect size e power analysis per una trattazione completa.

Come determinare la dimensione campionaria

Prima di lanciare un test, possiamo determinare la dimensione del campione necessaria specificando:

1. Il valore atteso sotto H₀
2. Il valore alternativo che consideriamo importante
3. Il livello di significatività α
4. La potenza desiderata (di solito 80%)
5. La variabilità dei dati

In R, usando pwr:

# Quante impression servono per rilevare una differenza
# da 3,2% a 3,8% con potenza 80%?
pwr.2p.test(h = ES.h(0.038, 0.032),
            power = 0.80, sig.level = 0.05,
            alternative = "greater")

Output:

     Difference of proportion power calculation

              h = 0.0336
              n = 13749.56
      sig.level = 0.05
          power = 0.80
    alternative = greater

Servono circa 13.750 impression per variante per avere l’80% di probabilità di rilevare una differenza di 0,6 punti percentuali di CTR. Questo è esattamente il tipo di analisi che va fatta prima di lanciare un test, non dopo aver visto i risultati. Puoi usare anche il nostro calcolatore di sample size per fare queste valutazioni in modo interattivo.

Domande frequenti

Che cos’è un test delle ipotesi?

Il test delle ipotesi è una procedura statistica che verifica se il caso sia una spiegazione plausibile di un risultato osservato. Confrontiamo ciò che vediamo nel campione con ciò che ci aspetteremmo se l’ipotesi nulla fosse vera.

Cosa significa “statisticamente significativo”?

Un risultato è statisticamente significativo quando è poco probabile che sia dovuto al caso: in pratica, quando il p-value scende sotto il livello di significatività scelto, di solito α = 0,05. Attenzione però: la significatività statistica non misura l’importanza pratica del risultato.

Cosa differenzia l’ipotesi nulla da quella alternativa?

L’ipotesi nulla (H₀) afferma che non c’è effetto: le due versioni si comportano allo stesso modo. L’ipotesi alternativa (H₁) afferma che c’è una differenza. Il test non dimostra la verità di un’ipotesi: decide se i dati bastano a rifiutare H₀.

Che differenza c’è tra p-value e livello di significatività?

Il livello di significatività α è la soglia che scegliamo in anticipo (di solito 0,05): è la probabilità massima di errore di I tipo che accettiamo. Il p-value è invece calcolato sui dati ed esprime la probabilità di osservare un risultato almeno così estremo, assumendo che H₀ sia vera. Rifiutiamo H₀ quando p-value ≤ α.

Quando serve una dimensione campionaria più grande?

Per rilevare effetti piccoli, ottenere una potenza più alta (es. 90% invece di 80%) o ridurre il livello di significatività. Nell’esempio dell’articolo servono circa 13.750 impression per variante per rilevare un aumento di CTR da 3,2% a 3,8% con potenza 80%.

Il test delle ipotesi può sbagliare?

Sì, in due modi: l’errore di I tipo (rifiutare H₀ quando è vera) e l’errore di II tipo (non rifiutare H₀ quando è falsa). Il livello α controlla il primo; la potenza del test, che vorremmo attorno all’80%, è la probabilità di evitare il secondo.

Prova tu

Un test A/B su una landing page ha raccolto i seguenti dati:

• Versione A: 84 conversioni su 3.200 sessioni (tasso 2,62%)
• Versione B: 106 conversioni su 3.200 sessioni (tasso 3,31%)

1. Formula le ipotesi nulla e alternativa per un test a una coda (destra).
2. Calcola lo z-score e il p-value in R (suggerimento: prop.test).
3. La differenza è statisticamente significativa al livello α = 0,05?
4. Con 3.200 sessioni per variante, quale potenza ha il test per rilevare un effetto di 0,7 punti percentuali? (suggerimento: pwr.2p.test)
5. Quante sessioni servirebbero per avere una potenza dell’80%?

Per approfondire

Per una trattazione completa e rigorosa del test delle ipotesi, con esercizi e tutti i passaggi formali, il manuale di riferimento in italiano è Statistica di Newbold, Carlson e Thorne. Per un approccio più applicato e direttamente utilizzabile in ambito SEO, vedi anche Trustworthy Online Controlled Experiments di Kohavi, Tang e Xu.

Questo articolo fa parte del percorso «L’inferenza statistica», la guida ragionata agli articoli su test, intervalli di confidenza e presa di decisioni basate sui dati.