Nella pratica si tratta di un caso piuttosto raro. Se non conosciamo il sigma della popolazione, o se lavoriamo con campioni piccoli, dobbiamo ricorrere a una distribuzione diversa: la distribuzione t, o distribuzione di Student.

Una breve digressione storica

Nei primi anni del 1900, il chimico e statistico William Sealy Gosset, impiegato nel birrificio Guinness (e collaboratore di Karl Pearson), scoprì che quando lavorava con campioni molto piccoli, le distribuzioni della media differivano significativamente dalla normale. Al variare della dimensione del campione, la forma della distribuzione cambiava — e aumentando il campione, la distribuzione approssimava sempre più la normale.

Non potendo rivelare la sua identità per non favorire i concorrenti, pubblicò i risultati con lo pseudonimo “Student”. Per questo le distribuzioni per campioni piccoli sono oggi note come distribuzioni t di Student.

La distribuzione t è simmetrica rispetto allo zero, ma è più “piatta” della normale standardizzata: una porzione maggiore della sua area si trova nelle code.

Un campione più numeroso fa sì che la distribuzione t approssimi sempre più fedelmente la normale. Le differenze sono massime quando abbiamo pochi gradi di libertà.

Cosa intendiamo per gradi di libertà? Il numero di valori del campione che hanno la “libertà” di variare senza alterare la media campionaria. In pratica, per il test su un campione:

dove n è la numerosità del campione.

Il procedimento per il test delle ipotesi con la distribuzione t ricalca in buona parte quello già visto con la normale. Stabiliamo l’ipotesi nulla H₀ e l’ipotesi alternativa Hₐ, poi calcoliamo la statistica test:

dove \( \frac{s}{\sqrt{n}} \) è l’errore standard stimato (lo indichiamo anche con SE).

Un esempio vale mille spiegazioni

Un’azienda di lampadine dichiara che il proprio prodotto ha una durata media di almeno 4200 ore. Prendiamo un campione di n = 10 lampadine e troviamo una media di 4000 ore, con deviazione standard campionaria di 200 ore.

Impostiamo il test:

\( H_0 : \mu \ge 4200 \qquad H_a : \mu < 4200 \)

Scegliamo un livello di significatività α = 0,05 (corrispondente a un livello di confidenza del 95%). Nella tabella dei valori critici della distribuzione t, cerchiamo il valore per 9 gradi di libertà e α = 0,05 (una coda). Il valore critico è 1,833. Rifiuteremo H₀ se il t calcolato è inferiore a −1,833.

Calcoliamo l’errore standard:

\[ SE = \frac{s}{\sqrt{n}} = \frac{200}{\sqrt{10}} = 63,3 \]

E il valore di t:

\[ t = \frac{\bar{x} – \mu}{SE} = \frac{4000 – 4200}{63,3} = -3,16 \]

Il valore di t cade nella regione critica: rifiutiamo H₀. Esiste evidenza statistica sufficiente per concludere che la durata media sia inferiore alle 4200 ore dichiarate.

Il p-value

Possiamo anche valutare l’ipotesi chiedendoci: qual è la probabilità di ottenere un valore del test statistico uguale o più estremo di quello osservato, assumendo che H₀ sia vera? Questa probabilità è il p-value.

Con R o una calcolatrice otteniamo t = −3,16 e p = 0,00575. I comandi per le calcolatrici:

• TI-83: 2nd → DISTR → tcdf(−1E99, −3.16, 9)
• Casio FX (modalità STAT): DIST → t → tcd con Lower −1E99, Upper −3.16, df 9

C’è appena lo 0,575% di probabilità di osservare un risultato come il nostro se H₀ fosse vera. p < 0,05: rifiutiamo H₀ a favore dell’ipotesi alternativa.

Intervallo di confidenza

Quando rifiutiamo un’ipotesi, è utile stimare il vero valore della media. Nel nostro esempio, abbiamo scartato l’affermazione che le lampadine durino in media più di 4200 ore. Ma quanto durano davvero?

Per calcolare l’intervallo di confidenza servono tre cose: la media campionaria, l’errore standard e il valore critico.

Nel nostro caso: ME = 1,833 × 63,3 ≈ 116. L’intervallo di confidenza al 95% è quindi:

Il valore di 4200 ore cade fuori dall’intervallo, confermando il risultato del test.

Il t-test in R

R ci permette di eseguire il test in modo semplice e completo. Prepariamo un vettore con 10 misure che hanno media 4000 e usiamo t.test():

lampadine <- c(4100, 3900, 3800, 4200, 4000,
               4100, 3900, 3800, 4200, 4000)
t.test(lampadine, mu = 4200, alternative = "less")

	One Sample t-test

data:  lampadine
t = -3.1623, df = 9, p-value = 0.005788
alternative hypothesis: true mean is less than 4200
95 percent confidence interval:
     -Inf 4115.791
sample estimates:
mean of x
     4000

Un caso pratico: i title tag riscritti rendono di più?

Portiamo ora lo strumento sul terreno che ci interessa. Immaginiamo di aver riscritto i title tag di dieci pagine e di voler capire se il loro CTR si è mosso rispetto al 3,0% che era la media storica del gruppo. Dieci pagine sono poche, e la varianza della popolazione non la conosciamo: è esattamente la situazione in cui la distribuzione t dà il meglio di sé.

Questi i CTR misurati, in percentuale:

ctr <- c(3.8, 4.2, 3.1, 4.9, 3.5, 4.1, 2.9, 4.6, 3.7, 4.4)
t.test(ctr, mu = 3.0)

	One Sample t-test

data:  ctr
t = 4.5276, df = 9, p-value = 0.001431
95 percent confidence interval:
 3.460337 4.379663
sample estimates:
mean of x
     3.92

Leggiamo l’output. La media campionaria è 3,92%, quasi un punto sopra il riferimento. Il t è 4,53 con 9 gradi di libertà: misura quante deviazioni standard stimate la media osservata dista dal 3,0% ipotizzato. Il p-value è 0,0014, ben sotto la soglia dello 0,05: uno scarto del genere, se la media vera fosse davvero 3,0%, lo vedremmo per puro caso poco più di una volta su mille. La riscrittura ha prodotto un effetto difficile da liquidare come rumore.

L’intervallo di confidenza al 95% va da 3,46% a 4,38% e non contiene il 3,0%. È la stessa conclusione del test, vista da un’altra angolatura — non solo “l’effetto esiste”, ma “ecco la forbice plausibile in cui cade il CTR vero”.

Attenzione però: con dieci sole pagine quella forbice resta larga quasi un punto percentuale; più dati la stringerebbero.

Effect size: Cohen’s d

Il p-value ci dice se la differenza è statisticamente significativa. Per capire quanto è grande, calcoliamo il Cohen’s d per un campione:

d <- (3.92 - 3.0) / sd(ctr)
d

[1] 1.432

Regola pratica: d ≈ 0,2 è piccolo, 0,5 medio, 0,8 grande. Il nostro d = 1,43 è un effetto grande — la differenza non è solo statisticamente significativa, ma anche sostanziale.

Prova tu

Abbiamo sette landing page e vogliamo sapere se il loro tasso di conversione si discosta dal 2,5% che ci eravamo dati come obiettivo. Questi i valori, in percentuale:

cr <- c(2.8, 3.1, 2.4, 3.5, 2.9, 3.3, 2.7)
t.test(cr, mu = 2.5)

Esegui il test, leggi t, df, p-value e intervallo di confidenza. La media è 2,96%, il t è 3,24 su 6 gradi di libertà, il p-value è 0,018 e l’intervallo al 95% va da 2,61% a 3,30%. Poiché non contiene il 2,5%, concludiamo che le sette pagine battono l’obiettivo in modo difficilmente attribuibile al caso.

FAQ

Quando usare la distribuzione t invece della normale?
Sempre quando non conosciamo la deviazione standard della popolazione e la stimiamo dal campione. In pratica: quasi sempre. La distribuzione normale con sigma noto è più un caso da libro di testo che una situazione reale.

La distribuzione t funziona con campioni molto piccoli?
Sì, purché i dati non siano fortemente asimmetrici. Per n ≥ 30, la t e la normale sono praticamente indistinguibili. Per n < 15, vale la pena verificare la normalità con shapiro.test().

Cosa sono i gradi di libertà?
Nel test a un campione, df = n − 1. È il numero di valori che possono variare liberamente data una media fissata. Più gradi di libertà abbiamo, più la t assomiglia alla normale.

La distribuzione t di Student ci ha dato un modo per ragionare quando i dati sono pochi e la varianza della popolazione ci è ignota — la situazione, come si è visto, in cui ci troviamo quasi sempre. Finora abbiamo confrontato un singolo gruppo con un valore di riferimento. La domanda che si affaccia naturale è: e se i gruppi da confrontare fossero due — la versione A e la versione B di una pagina, il prima e il dopo di un intervento? È il passo successivo del percorso: il t-test per due campioni.

Per approfondire

La distribuzione t e l’inferenza sulle medie sono trattate in profondità in Statistica di Newbold, Carlson e Thorne, il manuale che consigliamo a chi vuole passare dalla comprensione intuitiva al rigore formale. Amazon

Domande come questa — questa differenza è dovuta al caso? — nascono in continuazione in ogni attività basata su dati. Il test delle ipotesi è la procedura statistica che ci permette di rispondere con metodo, distinguendo i risultati dovuti a un fenomeno reale da quelli che sono soltanto effetto del caso.

Di cosa parleremo:

• Che cos’è un test delle ipotesi
• Cosa sono l’ipotesi nulla e l’ipotesi alternativa
• Cosa sono gli errori di I e II tipo
• Test a una coda o a due code: quale scegliere
• Qual è la procedura in cinque passaggi
• Un esempio SEO: l’A/B test sui title tag
• Cosa ci dice il p-value
• Cosa misura la potenza del test
• Come determinare la dimensione campionaria
• Domande frequenti
• Prova tu
• Per approfondire

In sintesi: il test delle ipotesi è una procedura statistica che risponde a una domanda precisa: il risultato che osserviamo nel campione è dovuto al caso oppure a un fenomeno reale? Si parte dall’ipotesi nulla (non c’è effetto), si raccolgono i dati e si calcola il p-value. Se il p-value scende sotto la soglia prefissata, il caso non è una spiegazione plausibile e rifiutiamo l’ipotesi nulla.

Che cos’è un test delle ipotesi

Nella vita di tutti i giorni, dobbiamo spesso prendere decisioni basate su informazioni incomplete. Un nuovo title genera qualche clic in più: è il title a funzionare meglio, o è stata semplicemente una settimana fortunata?

Il test delle ipotesi è una procedura statistica che ci consente di porre un quesito sulla base di informazioni campionarie, al fine di raggiungere una decisione basata sui dati.

La differenza tra probabilità e inferenza è il punto di partenza:

• Se conosciamo i dati della popolazione e vogliamo sapere qual è la probabilità di un dato risultato, siamo nel campo della probabilità.
• Se da un campione cerchiamo di risalire ai valori della popolazione, siamo nell’inferenza. Il test delle ipotesi è lo strumento principale dell’inferenza statistica.

Cosa sono l’ipotesi nulla e l’ipotesi alternativa

Nel test delle ipotesi abbiamo sempre da soppesare due ipotesi. Lo status quo è chiamato ipotesi nulla, simbolo H₀. È l’ipotesi che non ci sia effetto, che non ci sia differenza, che tutto sia dovuto al caso.

Quello che facciamo è testare l’ipotesi nulla contro un’ipotesi alternativa, simbolo Hₐ — che è, in genere, l’ipotesi a cui crediamo o che vogliamo dimostrare.

Scegliamo poi un livello di significatività o alpha level, indicato con α. Lo standard comune è α = 0,05, che corrisponde a un livello di confidenza del 95%. In base all’alpha level possiamo stabilire la o le regioni critiche: le zone della distribuzione campionaria in cui, se cade il nostro risultato, rifiutiamo l’ipotesi nulla.

Se il valore che otteniamo cade in una regione critica, abbiamo evidenze statistiche sufficienti per rifiutare H₀ a favore di H₁.

Cosa sono gli errori di I e II tipo

Il risultato del test, ovviamente, non costituisce una certezza. Possiamo incorrere in due tipi di errore:

• Errore di I tipo: rifiutare l’ipotesi nulla quando in realtà è vera. La probabilità di commettere questo errore è esattamente α, il livello di significatività che abbiamo fissato.
• Errore di II tipo: non rifiutare l’ipotesi nulla quando in realtà è falsa. La probabilità di questo errore si indica con β, e dipende da diversi fattori (dimensione del campione, entità dell’effetto reale, livello di α).

Il modo più chiaro per visualizzare i due tipi di errore è questa tabella:

Il calcolo della probabilità di incorrere in un errore di II tipo non è diretto come quello dell’errore di I tipo. Lo affronteremo tra poco, quando parleremo di potenza del test.

Test a una coda o a due code: quale scegliere

Il test può essere a una coda, quando l’ipotesi alternativa è direzionale (ad esempio “la media è maggiore di” oppure “la media è minore di”), oppure a due code, quando l’ipotesi alternativa è semplicemente “diverso da”:

Nell’ipotesi a una coda, tutta la regione critica è concentrata su un lato della distribuzione. Nel test a due code, la regione critica è suddivisa in due code simmetriche, ciascuna con area α/2.

La scelta tra una coda e due code va fatta prima di raccogliere i dati, in base alla domanda di ricerca. Se vogliamo sapere solo se B è diverso da A, usiamo due code. Se vogliamo sapere se B è migliore di A, usiamo una coda (destra).

Qual è la procedura in cinque passaggi

La sequenza operativa del test delle ipotesi si riassume in cinque passaggi:

1. Stabilisco l’ipotesi nulla H₀ e l’ipotesi alternativa Hₐ.
2. Fisso il livello di significatività α (di solito 0,05).
3. Scelgo la distribuzione appropriata: normale (z) o t di Student.
4. Raccolgo i dati e calcolo la statistica test.
5. Traggo le conclusioni: rifiuto o non rifiuto H₀.

La scelta tra distribuzione normale e t dipende da:

• Conosco la deviazione standard σ della popolazione? Se sì, uso la normale.
• Il campione è sufficientemente numeroso (n > 30)? Se sì, posso usare la normale anche senza conoscere σ (grazie al teorema del limite centrale).
• Se la risposta a entrambe è no, uso la distribuzione t di Student, di cui parliamo nell’articolo dedicato.

Un esempio SEO: come leggere un A/B test sui CTR

Ripartiamo dall’esempio dell’inizio. Abbiamo messo in A/B test due title tag:

• Variante A: 127 clic su 4.000 impression → CTR 3,17%
• Variante B: 152 clic su 4.000 impression → CTR 3,80%

La differenza è di 25 clic, pari a 0,63 punti percentuali. È un effetto reale o rumore?

Seguiamo i cinque passaggi.

1. Ipotesi

• H₀: il CTR di B è uguale al CTR di A (differenza = 0)
• Hₐ: il CTR di B è maggiore del CTR di A (differenza > 0, test a una coda)

2. Livello di significatività

Fissiamo α = 0,05 (il livello standard).

3. Distribuzione

Per proporzioni, la distribuzione campionaria della differenza sotto H₀ è approssimativamente normale (il TLC ci garantisce che con n = 4.000 possiamo stare tranquilli). Usiamo il test z per due proporzioni.

4. Calcolo

In R:

# Dati
n <- 4000
clic_A <- 127; clic_B <- 152

# Proporzione pooled sotto H0
p0 <- (clic_A + clic_B) / (2 * n)      # 0.034875

# Errore standard della differenza
se <- sqrt(p0 * (1 - p0) * (1/n + 1/n))  # ~0.00410

# Z-score osservato
z_oss <- (clic_B/n - clic_A/n) / se      # ~2.22
z_oss

Output:

[1] 2.224

Il valore z osservato è 2,22, cioè la differenza tra i due CTR si trova a più di due deviazioni standard dal valore atteso sotto H₀ (zero). La figura mostra la posizione del valore osservato rispetto alla distribuzione campionaria:

L’area rossa a destra della linea blu tratteggiata è il p-value: la probabilità di osservare una differenza pari o superiore a quella ottenuta, assumendo che H₀ sia vera.

5. Conclusione

Il p-value è circa 0,013, inferiore alla soglia α = 0,05. Rifiutiamo l’ipotesi nulla: la differenza è statisticamente significativa. La variante B produce un CTR superiore alla variante A, e il caso non è una spiegazione plausibile del risultato.

# Calcolo del p-value (test a una coda destra)
p_val <- 1 - pnorm(z_oss)
p_val

Output:

[1] 0.0131

Possiamo verificare il risultato anche con il comando built-in di R:

prop.test(c(127, 152), c(4000, 4000), alternative = "greater", correct = FALSE)

Cosa ci dice il p-value

Il p-value è la probabilità di ottenere un risultato uguale o più estremo di quello osservato, assumendo che l’ipotesi nulla sia vera. Un p-value piccolo indica che il risultato osservato è improbabile sotto H₀, e quindi ci porta a rifiutarla.

Valori critici di z per i livelli di significatività più comuni:

Cosa misura la potenza del test

Nel test delle ipotesi la potenza è la probabilità di rifiutare correttamente l’ipotesi nulla quando è falsa. In formula: potenza = 1 − β, dove β è la probabilità di errore di II tipo.

La potenza dipende da quattro fattori:

• La dimensione dell’effetto: più l’effetto reale è grande, più facile rilevarlo
• La dimensione del campione: più dati abbiamo, maggiore è la potenza
• Il livello di significatività α: abbassare α riduce la potenza
• La variabilità dei dati: meno variabilità, maggiore potenza

Riprendiamo l’esempio del test su CTR. Il nostro test con n = 4.000 per variante ha rilevato una differenza di circa 0,63 punti percentuali. Ma se l’effetto reale fosse più piccolo, diciamo 0,3 punti percentuali, quanta potenza avremmo avuto?

La curva mostra la potenza al variare del valore alternativo della proporzione (μₐ). Con n = 4.000 e α = 0,05, per rilevare una differenza corrispondente a μₐ = 4,5% (cioè una differenza di 1,5 punti percentuali), la potenza è circa il 76%. Per il nostro effetto osservato (3,80% ≈ 0,8 punti percentuali sopra il 3%), la potenza è più bassa, intorno al 50% — abbiamo cioè una probabilità su due di commettere un errore di II tipo.

Se vogliamo aumentare la potenza, dobbiamo aumentare il campione. Il calcolatore di sample size ci aiuta a determinare quanti dati servono:

# Potenza per diverse dimensioni campionarie
# Usando pwr package
library(pwr)
pwr.2p.test(h = ES.h(0.038, 0.0317),   # effect size per proporzioni
            n = 4000, sig.level = 0.05, alternative = "greater")

Output:

     Difference of proportion power calculation for binomial distribution

              h = 0.0497
              n = 4000
      sig.level = 0.05
          power = 0.5346
    alternative = greater

La potenza del nostro test è circa il 53%: poco sopra una moneta. Se l’effetto reale è di questa dimensione, abbiamo quasi una probabilità su due di non rilevarlo. Per arrivare all’80% di potenza (lo standard considerato accettabile), dovremmo quasi triplicare il campione.

Vedi l’articolo dedicato a effect size e power analysis per una trattazione completa.

Come determinare la dimensione campionaria

Prima di lanciare un test, possiamo determinare la dimensione del campione necessaria specificando:

1. Il valore atteso sotto H₀
2. Il valore alternativo che consideriamo importante
3. Il livello di significatività α
4. La potenza desiderata (di solito 80%)
5. La variabilità dei dati

In R, usando pwr:

# Quante impression servono per rilevare una differenza
# da 3,2% a 3,8% con potenza 80%?
pwr.2p.test(h = ES.h(0.038, 0.032),
            power = 0.80, sig.level = 0.05,
            alternative = "greater")

Output:

     Difference of proportion power calculation

              h = 0.0336
              n = 13749.56
      sig.level = 0.05
          power = 0.80
    alternative = greater

Servono circa 13.750 impression per variante per avere l’80% di probabilità di rilevare una differenza di 0,6 punti percentuali di CTR. Questo è esattamente il tipo di analisi che va fatta prima di lanciare un test, non dopo aver visto i risultati. Puoi usare anche il nostro calcolatore di sample size per fare queste valutazioni in modo interattivo.

Domande frequenti

Che cos’è un test delle ipotesi?

Il test delle ipotesi è una procedura statistica che verifica se il caso sia una spiegazione plausibile di un risultato osservato. Confrontiamo ciò che vediamo nel campione con ciò che ci aspetteremmo se l’ipotesi nulla fosse vera.

Cosa significa “statisticamente significativo”?

Un risultato è statisticamente significativo quando è poco probabile che sia dovuto al caso: in pratica, quando il p-value scende sotto il livello di significatività scelto, di solito α = 0,05. Attenzione però: la significatività statistica non misura l’importanza pratica del risultato.

Cosa differenzia l’ipotesi nulla da quella alternativa?

L’ipotesi nulla (H₀) afferma che non c’è effetto: le due versioni si comportano allo stesso modo. L’ipotesi alternativa (H₁) afferma che c’è una differenza. Il test non dimostra la verità di un’ipotesi: decide se i dati bastano a rifiutare H₀.

Che differenza c’è tra p-value e livello di significatività?

Il livello di significatività α è la soglia che scegliamo in anticipo (di solito 0,05): è la probabilità massima di errore di I tipo che accettiamo. Il p-value è invece calcolato sui dati ed esprime la probabilità di osservare un risultato almeno così estremo, assumendo che H₀ sia vera. Rifiutiamo H₀ quando p-value ≤ α.

Quando serve una dimensione campionaria più grande?

Per rilevare effetti piccoli, ottenere una potenza più alta (es. 90% invece di 80%) o ridurre il livello di significatività. Nell’esempio dell’articolo servono circa 13.750 impression per variante per rilevare un aumento di CTR da 3,2% a 3,8% con potenza 80%.

Il test delle ipotesi può sbagliare?

Sì, in due modi: l’errore di I tipo (rifiutare H₀ quando è vera) e l’errore di II tipo (non rifiutare H₀ quando è falsa). Il livello α controlla il primo; la potenza del test, che vorremmo attorno all’80%, è la probabilità di evitare il secondo.

Prova tu

Un test A/B su una landing page ha raccolto i seguenti dati:

• Versione A: 84 conversioni su 3.200 sessioni (tasso 2,62%)
• Versione B: 106 conversioni su 3.200 sessioni (tasso 3,31%)

1. Formula le ipotesi nulla e alternativa per un test a una coda (destra).
2. Calcola lo z-score e il p-value in R (suggerimento: prop.test).
3. La differenza è statisticamente significativa al livello α = 0,05?
4. Con 3.200 sessioni per variante, quale potenza ha il test per rilevare un effetto di 0,7 punti percentuali? (suggerimento: pwr.2p.test)
5. Quante sessioni servirebbero per avere una potenza dell’80%?

Per approfondire

Per una trattazione completa e rigorosa del test delle ipotesi, con esercizi e tutti i passaggi formali, il manuale di riferimento in italiano è Statistica di Newbold, Carlson e Thorne. Per un approccio più applicato e direttamente utilizzabile in ambito SEO, vedi anche Trustworthy Online Controlled Experiments di Kohavi, Tang e Xu.

Questo articolo fa parte del percorso «L’inferenza statistica», la guida ragionata agli articoli su test, intervalli di confidenza e presa di decisioni basate sui dati.