Negli esempi che ho proposto, tuttavia, ero a conoscenza del valore della deviazione standard, il sigma, della popolazione.
Nella pratica si tratta di un caso abbastanza raro, che mi consente di usare la distribuzione normale, calcolando lo Z-score.

Se invece non conosco il valore del sigma della popolazione, oppure se sto lavorando con piccoli campioni devo ricorrere a un tipo di distribuzione differente, chiamata distribuzione t o distribuzione di Student.

Detta più semplicemente e più chiaramente:

La distribuzione t di Student è una distribuzione di probabilità utilizzata per valutare l’importanza statistica dei risultati in caso di campioni di dimensioni piccole e incertezza sulla varianza.

Una breve digressione storica

Nei primi anni del 1900, il chimico e studioso di statistica William Sealy Gosset, impiegato nel birrificio Guiness (e collaboratore di un gigante della statistica, Karl Pearson), scoprì che quando lavorava con piccolissimi campioni, le distribuzioni della media differivano significativamente dalla distribuzione normale.

Fatto ancora più interessante, al variare delle dimensioni del campione la forma della distribuzione cambiava, e aumentando il campione la distribuzione approssimava via via sempre più la normale.

Non potendo rivelare la sua identità per non favorire i concorrenti, pubblicò i suoi risultati con lo pseudonimo “Studente” e per questo le distribuzioni per campioni di piccole dimensioni sono ora note come “distribuzioni a T di Student”.
Se volete leggere tutta la storia, Wikipedia, come sempre, è una buona fonte.

La distribuzione t è simmetrica rispetto al suo zero, ma risulta più “piatta” della distribuzione normale standardizzata, cosicchè una maggiore parte della sua area è compresa nelle code.

Un campione più numeroso fa sì che la distribuzione t approssimi sempre più fedelmente la distribuzione normale.
Le differenze tra la distribuzione t e la normale sono maggiori quando abbiamo meno gradi di libertà.

Ma cosa intendiamo per gradi di libertà? Il numero di campioni che hanno la “libertà” di cambiare senza modificare la media del campione.

Se il concetto non appare chiaro, si può comunque passare all’utilizzo pratico, perchè i gradi di libertà, fondamentali nel nostro calcolo, sono semplicemente pari alla numerosità del campione meno uno:

df = n -1

dove df = degrees of freedom, gradi di libertà
n = numerosità del campione

Il procedimento per svolgere il test delle ipotesi avvalendosi della distribuzione t ricalca in buona parte quello che abbiamo già visto nel caso del sigma noto e dell’uso della normale.

Stabilisco dunque l’ipotesi nulla, H₀, e l’ipotesi alternativa, H_a.

Per calcolare la statistica del t-test uso la formula:

Un esempio vale mille spiegazioni

Un’azienda di lampadine ritiene che il proprio prodotto abbia una durata media di almeno 4200 ore.

Viene preso un campione di n=10 lampadine e si riscontra una media di durata del campione pari a 4000 ore.
La deviazione standard del campione è pari a 200 ore.

Quindi, riassumendo:

Pongo allora le mie condizioni per effettuare un test:

H₀ ≥ 4200
H_a < 4200

Scelgo un livello di significatività pari al 95% (cioè alpha=0,05).

Nella tabella dei valori critici della distribuzione t andrò a cercare il valore che corrisponde a 9 gradi di libertà (guardo la riga) e alpha 0,05 (incrocio con la colonna).
Tale valore risulta essere 1.833

Rigetteremo allora l’ipotesi nulla qualora il valore t che andiamo a calcolare risulti inferiore a 1.833.

Il valore dell’errore standard è:

Calcolo t:

Il valore di t cade nell’area critica: si rigetta allora l’ipotesi nulla e si accetta con un livello di significatività del 95% che la durata media delle lampadine sia minore delle 4200 ore dichiarate dal produttore.

Un’alternativa alle regioni critiche: guardare al valore p

Possiamo anche valutare una ipotesi chiedendoci: “Qual è la probabilità di ottenere il valore del test statistico che abbiamo riscontrato se è vera l’ipotesi nulla?“. Questa probabilità è chiamata valore p.

Questa, in effetti, è la strada più comoda da seguire avendo a disposizione strumenti quali una calcolatrice con funzioni statistiche oppure R: l’interpretazione del risultato risulta infatti immediata. Vediamo il nostro esempio.

Il T-Test Con la calcolatrice ti-83

Schiaccio STAT
Poi TESTS e scelgo
2:T-Test e confermo con ENTER
Scelgo STATS e inserisco i dati
Scelgo CALCULATE e confermo con ENTER

Ottengo il valore t=-3.16 e il valore di p=0.00575.

Questo significa che c’è appena una probabilità dello 0,575% che sotto l’ipotesi nulla si verifichi il risultato che abbiamo riscontrato.

p è minore del livello di significatività alpha che abbiamo scelto (p < 0,05).

Dunque, l’ipotesi nulla è da rigettare a favore dell’ipotesi alternativa.

Calcolare il p-value con la calcolatrice Casio FX

Lo stesso calcolo posso eseguirlo semplicemente anche con una calcolatrice scientifica Casio:

MENU
STAT
F3 (TEST)
F2 (t)
F1 (1-s)
DATA: Variable
inserisco i miei dati
Vado con la freccia verso il basso fino ad EXECUTE
F1 (calc)

La calcolatrice mi restituisce il valore di t e di p

Stima, margine di errore e intervallo di confidenza: controlliamo il risultato del test delle ipotesi

Quando una ipotesi è scartata, è certamente utile operare una stima per cercare di capire quale sia il vero valore della media. Nel nostro esempio abbiamo scartato l’affermazione del produttore che le sue lampadine durino in media più di 4200 ore. Ma allora, quanto durano in realtà?

Per calcolare l’intervallo di confidenza, abbiamo bisogno di conoscere 3 cose:

1. La media del nostro campione
2. L‘errore standard
3. Il valore critico

La formula per ottenere l’intervallo di confidenza è:

e il Margine di Errore è:

Nel nostro caso:
ME = 1,833 x 63,3 = circa 116

Quindi possiamo dire che il nostro intervallo di confidenza al 95% è tra 3884 e 4116.

Come si può notare, il valore indicato dal produttore, 4200 ore, si trova come ci aspettavamo fuori all’intervallo di confidenza.

L’intervallo di confidenza con la TI-83

Ecco la sequenza di comandi necessaria per calcolare l’intervallo di confidenza:

STAT
TESTS
8TInterval
STATS
inserisco i dati
CALCULATE

L’intervallo di confidenza con la Casio

Questa invece è la sequenza dei comandi sulla mia Casio serie fx:

MENU
STAT
F4 (Intr)
F2 (t)
F1 (1-s)
inserisco i dati
EXECUTE

Il t-test, il calcolo del p-value e l’intervallo di confidenza con R

R è come sempre il nostro migliore alleato, consentendoci di effettuare il test in maniera semplicissima e fornendoci tutte le informazioni utili.
Preparo dunque un vettore che contiene 10 misure che hanno per media 4000 e lo do’ in pasto alla funzione t.test di R, indicando che la media per l’ipotesi nulla, chiamata mu, è 4200, e che l’ipotesi alternativa è che il valore reale sia inferiore – alternative=”less” :

vitalampadine <- c(4100,3900,3800,4200,4000,4100,3900,3800,4200,4000)
t.test(vitalampadine,mu=4200,alternative="less")

R ci fornisce in output tutte le informazioni che ci servono.

In conclusione

In generale, la distribuzione t di Student è uno strumento potente e flessibile che può essere utilizzato per valutare l’importanza statistica dei risultati in molti contesti diversi. Con una comprensione approfondita della distribuzione t e l’uso di software come R, è possibile costruire test delle ipotesi efficaci e prendere decisioni informate sulla base dei dati raccolti.

Nota a margine: Qualora il campione sia poco numeroso (n<30) e la popolazione non sia distribuita in maniera approssimativamente normale, posso applicare il Teorema di Chebishev.

Alcuni link utili e autorevoli per approfondire

• How t-Tests Work: t-Values, t-Distributions, and Probabilities – statisticsbyjim.com
• One Sample T Hypothesis Test (Student’s T Test) – sixsigmastudyguide.com

Potrebbe interessarti anche

• A/B Testing: come condurre esperimenti statisticamente validi (e gli errori da evitare)
• Intervalli di confidenza: cosa sono, come calcolarli (e cosa NON significano)

Può darsi ad esempio che si debba decidere se una certa procedura educativa sia più efficace di un’altra, se un nuovo farmaco abbia risultati realmente positivi sull’evoluzione di una malattia, e via dicendo.

Il test delle ipotesi è una procedura statistica che ci consente di porre un quesito sulla base di informazioni campionarie, al fine di raggiungere una decisione statisticamente significativa.

In termini più chiari e diretti: la mia scoperta sperimentale è dovuta al caso?
Il test delle ipotesi è proprio una procedura statistica per verificare se il caso sia una spiegazione plausibile di un risultato sperimentale.

Una premessa…

Bisogna capire la differenza tra probabilità e inferenza.

• Se conosco i dati della popolazione e voglio sapere qual è la probabilità di avere un dato risultato, ci troviamo nel campo della probabilità.
  
• Se da un campione cerco di inferire i valori della popolazione, siamo nei territori dell’inferenza.

Ipotesi statistiche

Nel test delle ipotesi abbiamo sempre da “soppesare” due ipotesi. Lo status quo è chiamato ipotesi nulla ed ha simbolo H₀

Quello che faremo è di andare a testare l’ipotesi nulla contro un’ipotesi alternativa, a cui diamo il simbolo H_a

N.B. In genere, l’ipotesi alternativa è quella a cui crediamo!

Scegliamo poi un livello di significatività o alpha level α.
Lo standard comune è α = 0.05, cioè un livello di significatività al 95%.
In base all’alpha level possiamo stabilire la o le regioni critiche.

Se il valore che otteniamo con il nostro test cade in una regione critica, respingeremo l’ipotesi nulla, accogliendo l’ipotesi alternativa.

Un semplice esempio grafico di rappresentazione. Ipotizzo un test in cui stabilisco l’ipotesi alternativa che la media risulti maggiore della media dell’ipotesi nulla. Si tratta di un caso in cui ho una sola zona critica, in questo caso quella a destra del valore α. Per rigettare l’ipotesi nulla il valore del mio test dovrà cadere nell’area grigia:

Errori di I e II tipo

Il risultato raggiunto, ovviamente, non costituisce una certezza.

Il livello di significatività del test (nel nostro primo esempio il 95%) ci indica la probabilità di incorrere in un errore di I tipo, cioè di rifiutare erroneamente l’ipotesi nulla, che era vera, accettando l’ipotesi alternativa.

Come si vede, possiamo determinare il livello di significatività del nostro test, cioè possiamo fissare la probabilità massima con cui accettiamo di rischiare l’errore di I tipo.

Se invece accettiamo come valida l’ipotesi nulla, quando doveva essere rifiutata in quanto falsa, compiamo un errore di II tipo.

Il modo più chiaro che ho trovato per spiegare il concetto è questo…

Il calcolo della probabilità di incorrere in un errore di tipo II non è così diretto come nel caso dell’errore di tipo I, e lo affronterò in maniera un po’ semplificata più avanti.

Una o due code? Questo è il problema…

Il test può essere a 1 coda, ad esempio se l’ipotesi alternativa è che una media sia maggiore della media che rappresenta l’ipotesi nulla:

oppure a 2 code (se l’ipotesi alternativa è che la media che ipotizzo sia diversa dall’ipotesi nulla).

Nell’ipotesi a 2 code avremo 2 regioni critiche ai due estremi della curva, ciascuna delle quali rappresenta un livello α/2:

Riassumiamo per punti

1. Stabilisco l’ipotesi nulla e l’ipotesi alternativa.
2. Fisso il livello di significatività (alpha level).
3. Quale distribuzione usare: normale o t?
4. Raccolgo e analizzo i dati.
5. Traggo le conclusioni.

Devo pormi una domanda fondamentale: ma quale distribuzione devo utilizzare?

La risposta può essere trovata guardando al sigma (la deviazione standard o scarto quadratico medio) e la numerosità del campione. Mi chiedo:

Conosco il sigma della popolazione? (nella realtà un caso abbastanza raro…). Ho un campione sufficientemente numeroso (n>30) ?

Se la risposta è SI, allora uso la distribuzione normale (e calcolo lo Z-score).

Se la risposta è NO, cioè se non conosco il valore del sigma della popolazione (o se sto lavorando con campioni numericamente esigui), allora userò la distribuzione t o distribuzione di Student.

n.b. quando il campione diventa numeroso, la distribuzione t approssima sempre di più la normale…

C’è bisogno di un esempio

Voglio condurre un test delle ipotesi in una situazione nella quale conosco il sigma della popolazione.

Seguiamo i nostri passaggi.

1 – Stabilisco l’ipotesi nulla e l’ipotesi alternativa

Se:

allora siamo di fronte a un test a 2 code. Avremo cioè due zone critiche da considerare.

Se invece:

allora il test è a una coda.

2 – Fisso il livello di significatività (alpha level)

Scegliamo il caso più tipico, un livello di significatività pari al 95%, quindi:

3 e 4 – Scelgo la distribuzione e Raccolgo e analizzo i dati

Suppongo di avere raccolgo i dati. Mi chiedo ora quale tipo di distribuzione devo usare per il mio test. La domanda è sempre quella:

Conosco il sigma della popolazione?

Nel mio esempio diciamo di sì, e allora usiamo la normale…

Calcoliamo lo Z-score. Trovo:

ora posso trovare Z:

5 – (finalmente) Traggo le conclusioni

Mettiamo che il test sia con :

quindi a 2 code. Il livello di significatività prescelto è il 95%, dunque vado a cercare 2,5% (5%/2) sulla tavola, e trovo il valore 1.96.

n.b. avrei potuto usare R con la funzione: 

qnorm(0.025)

Se invece non ho la tabella a portata di mano e non voglio scomodare R, posso trovare al volo il valore con la fidata calcolatrice Casio:

Shift CATALOG
InvNormCD(0.975)

Se uso una gloriosa TI-83 potrò ottenere il valore facilmente così:

2nd DISTR
3 (invNorm)
invNorm(0,975)

Qualunque strumento io abbia utilizzato, il valore che troverò sarà di (arrotondando) 1.96.

Quindi -1,96 e +1.96 sono i valori critici.

Se il mio Z-score risulta, per esempio, di 2.50, noto immediatamente che il valore risulta compreso nella zona critica. Allora posso rigettare l’ipotesi nulla e accettare quella alternativa.

Due consigli al volo:
1) Disegniamo sempre il grafico. Ci aiuterà moltissimo a non commettere errori.
2) I livelli di significatività più comunemente usati sono quelli al 5% e all’1%. I valori critici nel caso di test a una coda oppure a due code che più spesso troveremo e che quindi possiamo imparare sono:

Semplificarsi la vita: scrivo una funzione in R

Mi semplifico la vita e mi preparo una funzione in R, che chiamerò z-test:

z.test = function (x,mu,popvar) {
  one.tail.p <- NULL
  z.score <- round((mean(x)-mu)/(popvar/sqrt(length(x))),3)
  one.tail.p <- round(pnorm(abs(z.score),lower.tail=FALSE),3)
  cat("z=",z.score,"\n","one-tailed probability =",one.tail.p,"\n","two- tailed probability =",2*one.tail.p)
}

Se sto Usando una TI-83:

Con la TI-83 scelgo:

STAT   poi
TESTS   quindi
Z-TEST   a seguire
STATS

Con la casio

MENU / STAT
F3 TEST
F1 Z
F1 1-s

inserisco i dati e poi scelgo

CALC

La probabilità di un errore della seconda specie

Come abbiamo visto, la probabilità di incorrere in un errore della prima specie è fissato a priori nel nostro test scegliendo il livello di significatività, l’alpha.

Ipotizziamo, ad esempio, che una certa rilevazione relativa a un valore ipotizzato della media abbia come ipotesi nulla un valore pari o superiore a 260.
La mia ipotesi alternativa è dunque che questo valore medio sia minore di 260.
Stabilisco poi che un valore di 240 0 meno costituirebbe uno scostamento importante.
Nel mio esempio, il livello di significatività è fissato al 95% (alpha=0.05), il campione consta di 36 osservazioni, lo scostamento medio è di 43.

dove

Come abbiamo più volte ripetuto la probabilità dell’errore di 1 specie è uguale al livello di significatività, dunque 0.05 (il 5%).

La probabilità di errore della seconda specie è la probabilità che la media del campione casuale sia >= 248.17.

Se faccio la mia rilevazione e trovo una media di 240:

Quindi:

P(errore seconda specie) = P(z>=1.14)= 0.1271
cioè circa 0.13, il 13%.

Se mantengo costante il livello di significatività e la dimensione del campione, ma fisso lo specifico valore alternativo della media in modo da allontanarlo dal valore fissato nell’ipotesi nulla, allora la probabilità di errore del 2°tipo diminuisce; al contrario, il valore di tale probabilità aumenterà qualora il valore alternativo venisse fissato in modo da avvicinarsi a quello dell’ipotesi nulla.

Potenza? Ma non era una città?

Nel test delle ipotesi la nozione di potenza si riferisce alla probabilità di rifiutare una ipotesi nulla, dato uno specifico valore alternativo del parametro (nel nostro esempio, la media della popolazione).

Un grafico costruito in modo da rappresentare i vari livelli di potenza, dati i vari valori alternativi della media, è chiamato curva di potenza.

Riprendendo il nostro esempio, con il valore alternativo alla media di 240.

Determinare la dimensione che il campione deve avere per il test della media

Prima di prelevare un campione, posso determinare la dimensione che tale campione deve avere specificando:

1. Il valore ipotizzato della media
2. Il valore alternativo della media, tale che la sua differenza dal valore dell’ipotesi nulla sia considerato importante
3. Il livello di significatività del test
4. La probabilità ammessa di errore di tipo II
5. Scarto quadratico medio sigma della popolazione.

In formula:

Nell’esempio fisso come livelli accettabili

Errore I specie: 0.05
Errore II specie: 0.10
sigma=43

Il valore che stavo cercando è (circa) 40.

Al termine di tutto questo…E se non conosco i dati della popolazione?

Se non conosco il valore del sigma della popolazione, oppure se sto lavorando con piccoli campioni (meno di 30 valori) uso la distribuzione t o distribuzione di Student. Ma questo sarà l’oggetto di un prossimo articolo…

Potrebbe interessarti anche

• A/B Testing: come condurre esperimenti statisticamente validi (e gli errori da evitare)
• Intervalli di confidenza: cosa sono, come calcolarli (e cosa NON significano)