statistics

Il test del chi quadro (chi quadrato): bontà di adattamento e indipendenza

Desktop 5,5% di CTR, mobile 2,5%. Una differenza che sembra enorme: ma è reale, o con un altro mese di dati potrebbe sparire?
Per rispondere con i numeri e non a sensazione c’è uno dei test più usati in assoluto, il test del chi quadro (o chi quadrato, χ²).

Il test del chi quadro fu proposto da Karl Pearson nel 1900, e trova ampia applicazione per stimare quanto efficacemente la distribuzione di una variabile categorica rappresenti una distribuzione attesa (e allora parliamo di “Test della bontà di adattamento” o “Goodness of fit test”) oppure per stimare quando due variabili categoriche sono indipendenti l’una dall’altra (e allora parliamo di “Test di indipendenza”).

Tale è l’importanza e la diffusione di questo test, da essere indicato dalla rivista Scientific American tra le 20 scoperte scientifiche più importanti del XX secolo.

In sintesi: il test del chi quadro (χ²) confronta le frequenze osservate con quelle attese in dati categorici. Nella versione bontà di adattamento verifica se una variabile segue una distribuzione attesa (gradi di libertà: categorie − 1); nella versione test di indipendenza verifica se due variabili sono legate, partendo da una tabella di contingenza (gradi di libertà: (righe − 1) × (colonne − 1)). La statistica è la somma di (osservate − attese)² / attese: se supera il valore critico, o se il p-value scende sotto α, si rifiuta l’ipotesi nulla. In R si usa chisq.test().


Il Test della bontà di adattamento (Goodness of Fit)

E’ un utilissimo test, che concerne la distribuzione di una variabile categorica. Ci consente infatti di verificare se le frequenze osservate differiscono in misura significativa da quelle attese, quando gli esiti possibili sono più di due.

I prerequisiti per poter effettuare il test sono molto semplici:

  1. Il campione deve essere casuale;
  2. Le osservazioni devono essere indipendenti per il campione (una osservazione per soggetto);
  3. Nessuna frequenza attesa inferiore a 5.
    Questo ultimo punto suona piuttosto criptico e merita qualche parola in più. Quando la vc è continua o i caratteri non sono nominali e si dispone di osservazioni campionarie singole, un problema importante concerne la determinazione del numero di classi (chiamate anche “celle”) in cui articolare la distribuzione. Nella prassi è richiesto che le frequenze teoriche siano almeno uguali a 5; vale a dire che occorre verificare che il numero di elementi attesi in ciascuna classe non scenda sotto questa soglia.

Capire attraverso un semplice esempio

Come al solito, per capire meglio di cosa stiamo parlando ci spiegheremo con un esempio super-semplificato (e, mi scuso, abbastanza ridicolo…).

Suppongo che sia stato condotto uno studio sugli hobbisti appassionati di elettronica che usano schede Arduino. Si è visto che i possessori di una sola scheda Arduino sono il 50%, quelli che hanno da 2 a 4 schede sono il 30%, chi ne possiede 5 o più è il 20%.

Immaginiamo che io abbia condotto un mio studio indipendente e abbia riscontrato questi dati: su 150 hobbisti ho trovato che 90 possedevano un solo Arduino, 30 da 2 a 4 schede, e 30 5 o più schede.

L’ipotesi nulla è che le proporzioni da me riscontrate siano in linea con quelle dello studio ufficiale.
L’ipotesi alternativa è ovviamente che i dati raccolti non confermino le proporzioni dello studio ufficiale.

Preparo la mia tabella inserendo i dati:

Un solo ArduinoDa 2 a 4 schede5 o più schedeTotale
Dati osservati90
3030150
Dati attesi0.50 x 150 = 750.30 x 150 = 45 0.20 x 150 = 30 150

Per non rifiutare l’ipotesi nulla, occorre che la differenza tra le frequenze attese e quelle osservate sia attribuibile alla variabilità di campionamento al livello designato di significatività.

La statistica χ2 calcolata dai dati campionari è data da:

\( \chi^2=\Sigma\frac{(f_0-f_e)^2}{f_e}\\ \\ \)

f0=frequenze osservate
fe=frequenze attese

I gradi di libertà per il test di bontà di adattamento sono il numero di categorie meno uno (la formula (r − 1)(c − 1) la incontreremo più avanti, con il test di indipendenza):

\( df=k-1\\ \\ \\ \)

k = numero di categorie (le colonne della nostra tabella)

Usiamo come linee guida il nostro esempio. Partiamo dalle ipotesi:

\( H_0=le\ frequenze\ sono\ 0.5\ 0.3\ 0.2\\ H_a=le\ frequenze\ non\ sono\ 0.5\ 0.3\ 0.2\\ \)

Abbiamo:

\( n=150\\ df=3-1=2\\ \\ \)

Troviamo nelle tabelle il valore del χ2 critico (df=2, α=0.05)
Il valore risulta essere: 5.99

Ora calcolo il valore del χ2 per i miei dati:

\( \chi^2=\frac{(90-75)^2}{75}+\frac{(30-45)^2}{45}+\frac{(30-30)^2}{30}=\\ =\frac{225}{75}+\frac{225}{45}+\frac{0}{30}=\\ =3+5\\ =8\\ \)

Concludiamo allora (poichè il valore calcolato risulta superiore al valore critico) che possiamo rifiutare l’ipotesi nulla al livello di significatività del 5%. Cioè: possiamo rifiutare l’asserzione che le frequenze siano distribuite secondo la proporzione 50%,30%,20%.

La tavola del chi quadro

Il 5,99 che abbiamo usato come soglia viene dalla tavola dei valori critici del chi quadro: si legge la riga dei gradi di libertà e la colonna del livello di significatività scelto. Ecco le righe che servono più spesso:

Gradi di libertàα = 0,05α = 0,01
13,846,63
25,999,21
37,8111,34
49,4913,28
511,0715,09
612,5916,81

In R la tavola non serve: qchisq() restituisce il valore critico per qualunque combinazione. Lo verifico per il nostro esempio:

qchisq(0.95, df = 2)   # alfa = 0,05 con 2 gradi di liberta'
# [1] 5.991465

Mi semplifico la vita usando una calcolatrice scientifica Casio

Con la mia calcolatrice fx mi basta scegliere da menù la voce “STAT” e inserire nel mio editor di tabella i valori osservati nella lista L1 e i valori attesi in L2.

Poi sceglierò:

[TEST]
[CHI]
[GoF]
Observed:List1
Expected:List2
df:2
[CALC]

e otterrò sia il valore del chi quadrato, sia quello di p (in questo caso 0,01832 che è inferiore al valore di alpha 0.05 da me scelto, confermando la conclusione che posso rigettare l’ipotesi nulla e accogliere quella alternativa).

Uso R per il test della bontà di adattamento

In R l’esempio indicato risulta ancora più semplice da impostare:

osservati<-c(90,30,30)
proporzione_attesa<-c(0.5,0.3,0.2)
chisq.test(osservati,p=proporzione_attesa,correct=FALSE)

e il risultato sarà:

Chi-squared test for given probabilities
data:  osservati
X-squared = 8, df = 2, p-value = 0.01832

Il Test di Indipendenza

E’ comunemente usato per determinare se due fattori sono tra loro in relazione.

In genere, quello che vogliamo sapere è: “La variabile X è indipendente dalla variabile Y ?

Attenzione: la risposta che otteniamo dal nostro test è solo questa, non come sono relate le variabili.

Nel caso del test della bontà di adattamento vi è una sola variabile in gioco: le frequenze osservate possono quindi essere elencate in un’unica riga, o colonna, di valori in una tabella.

I test di indipendenza, invece, implicano due variabili e l’oggetto del test è proprio l’assunzione che le due variabili siano statisticamente indipendenti.

Poichè due variabili sono implicate nel test, le frequenze osservate sono inserite in una tavola di contingenza del tipo riga x colonna.
Ad esempio, rappresento i dati relativi a età e sesso degli appassionati di un dato marchio commerciale:

EtàMaschioFemminaTotale
<356654120
>=35781290
Totale14466210

Vogliamo testare l’ipotesi nulla che le due variabili qualitative sesso ed età siano indipendenti. Dunque, l’ipotesi alternativa prevede invece che esista una relazione tra le due variabili.

Se l’ipotesi di indipendenza è vera, fra la frequenza osservata di ciascuna casella e il totale delle frequenze osservate della riga e colonna in cui quella casella è inclusa, devono esserci le stesse proporzioni esistenti fra il totale di colonna e di riga e la dimensione totale del campione.

\( f_e=\frac{\Sigma_{riga}\ \Sigma_{colonna}}{n}\\ \\ \\ df=(r-1)(c-1)\\ \\ \\ \)

A questo punto procedo con il mio esempio:

\( f_e=\frac{\Sigma_{riga}\ \Sigma_{colonna}}{n}=\frac{120\times 144}{210}=82,3\\ \)

Le 3 frequenze rimanenti possono essere facilmente ottenute per sottrazione dai totali di riga e di colonna. Infatti, una tabella 2×2 ha df=1, cioè la frequenza di una sola casella è libera di variare.

Otterrò:

EtàMaschiFemmineTotale
<358238120
>=35622890
Totale14466210

\( H_0=sesso\ e\ anni\ sono\ indipendenti\\ H_a=esiste\ una\ relazione\ tra\ sesso\ e\ anni\\ \\ \\ df=(2-1)(2-1)=1 \)

Scelgo un livello α=0.01 di significatività

\( \chi^2_{critico}=6.63\\ \)

calcolo il valore del chi-quadro e trovo:

\( \chi^2=23.9\\ \)

Si rifiuta allora l’ipotesi nulla di indipendenza al livello di significatività dell’1%. Le variabili età e sesso sono dipendenti.

Il Test di indipendenza con la Casio

Per risolvere il mio esempio in maniera molto semplice con la mia Casio avrei potuto fare così:

Carico i miei dati di tabella in una matrice, che chiamo A:

[[66,54][78,12]]→[OPTN][MAT][MAT][ALPHA][A]

A questo punto mi sposto nelle funzioni statistiche:

[MENU][STAT]

[TEST][CHI][2WAY]

Observed:Mat A

Expected:Mat B

[CALC]
Il risultato sarà:

χ2=23.9299242
p=9.9907e-07
df=1

Come si vede dal bassissimo valore di p, accolgo l’ipotesi alternativa e scarto l’ipotesi nulla.

Il test di indipendenza con R

Costruisco la mia tabella di contingenza

appassionati <- matrix(c(66,54,78,12),ncol=2,byrow=TRUE)
 rownames(appassionati) <- c("meno di 35","35 o piu")
 colnames(appassionati) <- c("maschio","femmina")
 appassionati <- as.table(appassionati)
 appassionati

posso calcolare i totali di riga:
margin.table(appassionati,1)

e quelli di colonna:
margin.table(appassionati,2)

il gran totale è:
margin.table(appassionati)

guardo i valori attesi:
chisq.test(appassionati)$expected

e testo l'ipotesi con:
chisq.test(appassionati)

il bassissimo valore di p risultante mi indica che posso rigettare l’ipotesi nulla dell’indipendenza delle due variabili.

(n.b. su una tabella 2×2 R applica di default la correzione di continuità di Yates, e restituisce χ² = 22,48 invece del 23,93 calcolato a mano e con la Casio. Con correct=FALSE si ritrova il valore «classico». La correzione rende il test più prudente quando i conteggi sono piccoli; con campioni grandi la differenza diventa trascurabile.)

Un esempio SEO: il CTR dipende dal dispositivo?

Gli hobbisti di Arduino e gli appassionati di marchi vanno benissimo per capire il meccanismo, ma il test di indipendenza dà il meglio di sé nella pratica quotidiana di chi lavora con i dati di Search Console. Riprendiamo i numeri che abbiamo già incontrato parlando del Paradosso di Simpson: in un mese il nostro sito ha raccolto 10.000 impression su Desktop con 550 click, e 20.000 impression su Mobile con 500 click. Il CTR è dunque 5,5% contro 2,5%: una differenza che sembra enorme, ma è reale o potrebbe essere frutto del caso?

Formulata nel linguaggio di questo articolo, la domanda diventa: il click è indipendente dal dispositivo? Costruiamo la tabella di contingenza, con una avvertenza importante: nelle celle vanno i conteggi, mai le percentuali. Per ogni dispositivo servono quindi i click e i “non click” (le impression che non hanno generato click).

DispositivoClickNessun clickTotale
Desktop5509.45010.000
Mobile50019.50020.000
Totale1.05028.95030.000

Le ipotesi sono le solite:

\( H_0=click\ e\ dispositivo\ sono\ indipendenti\\ H_a=esiste\ una\ relazione\ tra\ click\ e\ dispositivo\\ \)

Verifico in R, costruendo la matrice dei conteggi (uso correct=FALSE per poter confrontare il risultato con l’eventuale calcolo manuale):

ctr <- matrix(c(550, 9450, 500, 19500), ncol=2, byrow=TRUE)
rownames(ctr) <- c("Desktop", "Mobile")
colnames(ctr) <- c("click", "no click")
chisq.test(ctr, correct=FALSE)

il risultato sarà:

Pearson's Chi-squared test
data:  ctr
X-squared = 177.65, df = 1, p-value < 2.2e-16

Il p-value è infinitesimale: rifiutiamo l’ipotesi nulla senza esitazioni. Il click dipende dal dispositivo, e la differenza tra i due CTR non è attribuibile al caso.

CTR per dispositivo contro il CTR atteso sotto indipendenza (3,5%): la distanza tra le barre e la linea è ciò che il χ² misura.

n.b.: con i volumi tipici della Search Console (decine di migliaia di impression) il chi quadrato rifiuta l’ipotesi nulla anche per differenze minuscole e praticamente irrilevanti. La significatività statistica ci dice che la differenza non è frutto del caso, non che sia importante: con campioni molto grandi le due cose vanno tenute ben distinte.
Per misurare quanto è forte l’associazione si usa la V di Cramér, che va da 0 (nessuna associazione) a 1: qui vale √(177,65 / 30.000) ≈ 0,08, un legame debole nonostante il p-value microscopico.

Prova tu

Per fissare il meccanismo, un esercizio con dati finti ma realistici. Dalla Search Console di un e-commerce estraiamo un mese di dati, separando le query brand dalle non-brand:

Tipo di queryClickNessun clickTotale
Brand2401.7602.000
Non-brand54017.46018.000
Totale78019.22020.000

La domanda è la stessa di prima: il click dipende dal tipo di query? L’esercizio consiste nel formulare le ipotesi, scegliere α=0,05, costruire la matrice in R ed eseguire il test (sempre con correct=FALSE). Se tutto fila, il chi quadrato dovrebbe risultare vicino a 389, con un p-value microscopico. E già che ci siamo: quale dei due CTR (12% contro 3%) “tira” di più il risultato? Un’occhiata alle frequenze attese con chisq.test(...)$expected aiuta a rispondere.

Domande frequenti

Quando si usa il test del chi quadro?

Con dati categorici, cioè conteggi di casi in categorie: per verificare se una variabile segue una distribuzione attesa (bontà di adattamento) o se due variabili sono indipendenti (test di indipendenza). Esempi tipici: il CTR dipende dal dispositivo? La distribuzione dei clienti per fascia d’età è cambiata?

Che differenza c’è tra chi quadro e chi quadrato?

Nessuna: sono due nomi dello stesso test, indicato con la lettera greca χ² (chi). «Chi quadro» è la forma più diffusa nel parlato e nelle ricerche, «chi quadrato» quella più usata nei manuali.

Come si calcolano i gradi di libertà del chi quadro?

Nel test di bontà di adattamento sono il numero di categorie meno uno (k − 1). Nel test di indipendenza sono (righe − 1) × (colonne − 1): una tabella 2×2 ha un solo grado di libertà.

Quali sono le condizioni per applicare il test?

Osservazioni indipendenti, dati espressi come conteggi (mai come percentuali) e frequenze attese di almeno 5 in ogni cella. Se le attese sono troppo basse conviene accorpare le categorie o usare il test esatto di Fisher.

Perché R restituisce un chi quadro diverso dal calcolo a mano?

Perché sulle tabelle 2×2 chisq.test() applica di default la correzione di continuità di Yates, che riduce leggermente la statistica. Con correct = FALSE si ottiene il valore classico.

Un p-value molto piccolo vuol dire che l’effetto è grande?

No. Con campioni grandi, come i dati di Search Console, il test rifiuta l’ipotesi nulla anche per differenze minime. Per misurare l’intensità dell’associazione si usa la V di Cramér, che va da 0 (nessuna associazione) a 1.

Una domanda però resta aperta, ed è più sottile di quanto sembri. Il test ci ha detto che la dipendenza esiste, e la V di Cramér che è debole: ma debole rispetto a cosa? E quanti dati servono per accorgersi di un effetto che conta davvero, senza farsi abbagliare da quelli che non contano? È il territorio dell’effect size e della power analysis, il passo naturale da cui proseguire.

Potrebbe interessarti anche


Per approfondire

Il test del chi quadrato, con tutte le sue varianti e condizioni di applicabilità, è trattato in dettaglio in Statistica di Newbold, Carlson e Thorne, insieme agli altri test che abbiamo incontrato in questo percorso.

E se gli esempi di queste pagine vi hanno fatto venire voglia di imparare R sul serio, R for Data Science di Hadley Wickham (seconda edizione, leggibile anche gratuitamente online) è il punto di partenza che consiglio.

paolo

View Comments

Recent Posts

Il mese in cui il modulo non contava: trovare e ricostruire i buchi di tracciamento

Il report di settembre è quasi pronto, e c'è un numero che stona: ad agosto…

4 giorni ago

Quante pagine proteggere in una migrazione? La curva di Lorenz e le soglie del traffico

Il rifacimento del sito è deciso, la data di messa online pure, e prima o…

4 giorni ago

Quando cambia il metro: rotture strutturali nelle metriche SEO

Il report annuale arriva sul tavolo con una buona notizia in prima pagina: la posizione…

5 giorni ago

Le risposte AI di Google ci tolgono clic? Misurarlo con il CTR atteso e un gruppo di controllo

Le guide tecniche di un sito salgono nei risultati di ricerca, compaiono più spesso, e…

6 giorni ago

Quando i clic variano più del previsto: la sovradispersione

Clic e sessioni variano più di quanto la Poisson preveda: come accorgersene in R e…

1 settimana ago

Due anni di dati e una stagionalità da togliere: il confronto anno su anno, fatto bene

Un report annuale si chiude spesso con una riga sola: i clic da Google sono…

1 settimana ago