Deviazione standard e CV: quando la media da sola inganna (casi pratici SEO)

Due siti, due grafici delle sessioni giornaliere. Il primo oscilla di quasi 400 sessioni al giorno, il secondo di appena 52: verrebbe da dire che il primo è molto più instabile.
È vero il contrario, e per accorgercene la media non basta: serve sapere quanto i dati si allontanano da lei.

È il compito delle misure di dispersione (o di variabilità): descrivere quanto le osservazioni si sparpagliano attorno a un valore centrale, la media o la mediana. Due insiemi di dati con lo stesso centro possono raccontare storie opposte, e sono questi indici a dircelo.

Le tecniche per misurare la variabilità di insiemi di dati sono numerose.
Tra queste, le più note (e più utilizzate) sono:

Visualizzeremo graficamente i concetti acquisiti di tendenza centrale e dispersione ritornando a parlare di asimmetria e introducendo il concetto di curtosi.

In sintesi: le misure di dispersione dicono quanto i dati si allontanano dal centro. Il campo di variazione (massimo meno minimo) è il più rapido ma dipende da due soli valori; la varianza è la media dei quadrati degli scarti dalla media, la deviazione standard la sua radice quadrata, nella stessa unità dei dati; lo scarto interquartile (Q3 − Q1) è robusto ai valori anomali; il coefficiente di variazione (deviazione standard divisa per la media) è un numero puro che permette di confrontare scale diverse.

MisuraChe cos’èPregioLimiteIn R
Campo di variazionemassimo meno minimoimmediatodipende da due soli valoridiff(range(x))
Varianzamedia dei quadrati degli scarti dalla mediaè la base di quasi tutta l’inferenzaunità al quadrato, difficile da leggerevar(x)
Deviazione standardradice quadrata della varianzastessa unità dei datisi lascia gonfiare dai valori anomalisd(x)
Scarto interquartileQ3 − Q1, l’ampiezza della metà centralerobusto ai valori anomaliignora le codeIQR(x)
Coefficiente di variazionedeviazione standard divisa per la mediaconfronta scale diverseperde senso con medie vicine a zerosd(x) / mean(x)


Il campo di variabilità (o gamma)

Il campo di variabilità, o Gamma (o range, per gli anglosassoni), è dato dalla differenza fra il valore massimo e quello minimo dei dati non raggruppati di una distribuzione di frequenza.

Si tratta di un calcolo velocissimo, che in R può essere computato così:

max(var) - min(var)

In realtà il massimo e il minimo sono visualizzabili anche con:

range(var)

e compaiono come primo e ultimo termine in:

fivenum(var)

Per dati raggruppati, il campo di variazione è definito come la differenza tra il confine superiore della classe massima e il confine inferiore della classe minima.

Un campo di variabilità modificato è un campo dal quale è stata eliminata una certa percentuale di valori estremi da entrambe le estremità della distribuzione (ad esempio l’80 per cento intermedio).


Lo scarto medio

Lo scarto medio è una misura di variabilità che si basa sulla differenza dei singoli dati dalla loro media. Se si calcolasse la media sommando le differenze positive e negative fra i singoli dati e la media aritmetica, il risultato sarebbe sempre zero. Per questo motivo si sommano i valori assoluti delle differenze:

\( SM = \frac{\Sigma|X – \mu|}{N} \)

Quei “valori assoluti” si prestano male ai calcoli algebrici (non si possono sviluppare né derivare agevolmente), motivo per cui lo scarto medio è poco usato. Esiste un altro modo per eliminare i valori negativi, ed ecco quindi che si introduce l’importante concetto di…

La varianza

La varianza è analoga allo scarto medio, poichè si basa sulle differenze fra i singoli dati dell’insieme e la loro media, ma queste differenze sono elevate al quadrato prima di essere sommate. La varianza viene indicata con il simbolo del sigma minuscolo al quadrato e la formula è:

\( \sigma^{2}=\frac{\Sigma(X – \mu)^{2}}{N} \\ \\ \)

R ha la funzione var() per il calcolo della varianza, ma computa (n-1) al denominatore. Per avere il valore della varianza per N come denominatore, possiamo allora scrivere una funzione:

varpopol <- function(variabile){var(variabile)*(1-1/length(variabile))}

In generale, risulta difficile interpretare il significato del valore di una varianza perchè le unità in cui è espresso non sono le medesime in cui sono espresse le osservazioni dell'insieme di dati.

Per questo motivo è stato introdotto lo scarto quadratico medio.

La deviazione standard (o scarto quadratico medio): la più usata

Lo scarto quadratico medio non è altro che la radice quadrata della varianza:

\( \sigma = \sqrt{\frac{\Sigma(X - \mu)^{2}}{N}} \\ \\ \)

Lo scarto quadratico medio è di fondamentale utilità in statistica, particolarmente (come vedremo) in unione alla distribuzione normale di probabilità.

Nel caso di dati raggruppati si considera che il valore centrale di ciascuna classe rappresenti tutte le misurazioni comprese in quella classe. Si avrà dunque per la varianza la formula:

\( \sigma^{2}=\frac{\Sigma f(X - \mu)^{2}}{N} \\ \\ \)

e per lo scarto quadratico medio:

\( \sigma = \sqrt{\frac{\Sigma f(X - \mu)^{2}}{N}} \\ \\ \)

In R, la funzione per computare la deviazione standard è sd().
R tuttavia usa (n-1) al denominatore. Quindi, se vogliamo il valore della deviazione standard per una popolazione (quindi con n al denominatore) possiamo definire un'apposita funzione:

sdpopol <- function(variabile){sqrt(sum((variabile - mean(variabile))^2)/(length(variabile)))}

Lo scarto interquartile (IQR)

Tutte le misure viste finora ruotano attorno alla media, e ne ereditano il difetto: basta un valore anomalo per gonfiarle. Lo scarto interquartile (in inglese interquartile range, IQR) prende un'altra strada: è la distanza fra il terzo e il primo quartile, cioè l'ampiezza della metà centrale dei dati.

\( IQR = Q_{3} - Q_{1} \)

Proprio perché lascia fuori il quarto più basso e il quarto più alto dei dati, lo scarto interquartile non si lascia trascinare dai valori estremi: è la misura di dispersione naturale da affiancare alla mediana, ed è l'altezza della scatola nel boxplot. Lo calcolo in R sugli stessi dati che useremo per il coefficiente di variazione:

dati <- c(24,17,21,23,15,30,24,21,24,19,25,28,22,20,14,19,26,29,23,25,24,18,27,21)
quantile(dati, c(0.25, 0.75))
#   25%   75%
# 19.75 25.00
IQR(dati)
# [1] 5.25

La metà centrale dei dati sta dunque in un intervallo largo 5,25.
(n.b. R calcola i quartili interpolando fra i valori; altri software, o le regole del calcolo a mano, possono dare risultati leggermente diversi. Niente di cui allarmarsi.) Lo scarto interquartile è anche il metro della regola più usata per segnalare i valori anomali: sono sospetti i punti che cadono oltre 1,5 volte l'IQR dal primo o dal terzo quartile.

Il coefficiente di variazione (CV)

Il coefficiente di variazione indica la grandezza relativa dello scarto quadratico medio rispetto alla media della distribuzione delle misurazioni.
E' utilissimo per raffrontare fenomeni espressi con differenti unità di misura, poichè il CV è un numero "puro", indipendente dall'unità di misura impiegata:

\( CV = \frac{\sigma}{\mu} \)

Come sempre in R, esiste una funzione ad hoc : possiamo usare cv(), in questo caso definita in una libreria esterna, labstatR. L'uso è banale:

library(labstatR)
dati <- c(24,17,21,23,15,30,24,21,24,19,25,28,22,20,14,19, 26,29,23,25,24,18,27,21);
cv(dati);
[1] 0.1817708

possiamo però anche calcolare il valore molto semplicemente senza ricorrere a librerie esterne:

dati <- c(24,17,21,23,15,30,24,21,24,19,25,28,22,20,14,19, 26,29,23,25,24,18,27,21);
sdpopol <- function(variabile){sqrt(sum((variabile - mean(variabile))^2)/(length(variabile)))}
cvdati=sdpopol(dati)/mean(dati);
cvdati;
[1] 0.1817708

La forma di una distribuzione

Le distribuzioni di frequenza possono assumere le forme più varie. Fra tutte, quella di gran lunga più importante in statistica è la distribuzione normale, o distribuzione a campana, o ancora gaussiana.

In una distribuzione normale, i dati sono ripartiti in maniera simmetrica rispetto alla media.
Un primo indizio sulla forma della distribuzione viene dal confronto fra media e mediana: se sono vicine, la distribuzione è probabilmente simmetrica (è un indizio, non una prova). Se la media è maggiore della mediana, avremo un'asimmetria positiva (con una "coda" più lunga a destra), se la media è minore della mediana l'asimmetria risulterà negativa (con la "coda" più lunga sulla sinistra).

La più nota formula per il calcolo dell'asimmetria di una distribuzione è quella per calcolare il coefficiente di asimmetria di Pearson:

\( Asimmetria = \frac{3(\mu - med)}{\sigma} \\ \\ \)

Una distribuzione perfettamente simmetrica presenta un valore di asimmetria pari a 0. Una distribuzione asimmetrica a destra (positiva) presenta un valore positivo, mentre una distribuzione asimmetrica sinistra avrà un valore negativo.

In genere i valori di asimmetria cadono tra -3 e 3 e il fatto che al denominatore compaia la deviazione standard rende il valore indipendente dall'unità di misura.

Come calcolare l'indice di asimmetria in R ?
Il modo più semplice è quello di usare una libreria che ci metta a disposizione le funzioni che ci servono "belle e pronte"...

library (moments)
dati <- c(24,17,21,23,15,30,24,21,24,19,25,28,22,20,14,19, 26,29,23,25,24,18,27,21);
skewness(dati);
[1] -0.1918578

la libreria "moments" fa al caso nostro. Vediamo però come calcolare l'indice anche senza fare ricorso ad una libreria. E' molto semplice.
Il primo passo è quello di ricordare che R utilizza n-1 al denominatore della varianza.
Noi però stiamo ragionando di una popolazione, dunque con n al denominatore. Dunque, andiamo a definire una funzione che ci consenta di ottenere il valore che ci serve:

varpopol <- function(variabile){var(variabile)*(1-1/length(variabile))}

a questo punto possiamo calcolare il valore dell'indice di asimmetria:

dati <- c(24,17,21,23,15,30,24,21,24,19,25,28,22,20,14,19, 26,29,23,25,24,18,27,21);
varpopol <- function(variabile){var(variabile)*(1-1/length(variabile))}
zeta=(dati-mean(dati))/sqrt(varpopol(dati));
skew=mean(zeta^3);
skew;
[1] -0.1918578

La curtosi

La curtosi confronta la forma di una distribuzione con quella della normale: quanto è appuntita al centro e, soprattutto, quanto sono «pesanti» le sue code, cioè quanto spesso compaiono valori lontani dalla media.

Abbiamo 3 casi:

  1. una curva alta. che viene detta leptocurtica e che risulta molto concentrata intorno alla sua media
  2. una curva normale, detta mesocurtica
  3. una curva bassa e piatta, che viene definita platicurtica, poco concentrata intorno alla sua media
Misure di variabilità: immagine di curve leptocurtica, mesocurtica, platicurtica


Si può misurare la curtosi dividendo il quarto momento per lo scarto quadratico medio elevato alla quarta potenza. Difficile? Più a dirsi che a calcolarsi.
Ecco la formula:

\( Curtosi = \frac{\Sigma f(X -\mu)^{4}}{N \sigma^{4}} \\ \\ \)

La curtosi di una curva mesocurtica ha un valore di 3. Ovviamente, un coefficiente di curtosi <3 indica una curva platicurtica, un valore >3 leptocurtica.

n.b. molti software, Excel compreso con la funzione CURTOSI, restituiscono la curtosi in eccesso, cioè il valore meno 3 (con una piccola correzione per i campioni): lì la normale vale 0. Il 2,48 che otterremo fra poco corrisponde a un eccesso di circa −0,52: una curva leggermente platicurtica.

Come per il valore dell'indice di asimmetria, la libreria "moments" ci fornisce una comoda funzione già pronta:

library (moments)
dati <- c(24,17,21,23,15,30,24,21,24,19,25,28,22,20,14,19, 26,29,23,25,24,18,27,21);
kurtosis(dati);
[1] 2.480035

Ma a noi non dispiace di calcolarcelo "in proprio":

dati <- c(24,17,21,23,15,30,24,21,24,19,25,28,22,20,14,19, 26,29,23,25,24,18,27,21);
varpopol <- function(variabile){var(variabile)*(1-1/length(variabile))}
zeta=(dati-mean(dati))/sqrt(varpopol(dati));
curtosi=mean(zeta^4);
curtosi;
[1] 2.480035

Un caso pratico SEO: il coefficiente di variazione per confrontare due siti

La deviazione standard, da sola, può ingannare quando confrontiamo grandezze di scala diversa. Prendiamo due siti: uno grande, sulle 5.000 sessioni al giorno, e uno piccolo, sulle 300. Misuriamo per ciascuno la variabilità giornaliera in R.

grande  <- c(4800, 5300, 4600, 5500, 5100, 4400, 5600, 4900, 5200, 4700)
piccolo <- c(260, 340, 220, 380, 300, 240, 360, 280, 320, 300)

sd(grande)               # 395.7
sd(piccolo)              # 51.6
sd(grande) / mean(grande)    # CV = 0.079  (7,9%)
sd(piccolo) / mean(piccolo)  # CV = 0.172  (17,2%)

In termini assoluti il sito grande oscilla di quasi 400 sessioni al giorno, il piccolo appena di 52: verrebbe da dire che il grande è molto più «ballerino». Ma è un'illusione di scala. Il coefficiente di variazione — la deviazione standard divisa per la media, un numero puro che si legge in percentuale — racconta il contrario: 7,9% per il sito grande, 17,2% per il piccolo. Relativamente alla propria dimensione, il sito piccolo è più del doppio più instabile. È proprio per confronti come questo che il CV esiste: rende paragonabili variabilità che, in unità grezze, non lo sarebbero.

Stesso dato, due letture: in sessioni grezze il sito piccolo sembra piatto, ma in percentuale sulla media oscilla il doppio. È l&apos;illusione di scala che il coefficiente di variazione smonta.
Stesso dato, due letture: in sessioni grezze il sito piccolo sembra piatto, ma in percentuale sulla media oscilla il doppio. È l'illusione di scala che il coefficiente di variazione smonta.

La regola operativa è netta: quando confrontiamo la variabilità di metriche su scale diverse — due siti, due canali, due periodi con volumi molto diversi — conviene usare il coefficiente di variazione, non la deviazione standard nuda. Quest'ultima resta insostituibile quando la scala è la stessa.

Prova tu

Proviamo con un caso simile. Abbiamo i clic giornalieri di una settimana per due canali: l'organico, robusto, e un referral di nicchia. Quale dei due è più stabile, al netto della differenza di volume?

organico:  1200  1350  1100  1280  1420  1180  1320
referral:    80   140    60   170    95   130   110

Il compito: per ciascun canale calcolare il CV con sd(x) / mean(x).

Per controllare i conti: l'organico ha un CV dell'8,7%, il referral del 33,5%. Pur portando dieci volte meno clic, il referral è quasi quattro volte più volatile in termini relativi: un canale su cui fare previsioni è molto più rischioso. La deviazione standard grezza (110 contro 38) avrebbe suggerito l'esatto contrario.

Domande frequenti

Quali sono le principali misure di dispersione?

Il campo di variazione, la varianza, la deviazione standard, lo scarto interquartile e il coefficiente di variazione. Varianza, deviazione standard e coefficiente di variazione si basano sulla distanza dei dati dalla media; lo scarto interquartile sui quartili, ed è per questo robusto ai valori anomali.

Che differenza c'è tra varianza e deviazione standard?

La deviazione standard è la radice quadrata della varianza. Misurano la stessa cosa, ma la varianza è espressa nel quadrato dell'unità dei dati (sessioni al quadrato), la deviazione standard nella stessa unità (sessioni): per questo si legge e si comunica molto più facilmente.

Perché R divide per n − 1 e non per n?

Perché var() e sd() stimano la variabilità di una popolazione a partire da un campione: dividere per n sottostimerebbe sistematicamente la varianza vera, e n − 1 corregge questa distorsione. Se i dati sono l'intera popolazione si divide per n.

Quando si usa il coefficiente di variazione?

Quando si confronta la variabilità di grandezze su scale diverse: due siti con volumi diversi, due canali, metriche con unità diverse. Il CV è la deviazione standard divisa per la media, un numero puro che si legge in percentuale. Perde significato con medie vicine allo zero o con dati che possono essere negativi.

Cosa vuol dire curva platicurtica?

Una distribuzione più piatta della normale, con code più leggere: la curtosi è minore di 3 (la curtosi in eccesso minore di 0). Il contrario è la curva leptocurtica, più appuntita e con code più pesanti; la normale è mesocurtica.

Quale misura di dispersione usare quando ci sono valori anomali?

Lo scarto interquartile, che misura l'ampiezza della metà centrale dei dati e quindi ignora le code. Varianza, deviazione standard e campo di variazione si lasciano invece gonfiare anche da un solo valore estremo, come un picco di traffico o una sessione lasciata aperta da un bot.


Campo di variazione, varianza, deviazione standard, scarto interquartile, coefficiente di variazione, curtosi: ora sappiamo dire non solo dove sta il centro di una distribuzione, ma quanto i dati gli si stringono attorno e che forma assumono. È il vocabolario minimo per descrivere qualunque insieme di dati — e il trampolino per il passo successivo: modellarlo con una distribuzione di probabilità, a partire dalla più celebre di tutte, la distribuzione normale, dove media e deviazione standard diventano i due soli numeri che dicono quasi tutto.

Potrebbe interessarti anche


Per approfondire

Per approfondire il ruolo della variabilità nell’interpretazione dei dati, L’arte della statistica di David Spiegelhalter resta la lettura più consigliabile: spiega con esempi concreti perché due distribuzioni con la stessa media possono raccontare storie opposte.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *