Diciamo subito cosa la correlazione non è, perché è qui che nascono i guai.
La correlazione misura se e quanto due variabili si associano; non dice che una causa l’altra, e non costruisce un modello per prevedere l’una dall’altra.
Quel secondo passo — la previsione — è il mestiere della regressione, di cui ci occuperemo a parte.
Qui restiamo al passo precedente: capire, con un solo numero, se due metriche viaggiano insieme.

Dalla covarianza alla correlazione

L’idea di partenza è semplice. Se due variabili si muovono insieme, quando una sta sopra la propria media anche l’altra tende a stare sopra la sua; quando una scende sotto, l’altra la segue.
Possiamo misurare questa tendenza moltiplicando, per ogni osservazione, lo scarto di x dalla sua media per lo scarto di y dalla sua, e facendone la media.
È la covarianza:

dove x̄ e ȳ sono le medie delle due variabili e n il numero di osservazioni.
Quando gli scarti hanno lo stesso segno (entrambi sopra o entrambi sotto la media) il prodotto è positivo; quando hanno segni opposti è negativo.
Una covarianza positiva segnala dunque che le due variabili tendono a crescere insieme, una negativa che quando l’una sale l’altra scende.

La covarianza, però, ha un difetto che la rende inutilizzabile come metro di confronto: dipende dalle unità di misura.
La covarianza tra sessioni e secondi di permanenza è un numero, quella tra sessioni e tasso di conversione un altro, e i due non si possono paragonare perché parlano lingue diverse.
Per ottenere una misura pulita la dividiamo per le due deviazioni standard, in modo da spogliarla delle unità e costringerla in un intervallo fisso.
Otteniamo così il coefficiente di correlazione di Pearson:

Il numeratore non è altro che la covarianza (a meno del fattore n); il denominatore è il prodotto delle due variabilità, e serve appunto a normalizzare.
Il risultato è un numero puro compreso tra −1 e +1: vale +1 quando i punti stanno esattamente su una retta crescente, −1 quando stanno su una retta decrescente, 0 quando non c’è alcuna associazione lineare.
Quanto più r si avvicina agli estremi, tanto più stretta è la relazione lineare.

Pearson: l’associazione lineare (e la sua trappola)

Mettiamolo subito al lavoro su un caso che chi fa SEO conosce a memoria: il legame tra la posizione in SERP e il CTR, la percentuale di clic. Sappiamo tutti che più si scende nella pagina dei risultati, meno si viene cliccati. Prendiamo dieci posizioni con i rispettivi CTR osservati e calcoliamo in R il coefficiente di Pearson:

pos <- 1:10
ctr <- c(28.5, 15.7, 11.0, 7.2, 8.0, 5.1, 4.0, 3.2, 2.8, 2.6)  # CTR % per posizione

cor(pos, ctr)
# [1] -0.852

Il coefficiente è −0,852: forte, negativo, esattamente come ci aspettavamo. Eppure c’è qualcosa che non torna. Il legame tra posizione e CTR è ferreo — non capita quasi mai che una posizione più bassa renda più clic — e ci aspetteremmo un valore ancora più vicino a −1. Perché Pearson si ferma a −0,85?

La risposta è il punto più importante di tutto l’articolo. Pearson misura solo l’associazione lineare, cioè quanto bene i punti si dispongono lungo una retta. Ma la curva del CTR non è una retta: crolla a precipizio dalla prima alla terza posizione e poi si appiattisce. La relazione è fortissima, solo che è curva. Pearson, che cerca rette, vede quella curvatura come “imperfezione” e abbassa il voto. Non sta sbagliando: sta rispondendo a una domanda — “quanto è lineare?” — che in questo caso non è quella giusta.

Spearman e Kendall: l’associazione monotòna

Per molte relazioni del mondo SEO ci interessa una cosa più debole della linearità: ci basta sapere se, quando una variabile cresce, l’altra cresce sistematicamente (o cala sistematicamente), senza pretendere che lo faccia a passo costante. Una relazione del genere si dice monotòna, e per misurarla esiste il coefficiente di correlazione per ranghi di Spearman, indicato con ρ (rho).

Il trucco di Spearman è elegante: invece di lavorare sui valori, lavora sui loro ranghi.
Sostituisce a ogni numero la sua posizione in classifica (il più piccolo diventa 1, il successivo 2, e così via) e poi calcola un normale Pearson su questi ranghi. In questo modo la forma esatta della curva sparisce — conta solo l’ordine — e ciò che resta è quanto fedelmente l’ordine di x riproduce quello di y.

Lo calcoliamo sugli stessi dati di prima:

cor(pos, ctr, method = "spearman")
# [1] -0.988

Adesso il coefficiente è −0,988, schiacciato contro −1. È la fotografia corretta della situazione: man mano che la posizione peggiora, il CTR cala quasi senza eccezioni. (Quel “quasi” non è un caso: nei dati ho lasciato una piccola inversione realistica, la posizione 5 che rende più della 4, come capita quando un rich snippet gonfia il CTR di un risultato; è esattamente il genere di increspatura che impedisce a ρ di toccare il −1 esatto.). Dove Pearson vedeva un’associazione “buona ma non ottima”, Spearman riconosce la relazione monotòna quasi perfetta che effettivamente c’è.

Esiste una terza misura che vale la pena conoscere, il tau di Kendall (τ). Anch’essa lavora sull’ordine, ma con una logica diversa: conta, su tutte le coppie di osservazioni, quante sono concordi (se x cresce, cresce anche y) e quante discordi, e ne fa il bilancio. La calcolo in R sempre sugli stessi dati:

cor(pos, ctr, method = "kendall")
# [1] -0.956

Kendall restituisce −0,956, anch’esso vicino agli estremi ma tipicamente un po’ più prudente di Spearman.

Nella pratica quotidiana la scelta è meno complicata di quanto sembri: Pearson quando ci interessa una relazione lineare e i dati non hanno code o valori anomali violenti; Spearman quando la relazione è monotòna ma curva, o quando i dati sono già ranghi (posizioni, classifiche), o quando un paio di outlier rischiano di sballare Pearson; Kendall quando le osservazioni sono poche o ci sono molti valori a pari merito, situazione in cui le sue proprietà statistiche reggono meglio.

La matrice di correlazione

Raramente abbiamo solo due metriche da confrontare. Più spesso ne abbiamo una manciata — sessioni, durata media, conversioni, frequenza di rimbalzo — e vorremmo vedere tutte le associazioni a colpo d’occhio. La funzione cor() di R, applicata a un intero data frame, restituisce la matrice di correlazione: il coefficiente di ogni variabile con ogni altra.
La costruisco su dodici pagine di esempio:

ga4 <- data.frame(
  sessioni      = c(120, 340, 210, 560, 430, 780, 650, 290, 510, 880, 360, 720),
  durata_media  = c(31,  55,  48,  44,  58,  63,  71,  52,  46,  68,  60,  64),
  conversioni   = c(3,   8,   4,   21,  11,  24,  19,  9,   17,  29,  7,   22),
  freq_rimbalzo = c(70,  61,  66,  44,  57,  41,  46,  59,  52,  38,  63,  45)
)

round(cor(ga4), 2)
#               sessioni durata_media conversioni freq_rimbalzo
# sessioni          1.00         0.73        0.98         -0.97
# durata_media      0.73         1.00        0.58         -0.62
# conversioni       0.98         0.58        1.00         -0.99
# freq_rimbalzo    -0.97        -0.62       -0.99          1.00

Si legge come una tabella a doppia entrata: sulla diagonale ci sono tutti 1 (ogni variabile è perfettamente correlata con sé stessa), e la matrice è simmetrica perché la correlazione di x con y è la stessa di y con x. Come si vede, sessioni e conversioni viaggiano quasi all’unisono (0,98: più traffico, più conversioni — niente di sorprendente), la frequenza di rimbalzo è correlata negativamente con tutto il resto, mentre la durata media si associa alle conversioni molto meno di quanto l’intuizione suggerirebbe (0,58).
Una matrice del genere è una mappa di partenza preziosa per decidere dove guardare. È utile visualizzarla come heatmap (con pacchetti come corrplot), dove l’intensità del colore rende immediato cogliere i legami forti.

Un avvertimento: una matrice di correlazione non è una mappa causale.
Ci dice quali numeri si muovono insieme, non quale muove quale, né se a muoverli sia un terzo fattore che non abbiamo nemmeno in tabella.

Correlazione non è causazione

È la frase più ripetuta della statistica, e la più disattesa nei fatti.
Vale la pena vedere dove inciampa, perché in SEO l’inciampo è quotidiano. Prendiamo l’osservazione classica: gli articoli più lunghi si posizionano meglio. Misuriamo l’associazione tra lunghezza del contenuto e un punteggio di ranking (più alto = meglio piazzato):

lung       <- c(620, 850, 1100, 1300, 1500, 1800, 2100, 2400, 2800, 3200)
rank_score <- c(3,   8,   6,    11,   9,    7,    14,   10,   16,   15)

cor(lung, rank_score)
# [1] 0.842

Un bel 0,842: la correlazione c’è, ed è robusta.
La tentazione di concludere “allungo gli articoli e salgo in classifica” è fortissima — e quasi sempre sbagliata. Davanti a una correlazione, prima di parlare di causa, dobbiamo metterci sul tavolo almeno tre spiegazioni alternative.
Potrebbe essere una causa diretta (la lunghezza aiuta davvero il ranking). Potrebbe essere una causa inversa (le pagine che già rankano bene ricevono più cure e vengono ampliate nel tempo).
Oppure — il caso più frequente e più insidioso — potrebbe esserci un fattore confondente che muove entrambe: l’autorevolezza del sito. Un dominio autorevole tende sia a produrre contenuti più approfonditi (quindi più lunghi) sia a posizionarsi meglio (per ragioni che con la lunghezza non c’entrano). La lunghezza e il ranking salgono insieme non perché l’una causi l’altro, ma perché un terzo elemento li traina entrambi.

Questo terzo elemento nascosto è la radice di alcuni degli errori più spettacolari nell’analisi dei dati: arriva persino a invertire il segno di una relazione quando i dati vengono aggregati nel modo sbagliato, il fenomeno che va sotto il nome di paradosso di Simpson.
Stabilire un nesso causale è un mestiere a sé, che richiede esperimenti controllati o tecniche dedicate; la correlazione, da sola, non ci arriverà mai. Il suo compito è un altro, ed è prezioso: segnalarci le coppie di metriche che vale la pena indagare più a fondo.

Prova tu

Per fissare il meccanismo, ecco un esercizio con dati verosimili. Abbiamo, per dieci pagine, il numero di domini referral che le linkano e il loro traffico organico mensile, e vogliamo capire quanto i due si associno:

bl  <- c(5, 12, 8, 25, 18, 40, 33, 60, 52, 95)        # domini referral
org <- c(180, 240, 420, 510, 760, 690, 1250, 1100, 1900, 1650)  # sessioni organiche/mese

Il compito: calcolare sia il coefficiente di Pearson con cor(bl, org), sia quello di Spearman con cor(bl, org, method = "spearman"), e ragionare sul perché differiscono.

Per controllare i conti: Pearson vale 0,815 e Spearman 0,855. Sono entrambi alti e raccontano la stessa storia di fondo — più domini referral, più traffico — ma il fatto che Spearman sia un po’ più alto di Pearson ci dice qualcosa: la relazione è più monotòna che lineare, segno che oltre una certa soglia ogni link aggiuntivo porta meno traffico marginale di quanto la retta vorrebbe. E, naturalmente, nessuno dei due numeri ci autorizza a dire che comprare backlink farà salire il traffico: anche qui l’autorevolezza del sito potrebbe star muovendo le due cose insieme.

Con la correlazione abbiamo imparato a rispondere alla domanda se, e quanto, due metriche si associano — scegliendo di volta in volta Pearson, Spearman o Kendall a seconda della forma del legame. È il gradino indispensabile prima della domanda successiva, quella che chiunque analizzi dei dati finisce per porsi: data un’associazione, posso usare una variabile per prevedere l’altra, e tracciare la retta che le lega? Da qui in poi non misuriamo più soltanto la forza di un legame, ma lo modelliamo: è il territorio della regressione lineare, dove quel coefficiente r che abbiamo appena conosciuto torna protagonista, questa volta al servizio della previsione.

Per approfondire

Per i fondamenti di correlazione e regressione spiegati con rigore ma senza inutili tecnicismi, il manuale italiano che tengo più volentieri a portata di mano è Statistica di Newbold, Carlson e Thorne: i capitoli sull’associazione tra variabili coprono Pearson, Spearman e le insidie dell’interpretazione causale con la chiarezza che serve a chi parte dalle applicazioni.

Le due domande hanno un nome preciso. La prima — quanto è grande? — è l’effect size. La seconda — con i dati che ho, avrei potuto vederlo, un effetto del genere? — è la potenza del test, e il ragionamento che ci porta a rispondere si chiama power analysis. Le esaminiamo una alla volta, come sempre con un esempio sotto mano.

Significativo non vuol dire grande

Partiamo da una situazione che a chi gestisce test online capita più spesso di quanto vorrebbe. Mettiamo di aver provato due title tag su una pagina ad altissimo traffico, e di aver raccolto un milione di sessioni per variante. Il CTR della versione A è il 3,00%, quello della versione B il 3,05%: cinque centesimi di punto di differenza. Verifichiamo in R se lo scarto è statisticamente significativo:

# un milione di sessioni per variante, CTR 3,00% contro 3,05%
prop.test(c(30000, 30500), c(1000000, 1000000), correct = FALSE)$p.value
# [1] 0.03899

Il p-value è 0,039, sotto la soglia dello 0,05. Da manuale, dovremmo brindare: la differenza è “significativa”. Ma fermiamoci un attimo. Stiamo davvero per riscrivere i title di tutto il sito per guadagnare cinque centesimi di punto di CTR? Quel risultato significativo nasconde un effetto di dimensioni ridicole, reso rilevabile soltanto dalla mole spropositata di dati.

Questo è il punto da cui non si torna indietro: con un campione abbastanza grande, qualsiasi differenza diventa statisticamente significativa, anche la più trascurabile. Il p-value misura quanto siamo sicuri che l’effetto non sia zero; non misura quanto l’effetto sia grande. Sono due cose diverse, e confonderle è l’errore che porta a inseguire vittorie che sul fatturato non lasciano traccia. L’effect size esiste proprio per rimettere la grandezza al centro.

L’effect size: misurare il “quanto”

L’idea dell’effect size è semplice e, vista una volta, difficile da dimenticare: invece di chiederci solo se due gruppi differiscono, misuriamo di quanto differiscono, in una scala che non dipende dalla dimensione del campione. È la differenza tra dire “B è meglio di A” e dire “B è meglio di A di mezza deviazione standard”. La prima è una notizia; la seconda è un’informazione su cui si può decidere.

Di misure di effect size ne esistono diverse, ciascuna tagliata su un tipo di confronto. Ne vediamo a fondo due — una per le medie, una per le proporzioni — perché coprono il grosso del lavoro quotidiano; delle altre daremo un cenno alla fine, con i rimandi giusti.

Cohen’s d: l’effetto fra due medie

Quando confrontiamo due medie — il tempo medio sulla pagina di due varianti, la durata media di sessione di due segmenti — la misura di riferimento è il Cohen’s d. L’intuizione è questa: prendiamo la differenza tra le due medie e la esprimiamo in “unità di deviazione standard”, così da renderla confrontabile tra contesti diversi. Una differenza di tre secondi pesa molto se le sessioni durano tutte attorno a quel valore, pochissimo se variano di minuti.

In formula, il Cohen’s d è il rapporto tra la differenza delle medie e la deviazione standard combinata dei due gruppi:

dove x̄_A e x̄_B sono le medie dei due gruppi e s_p è la deviazione standard pooled, cioè una media ponderata delle due deviazioni standard, che mette insieme la variabilità interna di entrambi i gruppi:

con n_A, n_B le numerosità e s_A, s_B le deviazioni standard dei due gruppi. Il denominatore non è altro che il modo corretto di fondere due variabilità in una sola misura di riferimento.

Facciamo un esempio. Abbiamo misurato la durata di sessione (in secondi) su due versioni di una pagina, dodici sessioni per versione. Calcolo il Cohen’s d in R appoggiandomi al pacchetto effsize, che fa il conto e ci restituisce anche l’etichetta qualitativa:

A <- c(48, 55, 52, 60, 46, 58, 51, 57, 49, 54, 53, 50)  # versione A
B <- c(50, 58, 52, 62, 49, 57, 60, 53, 61, 51, 59, 54)  # versione B

library(effsize)
cohen.d(B, A)

# Cohen's d
#
# d estimate: 0.6254922 (medium)
# 95 percent confidence interval:
#      lower      upper
# -0.2416187  1.4926030

Il d stimato è 0,63, che effsize classifica come effetto medio. Le soglie convenzionali, proposte da Jacob Cohen, sono 0,2 per un effetto piccolo, 0,5 per uno medio, 0,8 per uno grande — ma vanno prese per quello che sono: convenzioni utili a orientarsi, non leggi di natura. Lo stesso Cohen raccomandava di interpretarle alla luce del proprio campo, non di applicarle a scatola chiusa. Nella pratica quotidiana della SEO, un d di 0,63 sul tempo di sessione è un cambiamento che ha senso prendere sul serio.

C’è però un dettaglio che vale tutto il resto dell’articolo, ed è già visibile qui sopra: l’intervallo di confidenza del d va da −0,24 a 1,49. Attraversa lo zero. In altri termini, con dodici sole sessioni per gruppo, l’effetto stimato è medio, ma i dati non bastano a escludere che quello vero sia nullo. E infatti, se sottoponiamo gli stessi numeri a un t-test, troviamo un p-value tutt’altro che rassicurante:

t.test(B, A)
#
# 	Welch Two Sample t-test
# t = 1.5321, df = 21.9, p-value = 0.1398

Un effetto medio che il test dichiara non significativo. Non è una contraddizione: è esattamente il fenomeno che la potenza di un test serve a spiegare. Teniamolo a mente, ci torniamo tra poco.

L’effect size per le proporzioni (CTR e conversioni)

Il tempo sulla pagina è una media, ma il pane quotidiano di chi fa SEO sono le proporzioni: CTR, tasso di conversione, percentuale di rimbalzo. Qui il Cohen’s d non si applica direttamente, e la misura naturale di effect size è il Cohen’s h, costruito apposta per la differenza tra due proporzioni.

Il dettaglio tecnico che lo rende affidabile è una trasformazione — l’arcoseno della radice della proporzione — che serve a stabilizzare la variabilità (in una proporzione, la variabilità dipende dal valore stesso, ed è massima attorno al 50%). La formula è:

dove p₁ e p₂ sono le due proporzioni a confronto. Non serve calcolarla a mano: ce la fornisce la funzione ES.h del pacchetto pwr. Ma prima di vederla all’opera conviene introdurre l’altra metà del discorso, perché è lì che il Cohen’s h dà il meglio di sé.

Prima però chiudiamo il capitolo effect size con un cenno onesto alle altre misure. Quando i gruppi a confronto sono più di due — il classico scenario dell’ANOVA — la misura tipica è l’eta quadro (η²), che dice quale frazione della variabilità totale è spiegata dal fattore che stiamo studiando; ne abbiamo gettato le basi parlando di analisi della varianza. Quando invece il risultato è binario — converte / non converte — l’effect size si esprime spesso come odds ratio, il rapporto tra le quote di successo, lo stesso oggetto che governa la regressione logistica. Strumenti diversi per domande diverse, ma l’idea di fondo non cambia: mettere un numero sulla grandezza, non solo sull’esistenza.

La potenza di un test: avremmo potuto vederlo?

Torniamo al nostro effetto medio dichiarato non significativo. Come è possibile che un d di 0,63 produca un p-value di 0,14? La risposta sta in un concetto che chiude il cerchio dell’inferenza: la potenza di un test.

Quando facciamo un test delle ipotesi rischiamo due tipi di errore. Il primo, l’errore di tipo I, è gridare a un effetto che non c’è: lo teniamo sotto controllo con la soglia α (di solito 0,05). Il secondo, l’errore di tipo II, è il suo opposto ed è molto più subdolo: non vedere un effetto che invece c’è. La probabilità di commetterlo si indica con β, e la potenza è il suo complemento:

Detto in termini più chiari e diretti, la potenza è la probabilità di accorgersi di un effetto reale quando c’è davvero. Una potenza di 0,80 — lo standard a cui si punta — significa che, se l’effetto esiste delle dimensioni ipotizzate, il nostro test lo individua quattro volte su cinque.

Il punto cruciale è che potenza, soglia α, effect size e dimensione del campione non sono quattro manopole indipendenti: sono legate da un vincolo. Fissati tre di questi valori, il quarto è determinato. Questa è l’intera idea della power analysis, ed è ciò che la rende così utile: a seconda di quale incognita lasciamo libera, risponde a due domande operative diverse.

Ed ecco perché il nostro effetto medio è rimasto invisibile. Con dodici sessioni per gruppo la potenza del test era bassissima: il test era, semplicemente, cieco. Un risultato non significativo, in queste condizioni, non dice “l’effetto non c’è”; dice “non avevo occhi abbastanza buoni per vederlo”. Confondere le due cose è uno degli errori più costosi che si possano fare leggendo un A/B test.

Power analysis in R: quanti dati servono

La prima domanda che la power analysis sa risolvere è quella che ogni test dovrebbe affrontare prima di partire: quanti dati mi servono? Riprendiamo il nostro effetto medio. Se volessimo progettare un test capace di rilevare un d di 0,63 con potenza 0,80 e soglia 0,05, calcolo in R con il pacchetto pwr:

library(pwr)
pwr.t.test(d = 0.63, sig.level = 0.05, power = 0.80, type = "two.sample")
#
#      Two-sample t test power calculation
#               n = 40.53396
#               d = 0.63
#       sig.level = 0.05
#           power = 0.8
#     alternative = two.sided
# NOTE: n is number in *each* group

Servirebbero circa 41 sessioni per gruppo, non dodici. Ecco perché il nostro test era muto: stava cercando un effetto medio con un terzo dei dati necessari. La power analysis, fatta a monte, ci avrebbe risparmiato un test inconcludente — ed è esattamente il ragionamento che alimenta il calcolatore di sample size: dimensione del campione e potenza sono le due facce della stessa medaglia.

La seconda domanda è speculare e si pone a posteriori, quando il test l’abbiamo già fatto: con i dati che avevo, quanta potenza avevo davvero? Lo vediamo meglio su un caso concreto.

Un caso pratico: l’A/B test che “non ha funzionato”

Mettiamo di aver testato due landing page. La A ha convertito 60 visitatori su 1.500 (4,0%), la B ne ha convertiti 78 su 1.500 (5,2%). A occhio la B sembra nettamente migliore — un punto e due decimi di conversione in più non è poco. Verifichiamo in R se la differenza regge:

prop.test(c(60, 78), c(1500, 1500), correct = FALSE)
#
# 	2-sample test for equality of proportions
# X-squared = 2.461, df = 1, p-value = 0.1167

Il p-value è 0,117: sopra lo 0,05. Verdetto da manuale: differenza non significativa, test fallito, si archivia. Ma noi adesso sappiamo di non fermarci qui. Calcoliamo la potenza che quel test aveva davvero, partendo dall’effect size osservato:

library(pwr)
h <- ES.h(0.052, 0.040)   # Cohen's h tra le due proporzioni
h
# [1] 0.0574024

pwr.2p.test(h = h, n = 1500, sig.level = 0.05)
#               power = 0.3492384

La potenza era 0,35. In altri termini: anche se la B fosse stata davvero migliore di quel tanto, avevamo poco più di una probabilità su tre di accorgercene. Il test non ha “dimostrato che le due pagine sono uguali”: era semplicemente troppo debole per pronunciarsi. E quanti dati sarebbero serviti per arrivare a una potenza decente?

pwr.2p.test(h = h, power = 0.80, sig.level = 0.05)
#               n = 4764.053

Quasi 4.800 visitatori per variante, contro i 1.500 che avevamo. La differenza tra un test che “non ha funzionato” e un test mai realmente in condizione di funzionare è tutta qui — e si vede solo se all’effect size affianchiamo la potenza. Attenzione dunque a derubricare un risultato non significativo a “nessun effetto”: quasi sempre stiamo solo guardando un test sottodimensionato.

Prova tu

Per fissare il meccanismo, ecco un esercizio con dati verosimili. Stiamo progettando un A/B test su un modulo di contatto. Il tasso di conversione attuale (baseline) è il 2,5%, e considereremmo un successo portarlo al 3,0%: mezzo punto di miglioramento. Vogliamo un test con potenza 0,80 e soglia 0,05.

Il compito: calcolare l’effect size con ES.h(0.030, 0.025), passarlo a pwr.2p.test fissando power = 0.80, e leggere quanti visitatori per variante servono. Poi, come controprova, calcolare la potenza che avremmo se ci fermassimo a 3.000 visitatori per variante con pwr.2p.test(h = ..., n = 3000, ...).

Per controllare i conti: l’effect size è h = 0,031, servono circa 16.759 visitatori per variante per avere una potenza dello 0,80, e con soli 3.000 la potenza crollerebbe a 0,22. La morale è quella che ormai conosciamo: più l’effetto che cerchiamo è piccolo, più dati servono per vederlo: dimezzare la differenza minima rilevabile non raddoppia il campione necessario, lo quadruplica.

Effect size e potenza completano la triade che il p-value, da solo, lasciava monca: non più soltanto l’effetto esiste?, ma anche quanto è grande? e avrei potuto vederlo?. Sono le tre domande che trasformano un test da rito propiziatorio in uno strumento di decisione. E tutte e tre, a ben guardare, dipendono da una scelta che viene prima del test: quanti dati raccogliere, e come. È il terreno del disegno sperimentale e del campionamento — il punto in cui la statistica smette di limitarsi a giudicare i numeri che le mettiamo davanti e comincia a dirci quali numeri andare a cercare.

Per approfondire

Sull’uso rigoroso di effect size, potenza e dimensionamento nel contesto degli esperimenti online, il riferimento più completo resta Trustworthy Online Controlled Experiments di Ron Kohavi, Diane Tang e Ya Xu: i capitoli su come dimensionare un test e interpretarne i risultati valgono da soli l’acquisto. Per i fondamenti statistici alle spalle di questi concetti — errori di tipo I e II, potenza, inferenza — un buon manuale italiano di riferimento è Statistica di Newbold, Carlson e Thorne.

Questo calcolatore è il complemento naturale del calcolatore di sample size: quello lavora prima del test e ci dice quanti utenti servono; questo lavora dopo e ci dice se il risultato ottenuto è statisticamente significativo. Chi ha letto l’articolo sul test delle ipotesi riconoscerà subito il meccanismo: dietro le quinte c’è un test z per il confronto tra due proporzioni.

L’uso è immediato: inseriamo visitatori e conversioni delle due varianti, scegliamo il livello di significatività, e il calcolatore restituisce p-value, verdetto e intervallo di confidenza della differenza.

Il calcolatore

I valori precaricati sono quelli dell’esempio che svolgeremo passo passo più sotto: possiamo sostituirli con i numeri del nostro test.

La formula: come funziona il calcolo

Il ragionamento è quello classico del test delle ipotesi. Partiamo dall’ipotesi nulla: le due varianti convertono allo stesso modo, e la differenza osservata è frutto del caso. Poi misuriamo quanto questa differenza è “sorprendente” se l’ipotesi nulla fosse vera: se è troppo sorprendente, l’ipotesi nulla non regge.

I protagonisti sono tre:

• p̂_A e p̂_B: i tassi di conversione osservati delle due varianti (conversioni diviso visitatori).
• p̂: la proporzione pooled, cioè il tasso di conversione complessivo calcolato mettendo insieme i dati delle due varianti. Perché? Sotto l’ipotesi nulla le due proporzioni coincidono, e la stima migliore di quell’unica proporzione usa tutti i dati disponibili.
• n_A e n_B: i visitatori delle due varianti.

La statistica del test misura la differenza osservata in unità di errore standard:

\( z = \frac{\hat{p}_B – \hat{p}_A}{\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_A} + \frac{1}{n_B}\right)}} \)

Il denominatore è l’errore standard della differenza: ci dice di quanto oscillerebbe la differenza tra i due tassi se ripetessimo il test molte volte, in un mondo dove le varianti sono identiche. Lo z risultante si legge sulla distribuzione normale: il p-value è la probabilità di osservare una differenza almeno così estrema, in un verso o nell’altro, per puro caso. “In un verso o nell’altro” non è un dettaglio: il test è a due code, perché prima di guardare i dati non sappiamo se B farà meglio o peggio di A.

Per orientarsi, i valori di riferimento sono sempre gli stessi:

• |z| > 1.645 → significativo al 90%
• |z| > 1.96 → significativo al 95%
• |z| > 2.576 → significativo al 99%

Facciamo un esempio, con i numeri precaricati nel calcolatore. La variante A ha ricevuto 8.500 visitatori e 204 conversioni; la variante B 8.300 visitatori e 251 conversioni:

• p̂_A = 204 / 8.500 = 0.0240 (2.40%)
• p̂_B = 251 / 8.300 = 0.0302 (3.02%) — un lift relativo del +26%
• p̂ pooled = (204 + 251) / (8.500 + 8.300) = 455 / 16.800 = 0.0271
• errore standard = √[0.0271 × 0.9729 × (1/8.500 + 1/8.300)] = 0.00250
• z = (0.0302 − 0.0240) / 0.00250 = 2.49

Dunque: z = 2.49 supera la soglia 1.96 e il p-value vale 0.0127. La differenza è significativa al 95% — ma, come si vede, non al 99% (0.0127 > 0.01). Lo stesso risultato, due verdetti diversi a seconda del rigore che abbiamo scelto: il livello di significatività va deciso prima di guardare i dati, non dopo.

Verifichiamo in R

Verifico il calcolo in R con prop.test, disattivando la correzione di continuità per restare allineati al calcolo manuale:

prop.test(c(251, 204), c(8300, 8500), correct = FALSE)

	2-sample test for equality of proportions
	without continuity correction

data:  c(251, 204) out of c(8300, 8500)
X-squared = 6.2075, df = 1, p-value = 0.01272
alternative hypothesis: two.sided
95 percent confidence interval:
 0.001325762 0.011156166
sample estimates:
    prop 1     prop 2
0.03024096 0.02400000

I conti tornano: il p-value è lo stesso del calcolo manuale, e la statistica X-squared non è altro che il nostro z al quadrato (2.49² ≈ 6.21 — il test chi quadrato su una tabella 2×2 e il test z su due proporzioni sono lo stesso test, come avevamo visto nell’articolo sul chi quadrato). In più, R ci regala l’intervallo di confidenza della differenza: tra 0.13 e 1.12 punti percentuali. È l’informazione più preziosa di tutte, e vediamo subito perché.

Come interpretare il risultato (senza farsi ingannare)

Significativo non vuol dire importante. Va sempre tenuto bene a mente: con campioni molto grandi, anche differenze irrisorie e commercialmente irrilevanti diventano statisticamente significative. La significatività ci dice che la differenza non è frutto del caso, non che sia grande. Per capire quanto è grande, guardiamo l’intervallo di confidenza della differenza: nel nostro esempio va da +0.13 a +1.12 punti percentuali. Se anche il limite inferiore giustifica lo sforzo di implementare la modifica, possiamo procedere con fiducia; se l’intervallo include valori trascurabili, il verdetto “significativo” da solo non basta.

Il p-value vale se il test si ferma quando deciso. Il calcolo presuppone che la dimensione campionaria sia stata fissata in anticipo (con il calcolatore di sample size) e che il test si fermi lì. Controllare i risultati ogni giorno e fermarsi al primo p-value sotto 0.05 — il famigerato peeking, come dicono gli anglosassoni — gonfia drasticamente i falsi positivi: è come lanciare una moneta finché non escono tre teste di fila e dichiarare la moneta truccata. Ne abbiamo parlato nella guida ai test statistici per le analisi A/B.

n.b.: il calcolatore usa un test a due code, la scelta prudente e standard. Esistono versioni a una coda che “premiano” l’ipotesi direzionale con p-value dimezzati, ma vanno usate solo quando la direzione dell’effetto è davvero nota a priori — nella pratica quotidiana degli A/B test, quasi mai.

Potrebbe interessarti anche

• Calcolatore Sample Size per A/B Test
• Guida ai test statistici per analisi A/B
• Il test delle ipotesi

Il p-value risponde a una sola domanda: l’effetto esiste? Non ci dice quanto è grande, né se vale lo sforzo di implementarlo. Per quello servono altri due strumenti — l’effect size e la power analysis — ed è esattamente lì che il nostro percorso andrà nel prossimo articolo.

Per approfondire

Il riferimento più completo sulla conduzione rigorosa di esperimenti online resta Trustworthy Online Controlled Experiments di Ron Kohavi, Diane Tang e Ya Xu: il capitolo sulle insidie dell’interpretazione dei risultati (peeking incluso) vale da solo il prezzo del libro.

Non è una classifica e non è un catalogo: sono i libri che uso davvero, quelli da cui provengono molti degli esempi e delle spiegazioni che trovate negli articoli. Pochi, scelti con un criterio semplice: ogni libro deve far fare un passo avanti concreto a chi lavora con i dati nella SEO e nel marketing, senza richiedere una laurea in matematica.

Una nota di trasparenza, prima di cominciare: i link che seguono sono affiliati Amazon. Se acquistate un libro passando da qui, il blog riceve una piccola commissione, senza alcun costo aggiuntivo per voi: è il modo più indolore che ho trovato per coprire le spese del server.

Da dove cominciare

L’arte della statistica — David Spiegelhalter

Se dovessi salvarne uno solo, sarebbe questo. L’arte della statistica non insegna le formule: insegna a ragionare sui dati prima di fidarsene, che è esattamente la competenza che manca a chi legge un report di Search Console e trae conclusioni affrettate. Spiegelhalter — professore a Cambridge e divulgatore di rara chiarezza — costruisce ogni capitolo attorno a un caso reale: sondaggi sbagliati, statistiche mediche fraintese, il celebre caso delle ammissioni a Berkeley (lo stesso caso che ho raccontato parlando del Paradosso di Simpson).

Lo cito praticamente ovunque nel blog: dal campionamento agli intervalli di confidenza, passando per il Teorema del Limite Centrale. Si legge senza carta e penna, e si rilegge con profitto. (Per chi preferisce l’originale inglese: The Art of Statistics.)

Finalmente ho capito la statistica — Maurizio De Pra

Il titolo dice tutto. Finalmente ho capito la statistica è il libro per chi parte da zero e vuole un percorso graduale, con tanti esempi e un prezzo contenuto. Copre bene il territorio delle distribuzioni di probabilità — quelle che nel percorso del blog vanno dalla Poisson alla Beta — e i fondamenti del ragionamento probabilistico. Non sostituisce un manuale, ma fa quello che un manuale non sa fare: togliere la paura.

Quando i dati mentono

Mentire con le statistiche — Darrell Huff

Scritto nel 1954 e mai invecchiato. Mentire con le statistiche è il catalogo, breve e velenoso, dei trucchi con cui i numeri possono essere usati per ingannare: campioni distorti, medie scelte ad arte, grafici con gli assi tagliati, percentuali senza contesto. Huff scriveva per i lettori dei giornali; io lo consiglio a chi legge i report dei tool SEO e le slide dei fornitori, dove quegli stessi trucchi prosperano ancora oggi. Chi è passato per il Paradosso di Simpson sa già che i dati aggregati possono mentire: Huff completa il quadro con tutti gli altri modi.

Si legge in un pomeriggio, e da quel pomeriggio in poi i grafici non si guardano più con gli stessi occhi. (Originale inglese: How to Lie with Statistics.)

Il manuale per fare sul serio: l’inferenza

Statistica — Newbold, Carlson, Thorne

Prima o poi arriva il momento in cui la divulgazione non basta più: servono le condizioni di applicabilità di un test, le formule complete, gli esercizi per verificare di aver capito. Statistica di Newbold, Carlson e Thorne è il manuale universitario di riferimento in italiano per tutta l’inferenza: test delle ipotesi, intervalli di confidenza, chi quadrato, ANOVA — in pratica, la spina dorsale teorica della mia guida ai test statistici per le analisi A/B.

Va detto con franchezza: è un manuale universitario, e costa come un manuale universitario. Ma è uno di quei libri che si comprano una volta e si consultano per anni.

Regressione, serie storiche, modelli

Introduzione all’econometria — Stock, Watson

Il nome può intimidire (econometria?), ma il contenuto è esattamente ciò che serve a chi vuole andare oltre la regressione lineare di base: regressione multipla, variabili omesse, diagnostica, serie storiche. Introduzione all’econometria di Stock e Watson ha una qualità che nei manuali è rara: l’attenzione costante all’interpretazione dei risultati, non solo al loro calcolo. Che poi è il punto in cui si gioca la differenza tra un’analisi utile e un esercizio di stile.

L’arte (fallibile) della previsione

Il segnale e il rumore — Nate Silver

Chi lavora con i dati prima o poi deve fare una previsione — e una stima del traffico organico del prossimo trimestre è una previsione a tutti gli effetti. Il segnale e il rumore racconta perché le previsioni falliscono così spesso: troppa fiducia nei modelli, la tentazione di scambiare il rumore per il segnale, l’incapacità di ragionare in termini di probabilità. Silver — l’uomo che azzeccò l’esito delle presidenziali USA del 2012 in tutti e cinquanta gli stati — attraversa poker, terremoti, meteorologia e finanza, e strada facendo offre la migliore introduzione narrativa al ragionamento bayesiano che io conosca. È il complemento divulgativo del capitolo sulle serie storiche: prima si impara a costruire una previsione, poi si impara a diffidarne. (Originale inglese: The Signal and the Noise.)

La sperimentazione online

Trustworthy Online Controlled Experiments — Kohavi, Tang, Xu

Sull’A/B testing non esiste un equivalente italiano, e francamente nemmeno un equivalente inglese: Trustworthy Online Controlled Experiments è il libro sull’argomento, scritto da chi ha guidato la sperimentazione in Microsoft, Google e LinkedIn. Dentro c’è tutto quello che ho toccato negli articoli — sample size, potenza del test, errori da evitare — più dieci anni di casi reali su cosa va storto negli esperimenti veri. L’ho usato anche per costruire il mio calcolatore di sample size. In inglese, ma di lettura scorrevole.

Il percorso bayesiano

Bayesian Statistics the Fun Way — Will Kurt

La statistica bayesiana ha fama di essere ostica, e i suoi manuali fanno di tutto per confermarla. Bayesian Statistics the Fun Way fa il contrario: Will Kurt spiega prior, posterior e aggiornamento bayesiano con esempi presi da Star Wars e dai Lego, e — cosa che apprezzo particolarmente — usa R per la parte computazionale, esattamente come faccio qui. È il libro giusto per capire la logica bayesiana (e il perché della distribuzione Beta) prima di affrontare la teoria formale.

Verso il machine learning

An Introduction to Statistical Learning — James, Witten, Hastie, Tibshirani

Il classico contemporaneo dell’apprendimento statistico, noto a tutti come “ISL”. An Introduction to Statistical Learning copre con il giusto equilibrio tra intuizione e formalismo gli argomenti della parte più avanzata del percorso: regressione logistica, alberi decisionali, PCA, con laboratori pratici in R. N.b.: gli autori distribuiscono gratuitamente il PDF dal loro sito — la versione cartacea resta per chi, come me, sui libri di studio preferisce scrivere a matita.

Introduction to Machine Learning — Ethem Alpaydın

Per chi vuole le fondamenta teoriche del machine learning — quelle che in un corso universitario starebbero prima dei laboratori — Introduction to Machine Learning di Alpaydın è il riferimento che ho citato nella mia guida introduttiva al ML. Più formale di ISL: da prendere dopo, non al posto di.

Il linguaggio di lavoro: R

R for Data Science — Wickham, Çetinkaya-Rundel, Grolemund

C’era un buco evidente in questo scaffale: il codice R compare in quasi ogni articolo del blog — dal test del chi quadrato alle serie storiche — ma mancava il libro per impararlo. R for Data Science (seconda edizione) colma il buco: Hadley Wickham è l’autore del tidyverse, l’ecosistema di pacchetti che ha reso R moderno, e il libro insegna l’intero flusso di lavoro — importare, pulire, trasformare, visualizzare, comunicare — su dati veri, senza teoria superflua. Anche questo, come ISL, si legge gratuitamente online sul sito degli autori: un motivo in più per non avere scuse.

Comunicare i dati

Storytelling with Data — Cole Nussbaumer Knaflic

L’analisi più rigorosa del mondo vale poco se chi la riceve non la capisce — e nel marketing un’analisi va quasi sempre raccontata a qualcuno: un cliente, un responsabile, una riunione. Storytelling with Data insegna a trasformare i grafici di default di Excel e Looker Studio in messaggi chiari: scegliere il grafico giusto, eliminare l’inchiostro che non informa, guidare l’attenzione dove serve, costruire una narrazione attorno al numero. Di tutto lo scaffale è probabilmente il libro che si ripaga più in fretta: si applica già al prossimo report. (Per chi preferisce l’italiano: Data storytelling, edizioni Apogeo.)

Una lettura di nicchia

Monte Carlo Methods in Financial Engineering — Paul Glasserman

Questo è il libro più specialistico dello scaffale, e lo segnalo per onestà verso chi è arrivato al metodo Monte Carlo e vuole andare fino in fondo: Monte Carlo Methods in Financial Engineering di Glasserman è il riferimento completo sulla simulazione applicata alla finanza. Non è una lettura da ombrellone: è il testo a cui si arriva quando gli altri non bastano più.

La biblioteca in uno sguardo

Per orientarsi al volo, ecco lo scaffale completo in forma di tabella:

Questo scaffale non è chiuso. Man mano che il percorso del blog si allarga — i paradossi statistici di cui ho cominciato a parlare, il bootstrap, l’analisi dei testi — si allargherà anche la biblioteca, e questa pagina verrà aggiornata di conseguenza. Nel frattempo, se un solo consiglio dovesse bastare: si parta da Spiegelhalter, e gli articoli di questo blog facciano da palestra.

Prima di scrivere l’email con le cattive notizie e prepararci a giustificare il calo, facciamo la cosa giusta: disaggreghiamo i dati per capire dove stiamo perdendo colpi. Guardiamo le performance per dispositivo e scopriamo una cosa apparentemente impossibile:

• Il CTR su Desktop è salito dal 5,0% al 5,5%.
• Il CTR su Mobile è salito dal 2,0% al 2,5%.

Fissiamo lo schermo. Com’è matematicamente possibile che le performance siano migliorate ovunque, ma il totale generale sia crollato di un punto percentuale netto?

Non abbiamo rotto Google Search Console e non abbiamo dimenticato la matematica delle elementari. Siamo semplicemente appena diventati vittime del Paradosso di Simpson.

Cos’è il Paradosso di Simpson

Il Paradosso di Simpson è un fenomeno statistico in cui un trend che appare evidente all’interno di diversi gruppi di dati scompare — o addirittura si inverte — quando i gruppi vengono combinati in un unico totale.

Nella pratica quotidiana della SEO e del marketing questo accade quasi sempre per colpa di una variabile confondente nascosta (come dicono gli anglosassoni, una confounding variable): nel nostro caso, il peso relativo dei segmenti che stiamo analizzando. È lo stesso ragionamento che incontriamo parlando di probabilità condizionata, dove ciò che conta non è il dato marginale ma quello condizionato a un sottogruppo.

Quando lavoriamo con tassi e percentuali (il CTR, il Conversion Rate, il Bounce Rate), guardare il dato aggregato senza considerare i volumi sottostanti è una delle trappole più insidiose per chi analizza i dati.

La dimostrazione: anatomia di un finto crollo

Torniamo al nostro report mensile e mettiamo i numeri assoluti dietro a quelle percentuali. Solo così capiamo cosa è successo davvero tra il Mese 1 e il Mese 2.

Ecco il punto: non abbiamo un problema di SEO, al contrario abbiamo avuto un successo notevole. I posizionamenti su Mobile sono esplosi, portando 18.000 impression in più rispetto al mese precedente.

Il traffico Mobile, però, ha storicamente un CTR strutturalmente più basso del Desktop (più rumore in SERP, scrolling veloce, distrazioni). Quell’enorme afflusso di impression a basso CTR ha “annacquato” la media globale, trascinandola verso il basso. Il dato aggregato ci diceva “stiamo peggiorando”; il dato disaggregato ci dice “stiamo migliorando su tutta la linea, ma è cambiato il mix di traffico”.

La ragione matematica è semplice e va sempre tenuta bene a mente: il CTR aggregato non è la media dei CTR dei segmenti, ma una loro media pesata, dove i pesi sono le quote di impression di ciascun segmento. In formula:

dove \(\text{CTR}_i\) è il CTR del segmento i e \(w_i\) è il suo peso, cioè la frazione di impression che gli appartiene. Nel Mese 2 il peso del Mobile è passato da 1/6 a 2/3 del totale: anche se ogni singolo CTR è salito, la media si è spostata verso il valore (basso) del segmento diventato dominante. Non è la matematica a essere impazzita: è il mix a essere cambiato.

Ricostruiamo il tutto in R, così vediamo il meccanismo all’opera invece di prenderlo sulla fiducia:

# Ricostruisco i dati dei due mesi
dati <- data.frame(
  segmento   = c("Desktop", "Mobile", "Desktop", "Mobile"),
  mese       = c("Mese 1",  "Mese 1", "Mese 2",  "Mese 2"),
  impression = c(10000,     2000,     10000,     20000),
  clic       = c(500,       40,       550,       500)
)

# CTR di ciascun segmento
dati$ctr <- dati$clic / dati$impression

# CTR aggregato per mese: media PESATA sulle impression,
# NON la media aritmetica dei CTR
agg <- aggregate(cbind(clic, impression) ~ mese, data = dati, FUN = sum)
agg$ctr_aggregato <- agg$clic / agg$impression
print(agg)

Come si vede dall’output, l’aggregato scende da 4,5% a 3,5% mentre entrambi i segmenti salgono. n.b.: la media aritmetica dei due CTR del Mese 2 sarebbe il 4% (la semplice media tra 5,5% e 2,5%), ben diversa dal 3,5% reale. Tutta la differenza è nei pesi.

Altri due scenari SEO dove il paradosso colpisce

Il CTR per dispositivo è l’esempio da manuale, ma il Paradosso di Simpson si annida un po’ ovunque nelle nostre dashboard.

1. Il crollo del Conversion Rate (intento informazionale vs transazionale)

Lavoriamo su un e-commerce e il Conversion Rate organico passa dal 3% all’1,5%. Un disastro? Non necessariamente. Se abbiamo appena lanciato un blog aziendale che ha iniziato a posizionarsi bene per centinaia di keyword informazionali top-of-the-funnel, abbiamo portato sul sito migliaia di utenti lontani dall’acquisto (con un CR fisiologico vicino allo 0,1%). Il CR delle pagine prodotto può essere stabile o in crescita, ma la mole di traffico del blog ha distorto la media aggregata.

2. Cannibalizzazione o espansione del ranking?

Una nostra pagina prodotto storica rankava solo per 5 keyword transazionali esatte: 100 impression, 10 clic, CTR 10%. Decidiamo di ottimizzarne i contenuti e il mese dopo Google ne premia la semantica, posizionandola per 80 nuove keyword long-tail e correlate. Ora la pagina fa 5.000 impression e 100 clic: CTR 2%. Se guardiamo solo il CTR medio su Search Console sembra che l’ottimizzazione l’abbia distrutta; se guardiamo i clic assoluti, li abbiamo decuplicati.

Come difendersi (i takeaway per chi analizza)

Come sopravviviamo al Paradosso di Simpson quando presentiamo i dati a un cliente o a uno stakeholder? Quattro accortezze.

1. Non fidiamoci mai del solo dato aggregato. Quando analizziamo metriche relative (tassi di conversione, di clic, medie), il totale globale è spesso il numero meno utile di tutti.
2. Segmentiamo fino a trovare l’omogeneità. Dividiamo i dati per dimensioni logiche prima di trarre conclusioni: per dispositivo (Desktop/Mobile), per tipo di query (brand/non-brand), per tipo di pagina (blog/prodotto).
3. Cerchiamo il cambiamento dei pesi. Se un tasso globale crolla ma i sottogruppi tengono, chiediamoci: “è cambiato il mix del traffico?”. Quasi sempre un segmento a bassa performance ha aumentato di colpo i propri volumi.
4. Educhiamo il cliente. In un report non limitiamoci a mostrare il calo del CTR: mostriamo la tabella disaggregata. Spiegare il meccanismo non salva soltanto il report del mese, ci posiziona come analisti che ragionano sui dati invece di subirli.

I dati non mentono, ma i dati aggregati sono ottimi prestigiatori. La difesa più solida, però, non è statistica ma sperimentale: quando possiamo decidere noi come assegnare il traffico — randomizzando gli utenti tra due versioni di una pagina — il mix smette di essere una variabile fuori controllo. È esattamente ciò che facciamo con un A/B test condotto in modo rigoroso, il prossimo passo del nostro percorso: vedere come un esperimento controllato neutralizza alla radice le variabili confondenti che qui ci siamo limitati a smascherare.

Per approfondire

Se vogliamo approfondire il Paradosso di Simpson e l’arte di leggere i dati senza farci ingannare, L’arte della statistica di David Spiegelhalter è la lettura giusta: dedica pagine limpide proprio a questo paradosso — incluso il celebre caso delle ammissioni a Berkeley — mostrando come un numero aggregato possa raccontare l’esatto contrario di ciò che è successo nei dati.

E per scoprire quanti altri modi esistono di farsi ingannare dai numeri — campioni distorti, medie scelte ad arte, grafici truccati — Mentire con le statistiche di Darrell Huff è il piccolo classico del genere: scritto nel 1954, si legge in un pomeriggio e vale da vaccino permanente.

In questo articolo:

• Come scegliere chi misurare: i tipi di campionamento
• La dimensione campionaria: la matematica dietro la stima
• Calcoliamolo in R e Python
• Dalla stima all’A/B Testing
• Errore campionario vs Bias
• Prova tu

Nella vita di tutti i giorni, come nella web analytics, dobbiamo spesso prendere decisioni basate su informazioni incomplete. Quanti dati mi servono per capire se questa modifica alla landing page ha funzionato? Mille visite bastano? Diecimila sono troppe?

Non possiamo quasi mai misurare l’intera popolazione (ad esempio, tutti i futuri visitatori di un sito). Dobbiamo lavorare su un campione. E qui sta l’equilibrio delicato: un campione troppo piccolo porta a conclusioni sbagliate, uno inutilmente grande fa sprecare tempo e risorse. La domanda diventa allora: quanti dati ci servono davvero?

Come scegliere chi misurare: i tipi di campionamento

Prima di capire quanti dati ci servono, dobbiamo capire come raccoglierli. I tre metodi principali sono:

• Campionamento casuale semplice: Ogni utente ha esattamente la stessa probabilità di essere scelto. È il gold standard, quello che cerchiamo di ottenere quando randomizziamo gli utenti in un A/B test.
• Campionamento stratificato: Dividiamo gli utenti in gruppi (es. traffico Mobile e Desktop) e campioniamo casualmente all’interno di ogni gruppo, rispettando le proporzioni originali. Assicura che nessuna minoranza importante venga ignorata.
• Campionamento sistematico: Scegliamo un utente ogni k (es. un utente ogni 10). Facile da implementare, ma insidioso quando nei dati si nasconde una ciclicità (immaginiamo di campionare un utente ogni 7: se prendiamo solo i lunedì, la stima sarà deformata in partenza).

La dimensione campionaria: la matematica dietro la stima

L’intuizione è semplice: più è piccolo l’effetto che cerchiamo (o più i dati sono variabili), più dati ci servono per distinguerlo dal rumore di fondo. Sembra difficile da formalizzare? È più lineare di quanto sembri.

Per calcolare il numero esatto, ci servono tre ingredienti:

• Livello di confidenza: Quanto vogliamo essere sicuri? Di solito si usa il 95% (che corrisponde a uno Z-score di 1.96).
• Margine di errore (E): L’errore massimo che siamo disposti ad accettare (es. 1% o 0.01).
• Proporzione attesa (p): La stima del tasso di conversione. Se non ne abbiamo idea, usiamo 0.5 (50%): è il caso di massima incertezza e darà il campione più grande possibile, quindi la scelta più conservativa.

La formula per stimare una proporzione (come il Conversion Rate) è:

n = (Z² × p(1 – p)) / E²

Calcoliamolo in R e Python

Facciamo un esempio al volo. Vogliamo stimare il Conversion Rate di una nuova pagina con un margine di errore dell’1% (0.01) e un livello di confidenza del 95% (Z = 1.96). Per cautela, impostiamo p = 0.5.

Gli esempi seguono sia in R sia in Python: ognuno scelga il linguaggio con cui ha più familiarità.

Calcoliamo in R:

# Calcolo della dimensione campionaria per una proporzione
Z <- 1.96
p <- 0.5
E <- 0.01

n <- (Z^2 * p * (1-p)) / E^2
print(paste("Dimensione necessaria:", round(n)))
# Output: Dimensione necessaria: 9604

Verifichiamo in Python:

# Calcolo della dimensione campionaria per una proporzione
Z = 1.96
p = 0.5
E = 0.01

n = (Z**2 * p * (1-p)) / E**2
print(f"Dimensione necessaria: {round(n)}")
# Output: Dimensione necessaria: 9604

Come si vede, servono circa 9.604 utenti per avere quella precisione. n.b.: se accettassimo un margine di errore del 2% (E=0.02), il numero crollerebbe a circa 2.401. È l’effetto dell’E al quadrato a denominatore: dimezzare la pretesa di precisione significa dividere per quattro il campione richiesto. Va sempre tenuto bene a mente quando si decide quale margine accettare.

Dalla stima all’A/B Testing

La formula vista finora serve a stimare una singola proporzione. Ma nella pratica quotidiana della CRO (Conversion Rate Optimization) il problema è quasi sempre un altro: confrontare due proporzioni, come in un A/B test.

In quel caso la logica è la stessa, ma la formula si complica perché entrano in gioco due concetti nuovi: l’Effect Size (la minima differenza che vogliamo rilevare) e la Potenza Statistica (come dicono gli anglosassoni, power).

Per evitare di calcolarlo a mano ho preparato un calcolatore interattivo del sample size per A/B test: fa il lavoro sporco al posto nostro e indica anche per quanti giorni far girare il test, dato il traffico medio della pagina.

Errore campionario vs Bias

Va sempre tenuto bene a mente un punto, prima di chiudere. L’errore di campionamento (quello che la formula gestisce) è inevitabile e si riduce aumentando i dati. Ma c’è un nemico molto più insidioso, e nessuna formula lo cattura: il bias.

Se testiamo una pagina solo durante il weekend, possiamo anche raccogliere un milione di visite (errore campionario praticamente nullo), ma il campione non sarà rappresentativo degli utenti infrasettimanali. Dunque: nessuna formula può salvare un campione distorto all’origine. Meglio mille osservazioni ben raccolte di un milione raccolte male.

Prova tu

Una pagina prodotto riceve circa 10.000 impressioni al mese su Google, con un CTR osservato del 3,5%. Vogliamo stimare il vero CTR con un margine di errore di 1 punto percentuale (E = 0,01) e una confidenza del 95%.

1. Calcola la dimensione campionaria necessaria con la formula vista, prima usando p = 0,5 (caso conservativo) e poi p = 0,035 (CTR osservato).
2. Confronta i due risultati: di quanto cambia il fabbisogno di dati quando abbiamo una stima ragionevole di p?
3. Considerando le 10.000 impressioni al mese, in quanti mesi raccogliamo abbastanza dati per soddisfare la stima conservativa?
4. Se accettassimo un margine del 2% (E = 0,02), come cambierebbe il tempo di raccolta?

Suggerimento: in R basta una funzione minima — sample_size <- function(Z, p, E) ceiling((Z^2 * p * (1-p)) / E^2) — da chiamare due volte con i due valori di p.

Adesso sappiamo come raccogliere un campione adeguato e quanti dati ci servono. Resta una domanda: come usiamo quel campione per confrontare in modo rigoroso due versioni della stessa pagina? È qui che entra in gioco l’A/B testing vero e proprio, ed è il prossimo tassello del percorso.

Per approfondire

Se vuoi approfondire il tema del campionamento, dei bias che possono distorcerlo e della logica dell’inferenza statistica, L’arte della statistica di David Spiegelhalter è il compagno di viaggio più adatto. Spiegelhalter dedica pagine illuminanti a casi reali — sondaggi sbagliati, campioni di convenienza, statistiche che ingannano — e mostra come la matematica del campionamento valga poco senza una riflessione attenta su come i dati vengono raccolti.

Calcolare in anticipo la dimensione campionaria (sample size) è un passaggio fondamentale per evitare due errori classici: fermare il test troppo presto, dichiarando un vincitore che non c’è, oppure lasciarlo correre troppo a lungo, sprecando traffico e tempo. In altri termini, si tratta di trovare il punto di equilibrio tra risorse e rigore.

Chi ha letto l’articolo sul A/B Testing ricorderà che la power analysis è il metodo statistico che ci permette di determinare questa soglia. E chi ha approfondito gli intervalli di confidenza sa già che livello di significatività e potenza del test non sono concetti astratti, ma leve operative che influenzano direttamente la dimensione del campione.

Il calcolatore qui sotto automatizza questo processo: basta inserire i parametri del proprio test per ottenere immediatamente il numero di osservazioni necessarie per variante e, se si conosce il traffico giornaliero, una stima della durata in giorni.

Il calcolatore

Inseriamo i parametri del nostro A/B test e il calcolatore restituisce istantaneamente la dimensione campionaria necessaria.

La formula: come funziona il calcolo

Il calcolatore utilizza la formula classica per il confronto tra due proporzioni con un test a due code (two-tailed z-test). Vediamo passo dopo passo come si arriva al risultato.

Partiamo dai parametri che inseriamo:

• p₁: il tasso di conversione di base (controllo), espresso come proporzione. Se il nostro CR è del 5%, allora p₁ = 0.05.
• p₂: il tasso di conversione atteso per la variante. Se l’effetto minimo rilevabile (MDE) è del 20% relativo, allora p₂ = p₁ × (1 + MDE/100) = 0.05 × 1.20 = 0.06.
• α: il livello di significatività, cioè la probabilità di dichiarare un effetto quando non c’è (errore di tipo I). Con α = 0.05 lavoriamo al 95% di confidenza.
• 1 − β: la potenza del test, cioè la probabilità di rilevare un effetto quando effettivamente esiste. Con potenza 0.80, abbiamo l’80% di probabilità di cogliere l’effetto.

La formula è:

\( n = \frac{\left[z_{\alpha/2} + z_{\beta}\right]^2 \cdot \left[p_1(1-p_1) + p_2(1-p_2)\right]}{(p_1 – p_2)^2} \)

Dove z_α/2 e z_β sono i quantili della distribuzione normale standard. Per i valori più comuni:

• α = 0.05 → z_α/2 = 1.96
• α = 0.01 → z_α/2 = 2.576
• β = 0.20 (potenza 0.80) → z_β = 0.842
• β = 0.10 (potenza 0.90) → z_β = 1.282

Esempio numerico. Supponiamo di avere un tasso di conversione base del 3% e di voler rilevare un incremento relativo del 20% (cioè passare dal 3% al 3.6%), con α = 0.05 e potenza = 0.80:

• p₁ = 0.03, p₂ = 0.036
• z_α/2 = 1.96, z_β = 0.842
• Numeratore: (1.96 + 0.842)² × [0.03 × 0.97 + 0.036 × 0.964] = 7.849 × 0.0638 = 0.5008
• Denominatore: (0.03 − 0.036)² = 0.000036
• n = 0.5008 / 0.000036 ≈ 13.911 per variante

Dunque: per rilevare un effetto del 20% relativo su un CR del 3%, servono circa 13.900 osservazioni per variante (quasi 28.000 in totale). Numeri che fanno riflettere: se il nostro sito ha 500 visitatori al giorno, il test durerà circa 56 giorni. È uno dei motivi per cui, nella pratica, molti A/B test su siti a traffico medio richiedono settimane, non giorni.

Come usare il calcolatore

Come scegliere l’MDE. L’effetto minimo rilevabile è il parametro più delicato. Non chiediamoci “quanto vorremmo che migliorasse” ma piuttosto: qual è il miglioramento minimo che giustificherebbe lo sforzo di implementare la modifica? Un MDE del 5% relativo richiede campioni enormi; un MDE del 50% è facile da rilevare ma raramente realistico. La fascia 10-30% è un buon punto di partenza per la maggior parte dei test su conversion rate.

Un dettaglio importante: l’MDE nel calcolatore è relativo, non assoluto. Un MDE del 20% su un CR base del 5% significa che stiamo cercando di rilevare un passaggio dal 5% al 6% (cioè un punto percentuale assoluto, ma il 20% relativo del valore iniziale).

Come stimare il traffico giornaliero. Il traffico da inserire è quello delle pagine coinvolte nel test, non il traffico totale del sito. Se il test riguarda la pagina di checkout e questa riceve 300 visite al giorno, il valore corretto è 300. Possiamo ricavare questo dato dal nostro strumento di analytics (GA4, Matomo o simili) facendo una media degli ultimi 30 giorni per attenuare le oscillazioni giornaliere.

Potrebbe interessarti anche

• Calcolatore di Significatività per A/B Test (il complemento: da usare a test concluso)
• A/B Testing: guida ai test statistici per l’analisi A/B
• Intervalli di confidenza
• Il test delle ipotesi

Per approfondire

Il riferimento più completo sulla progettazione rigorosa di esperimenti online è: Trustworthy Online Controlled Experiments di Ron Kohavi, Diane Tang e Ya Xu. Copre sample size, power analysis e molto altro, con decenni di esperienza pratica in Microsoft e Google.

In qualsiasi dataset — sessioni giornaliere, click organici, tassi di conversione — possono nascondersi valori che non si comportano come gli altri. Valori che si discostano in modo anomalo dal resto della distribuzione. In statistica li chiamiamo outlier, o valori anomali.

Un punto va chiarito subito: un valore anomalo non è necessariamente un errore. Può essere un errore di misurazione, certo (un tag di tracciamento rotto, un bot che gonfia le sessioni). Ma può anche essere il segnale più importante dell’intero dataset: un aggiornamento dell’algoritmo di Google, un contenuto che diventa virale, un problema tecnico che abbatte il traffico. La questione non è eliminare le anomalie, ma riconoscerle — e poi decidere cosa farne.

In questo articolo esaminiamo tre metodi statistici per identificare i valori anomali, dal più intuitivo al più formale. Per ciascuno vedremo la logica, i limiti e l’applicazione pratica con R.

Il dataset di lavoro

Per rendere le cose concrete, costruiamo un dataset simulato ma realistico: le sessioni giornaliere di un sito web nell’arco di un anno. I dati seguono approssimativamente una distribuzione normale con media 250 e deviazione standard 50, ma con cinque anomalie inserite intenzionalmente — tre cali drastici e due picchi.

Generiamo i dati in R:

set.seed(42)
n <- 365
sessioni <- round(rnorm(n, mean = 250, sd = 50))
sessioni[sessioni < 0] <- 0

# Inietto 5 anomalie realistiche
sessioni[45]  <- 38   # giorno 45: problema tecnico
sessioni[120] <- 580  # giorno 120: articolo virale
sessioni[200] <- 22   # giorno 200: update Google
sessioni[300] <- 510  # giorno 300: menzione su social
sessioni[350] <- 15   # giorno 350: server down

Visualizziamo l’andamento con un semplice grafico temporale:

plot(1:n, sessioni, type = "l", col = "steelblue",
     xlab = "Giorno", ylab = "Sessioni",
     main = "Sessioni giornaliere - un anno di traffico")
abline(h = mean(sessioni), col = "red", lty = 2)

A occhio, qualche picco e qualche calo si nota. Ma dove tracciamo il confine tra variazione naturale e anomalia? Servono criteri oggettivi.

Metodo 1: lo z-score

Abbiamo incontrato lo z-score parlando della distribuzione normale. Lo z-score ci dice quante deviazioni standard un valore dista dalla media:

\(
z = \frac{x – \mu}{\sigma} \\
\)

dove \(x\) è il valore osservato, \(\mu\) è la media e \(\sigma\) la deviazione standard. Un valore con z-score pari a 2 si trova a due deviazioni standard dalla media; uno con z-score pari a -3 si trova a tre deviazioni standard sotto la media.

Ricordiamo la regola empirica: in una distribuzione normale, circa il 99.7% dei dati cade entro tre deviazioni standard dalla media. Un valore con |z| > 3 è dunque estremamente raro — meno dello 0.3% di probabilità sotto ipotesi di normalità.

Calcoliamo gli z-score per il nostro dataset e identifichiamo le anomalie:

z <- (sessioni - mean(sessioni)) / sd(sessioni)

# Soglia conservativa: |z| > 3
anomalie_z3 <- which(abs(z) > 3)
cat("Giorni anomali (|z| > 3):", anomalie_z3, "\n")
cat("Sessioni:", sessioni[anomalie_z3], "\n")
cat("Z-score:", round(z[anomalie_z3], 2), "\n")

Il risultato:

Giorni anomali (|z| > 3): 45 120 200 300 350
Sessioni: 38 580 22 510 15
Z-score: -3.75 5.92 -4.03 4.67 -4.16

Con la soglia |z| > 3, lo z-score identifica esattamente le cinque anomalie che avevamo inserito. Nessun falso positivo, nessun falso negativo — un risultato quasi perfetto.

Ma attenzione: se abbassiamo la soglia a |z| > 2, le anomalie salgono a 14. Molti di quei valori sono semplicemente dati nella coda della distribuzione, non anomalie reali. La scelta della soglia non è un dettaglio tecnico: è una decisione analitica che dipende da quanto siamo disposti a tollerare falsi allarmi.

C’è un limite importante in questo metodo. Lo z-score assume che i dati seguano (almeno approssimativamente) una distribuzione normale. Se la distribuzione è fortemente asimmetrica — e i dati di traffico web spesso lo sono, con lunghe code a destra — la media e la deviazione standard possono essere distorte proprio dagli outlier che stiamo cercando di individuare. È un circolo vizioso: le anomalie influenzano le statistiche che usiamo per trovarle.

Metodo 2: IQR e il metodo di Tukey

Le misure di posizione — quartili e mediana — ci offrono un approccio che non richiede ipotesi sulla forma della distribuzione. Il metodo di Tukey, dal nome del grande statistico John Tukey, usa l’intervallo interquartile (IQR) come metro di misura.

L’IQR, come abbiamo visto parlando delle misure di variabilità, è la differenza tra il terzo quartile (\(Q_3\), il 75-esimo percentile) e il primo quartile (\(Q_1\), il 25-esimo percentile). Rappresenta la dispersione del 50% centrale dei dati — la parte “solida” della distribuzione, immune alle code.

La regola di Tukey è semplice: un valore è considerato anomalo se cade al di fuori dei cosiddetti cardini (in inglese fences):

\(
\text{anomalia se } x < Q_1 – 1.5 \cdot IQR \quad \text{oppure} \quad x > Q_3 + 1.5 \cdot IQR \\
\)

Perché 1.5? Tukey non scelse questo valore a caso. Per una distribuzione normale, i cardini a 1.5 IQR corrispondono approssimativamente a 2.7 deviazioni standard dalla media — una soglia ragionevolmente conservativa che cattura circa lo 0.7% delle osservazioni nelle code. Abbastanza severa da non segnalare troppi falsi positivi, abbastanza sensibile da non lasciarsi sfuggire le anomalie importanti.

Applichiamo il metodo al nostro dataset:

Q1 <- quantile(sessioni, 0.25)
Q3 <- quantile(sessioni, 0.75)
IQR_val <- Q3 - Q1

limite_inf <- Q1 - 1.5 * IQR_val
limite_sup <- Q3 + 1.5 * IQR_val

cat("Q1:", Q1, " Q3:", Q3, " IQR:", IQR_val, "\n")
cat("Limite inferiore:", limite_inf, "\n")
cat("Limite superiore:", limite_sup, "\n")

anomalie_iqr <- which(sessioni < limite_inf | sessioni > limite_sup)
cat("Giorni anomali:", anomalie_iqr, "\n")
cat("Sessioni:", sessioni[anomalie_iqr], "\n")

Il risultato:

Q1: 215  Q3: 282  IQR: 67
Limite inferiore: 114.5
Limite superiore: 382.5
Giorni anomali: 45 59 118 120 200 300 350
Sessioni: 38 100 385 580 22 510 15

Il metodo di Tukey trova 7 anomalie: le nostre 5 iniettate più due valori al confine (il giorno 59 con 100 sessioni e il giorno 118 con 385). Sono davvero anomali? 100 sessioni è effettivamente un valore basso per un sito con media 250, e 385 è alto rispetto ai quartili. La decisione, ancora una volta, spetta all’analista.

R offre un modo elegante per visualizzare le anomalie con il metodo di Tukey — il boxplot:

boxplot(sessioni, main = "Sessioni giornaliere",
        ylab = "Sessioni", col = "lightblue", outline = TRUE)
# I punti oltre i baffi sono le anomalie secondo Tukey

Il grande vantaggio di questo metodo rispetto allo z-score è la robustezza: mediana e quartili non vengono influenzati dagli outlier. Non abbiamo bisogno di assumere che i dati siano normali. Il metodo di Tukey funziona anche con distribuzioni asimmetriche — e per chi lavora con dati web, questa non è una caratteristica da poco.

Il limite: il metodo non distingue tra anomalie “grandi” e “enormi”. Un valore appena fuori dal cardine e uno completamente fuori scala ricevono lo stesso trattamento — sono entrambi “anomali”, punto.

Metodo 3: il test di Grubbs

I primi due metodi si basano su regole empiriche: soglie sullo z-score, soglie sull’IQR. Ma se vogliamo un approccio formale — con un test di ipotesi vero e proprio — possiamo ricorrere al test di Grubbs.

L’idea è questa: prendiamo il valore più estremo del dataset (quello più lontano dalla media) e ci chiediamo se è compatibile con il resto dei dati, oppure se è “troppo” estremo per essere frutto del caso.

Le ipotesi sono:

• \(H_0\): non ci sono outlier nel dataset
• \(H_1\): il valore più estremo è un outlier

La statistica del test è:

\(
G = \frac{\max |x_i – \bar{x}|}{s} \\
\)

dove \(\bar{x}\) è la media e \(s\) la deviazione standard. In altri termini, \(G\) è il massimo z-score in valore assoluto. Il valore critico si ricava dalla distribuzione t di Student con \(n-2\) gradi di libertà.

Applichiamo il test in R usando il pacchetto outliers:

library(outliers)

risultato <- grubbs.test(sessioni)
print(risultato)

Il risultato:

Grubbs test for one outlier
data:  sessioni
G = 5.9228, U = 0.9037, p-value = 2.339e-07
alternative hypothesis: highest value 580 is an outlier

Il test identifica 580 (il picco del giorno 120, il nostro “articolo virale”) come outlier, con un p-value praticamente nullo. L’evidenza è schiacciante: quel valore non è compatibile con il resto della distribuzione.

Ma va tenuto bene a mente un limite fondamentale del test di Grubbs: testa un solo outlier alla volta — il più estremo. Se sospettiamo la presenza di anomalie multiple (come nel nostro caso), dobbiamo applicare il test in modo iterativo: rimuovere l’outlier identificato, ricalcolare, testare di nuovo.

Facciamolo:

dati <- sessioni
outlier_trovati <- c()

for(i in 1:5) {
  g <- grubbs.test(dati)
  if(g$p.value < 0.05) {
    # Estraggo il valore outlier dal risultato
    outlier_val <- as.numeric(gsub("[^0-9.]", "",
                     regmatches(g$alternative,
                     regexpr("[0-9.]+", g$alternative))))
    outlier_trovati <- c(outlier_trovati, outlier_val)
    dati <- dati[dati != outlier_val]
    cat("Iterazione", i, "- Outlier:", outlier_val,
        "- p-value:", format(g$p.value, digits = 3), "\n")
  } else {
    cat("Iterazione", i, "- Nessun outlier (p =",
        round(g$p.value, 3), ")\n")
    break
  }
}

Questo approccio iterativo è efficace, ma insidioso: ogni volta che rimuoviamo un valore, cambiamo la distribuzione. La media e la deviazione standard si spostano, e ciò che prima non era anomalo potrebbe diventarlo. È un procedimento da usare con cautela e consapevolezza.

Confronto tra i tre metodi

Abbiamo applicato tre metodi allo stesso dataset. Vediamo cosa ha trovato ciascuno:

Le cinque anomalie iniettate vengono trovate da tutti e tre i metodi. Il metodo di Tukey è il più sensibile: segnala anche due valori al confine che gli altri metodi lasciano passare. Lo z-score con soglia 3 è preciso ma dipende dall’ipotesi di normalità. Grubbs è il più formale ma richiede l’approccio iterativo per anomalie multiple.

La lezione importante è: non esiste il metodo giusto in assoluto. Esiste il metodo giusto per quei dati e per quella domanda. Nella pratica quotidiana, un approccio sensato è applicare più di un metodo e concentrarsi sui valori che vengono segnalati in modo concorde.

Riassumiamo in R i tre metodi a confronto:

# Creo un riepilogo per ogni giorno
riepilogo <- data.frame(
  giorno = 1:n,
  sessioni = sessioni,
  z_score = round(z, 2),
  anomalia_z = abs(z) > 3,
  anomalia_iqr = sessioni < limite_inf | sessioni > limite_sup
)

# Mostro solo le righe anomale per almeno un metodo
anomale <- riepilogo[riepilogo$anomalia_z | riepilogo$anomalia_iqr, ]
print(anomale)

Prova tu

Un e-commerce ha monitorato il CTR delle proprie pagine prodotto per 30 giorni. Ecco i dati:

ctr <- c(3.2, 2.8, 3.1, 2.9, 3.0, 3.3, 2.7, 3.1, 2.8, 3.0,
         0.4, 3.2, 2.9, 3.1, 2.8, 3.0, 2.9, 7.8, 3.1, 2.7,
         3.0, 3.2, 2.8, 3.1, 2.9, 3.0, 2.8, 3.1, 3.0, 2.9)

Il giorno 11 e il giorno 18 sembrano sospetti. Applica i tre metodi: lo z-score con soglia |z| > 3, il metodo di Tukey e il test di Grubbs. Tutti e tre concordano? Quale dei due valori è più chiaramente anomalo, e perché?

Fin qui abbiamo trattato ogni osservazione come indipendente dalle altre. Abbiamo chiesto: “questo valore è compatibile con la distribuzione complessiva?” Ma i dati di traffico web hanno una struttura temporale: trend, stagionalità, cicli settimanali. Un calo del 30% a dicembre potrebbe essere perfettamente normale per un sito B2B, mentre lo stesso calo a settembre sarebbe allarmante.

Per distinguere un’anomalia reale dalla semplice stagionalità servono strumenti diversi — la decomposizione delle serie storiche in trend, componente stagionale e residuo. Sarà l’argomento di un prossimo articolo.

Per approfondire

Per chi volesse approfondire il tema dei valori anomali e del ragionamento statistico sui dati inattesi, L’arte della statistica di David Spiegelhalter è una lettura che affronta il problema con chiarezza e numerosi esempi dal mondo reale. Si trova qui.

Per una trattazione più formale dei test per outlier (Grubbs, Rosner, Dixon), il manuale Statistica di Newbold, Carlson e Thorne offre la copertura completa con esercizi. Si trova qui.

Questo approccio — che si chiama frequentista — ha una logica chiara: il parametro che vogliamo stimare è un valore fisso (anche se sconosciuto), e noi lo “inseguiamo” con i dati. Ma esiste un altro modo di pensare l’incertezza, un modo che permette di aggiornare le nostre convinzioni man mano che arrivano nuovi dati. Si chiama approccio bayesiano, e in questo articolo ne costruiamo le fondamenta.

Partiamo da un esempio concreto. Immaginiamo di aver appena lanciato una campagna di advertising e di non conoscere il vero tasso di click. Abbiamo un’opinione iniziale, basata sull’esperienza (“di solito i tassi di click stanno tra lo 0% e il 20%”), e poi arrivano i dati. L’approccio bayesiano ci permette di combinare la nostra opinione iniziale con i dati osservati per ottenere una stima aggiornata — e di ripetere questo processo ogni volta che arrivano nuove informazioni.

Due modi di pensare l’incertezza: frequentisti e bayesiani

Prima di entrare nella meccanica, chiariamo la differenza concettuale tra i due approcci. Non si tratta di una guerra: sono due modi diversi di rispondere alle stesse domande.

L’approccio frequentista, quello che abbiamo usato finora, tratta il parametro come un numero fisso e ragiona sulla distribuzione dei dati. L’approccio bayesiano capovolge la prospettiva: tratta i dati come fissi (li abbiamo osservati, non cambiano) e ragiona sulla distribuzione del parametro, cioè su quanto crediamo plausibili i vari valori che il parametro potrebbe assumere.

Il vantaggio pratico del bayesiano è che può incorporare conoscenza pregressa. Se sappiamo qualcosa sul parametro prima di raccogliere i dati (per esperienza, per studi precedenti, per buon senso), possiamo usare quella conoscenza. E poi aggiornarla.

Il Teorema di Bayes

Il cuore dell’approccio bayesiano è una formula che risale al 1763, al reverendo Thomas Bayes. Partiamo dalla probabilità condizionata: la probabilità di A dato B.

Sappiamo dalla teoria della probabilità che:

\(
P(A|B) = \frac{P(A \cap B)}{P(B)} \\
\)

e simmetricamente:

\(
P(B|A) = \frac{P(A \cap B)}{P(A)} \\
\)

Da queste due relazioni, ricavando \(P(A \cap B)\) dalla seconda e sostituendo nella prima, otteniamo il Teorema di Bayes:

\(
P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} \\
\)

Fin qui è algebra. La magia avviene quando applichiamo questa formula al nostro problema: stimare un parametro \(\theta\) (ad esempio, il tasso di click) a partire dai dati osservati. Il teorema diventa:

\(
P(\theta | \text{dati}) = \frac{P(\text{dati} | \theta) \cdot P(\theta)}{P(\text{dati})} \\
\)

Ogni pezzo di questa formula ha un nome e un ruolo preciso:

• Prior \(P(\theta)\): ciò che crediamo sul parametro prima di vedere i dati. È la nostra conoscenza pregressa, il nostro punto di partenza.
• Likelihood \(P(\text{dati} | \theta)\): quanto i dati osservati sono compatibili con ciascun valore possibile di \(\theta\). È la stessa funzione di verosimiglianza che compare anche nell’approccio frequentista.
• Posterior \(P(\theta | \text{dati})\): ciò che crediamo sul parametro dopo aver visto i dati. È il risultato finale, la nostra conoscenza aggiornata.
• Evidence \(P(\text{dati})\): la probabilità marginale dei dati. In pratica, è una costante di normalizzazione che fa sì che il posterior sia una distribuzione di probabilità valida.

Poiché l’evidence è costante (non dipende da \(\theta\)), possiamo scrivere la relazione fondamentale:

\(
P(\theta | \text{dati}) \propto P(\text{dati} | \theta) \cdot P(\theta) \\
\)

In parole: il posterior è proporzionale al likelihood moltiplicato per il prior. Più dati raccogliamo, più il likelihood “domina” e il posterior si concentra attorno ai valori supportati dai dati. Ma con pochi dati, il prior conta — e conta molto.

Esempio numerico: il tasso di click di una campagna ads

Passiamo alla pratica. Abbiamo lanciato una campagna pubblicitaria: l’annuncio è stato mostrato 100 volte e ha ricevuto 13 click. Qual è il vero tasso di click?

Il prior: non sappiamo quasi nulla, ma per esperienza riteniamo che i tassi di click stiano tipicamente tra lo 0% e il 20%. Modelliamo questa incertezza con una distribuzione uniforme su [0, 0.20].

L’approccio: usiamo una simulazione. Generiamo molti valori plausibili dal prior, simuliamo i dati che ciascun valore produrrebbe, e teniamo solo quelli compatibili con ciò che abbiamo effettivamente osservato (13 click su 100). Ciò che rimane è il posterior.

set.seed(42)

n_samples <- 100000
n_ads_shown <- 100
n_clicks_observed <- 13

# 1. Generiamo campioni dal prior: uniforme tra 0 e 0.20
proportion_clicks <- runif(n_samples, min = 0.0, max = 0.20)

# 2. Per ogni valore di proporzione, simuliamo quanti click otterremmo
n_visitors <- rbinom(n_samples, size = n_ads_shown, prob = proportion_clicks)

# 3. Costruiamo il data frame con prior e dati simulati
prior <- data.frame(proportion_clicks, n_visitors)

# 4. Conditioning: teniamo solo i campioni compatibili con 13 click
posterior <- prior[prior$n_visitors == n_clicks_observed, ]

cat("Campioni nel prior:", nrow(prior), "\n")
cat("Campioni nel posterior:", nrow(posterior), "\n")
cat("Media del posterior:", round(mean(posterior$proportion_clicks) * 100, 1), "%\n")
cat("Mediana del posterior:", round(median(posterior$proportion_clicks) * 100, 1), "%\n")

Risultato: dei 100.000 campioni iniziali, circa 4.700 sopravvivono al conditioning (il numero esatto varia per via della simulazione). La media e la mediana del posterior sono circa il 13.4%: un valore molto vicino ai 13 click su 100 che abbiamo osservato.

Visualizziamo la trasformazione dal prior al posterior:

par(mfrow = c(1, 2))

# Prior
hist(prior$proportion_clicks, breaks = 30, probability = TRUE,
     main = "Prior\n(uniforme 0-20%)",
     col = "lightyellow", xlab = "Tasso di click",
     ylab = "Densità", xlim = c(0, 0.25))

# Posterior
hist(posterior$proportion_clicks, breaks = 30, probability = TRUE,
     main = "Posterior\n(dopo 13/100 click)",
     col = "lightblue", xlab = "Tasso di click",
     ylab = "Densità", xlim = c(0, 0.25))

La differenza è evidente. Il prior è una distribuzione piatta (uniforme): tutti i valori tra 0% e 20% sono considerati ugualmente plausibili. Il posterior, invece, si concentra attorno al 13%, con una forma a campana. I dati hanno "informato" la nostra incertezza.

Il credible interval al 95%:

ci_95 <- quantile(posterior$proportion_clicks, probs = c(0.025, 0.975))
cat("Credible interval al 95%:", round(ci_95[1] * 100, 1), "% -",
    round(ci_95[2] * 100, 1), "%\n")

Il credible interval al 95% è circa 7.7% - 19.1%. Questo significa esattamente ciò che sembra: c'è il 95% di probabilità che il vero tasso di click sia compreso tra il 7.7% e il 19.1%.

Confronto con l'IC frequentista:

prop_test <- prop.test(13, 100, correct = FALSE)
cat("IC frequentista al 95%:", round(prop_test$conf.int[1] * 100, 1), "% -",
    round(prop_test$conf.int[2] * 100, 1), "%\n")

L'IC frequentista al 95% è circa 7.8% - 21.0%. I numeri sono simili, ma l'interpretazione è diversa: l'IC frequentista ci dice che "se ripetessimo il campionamento 100 volte, 95 intervalli conterrebbero il vero parametro". Il credible interval bayesiano ci dice direttamente la probabilità che il parametro sia nell'intervallo. Quest'ultima è l'interpretazione che la maggior parte delle persone crede di dare all'intervallo di confidenza — ma che, nell'approccio frequentista, è tecnicamente scorretta.

L'aggiornamento sequenziale: il posterior di oggi è il prior di domani

Ecco il punto in cui l'approccio bayesiano rivela la sua eleganza. Supponiamo che la campagna continui: dopo altri giorni, abbiamo 150 nuove impression e 20 nuovi click. Come aggiorniamo la nostra stima?

Il principio è semplice: il posterior che abbiamo appena calcolato diventa il nuovo prior. Non dobbiamo ricominciare da zero; partiamo da dove eravamo rimasti.

# Il posterior precedente diventa il nuovo prior
prior_aggiornato <- posterior

# Nuovi dati: 150 impression, 20 click
n_ads_nuovi <- 150
n_clicks_nuovi <- 20

# Simuliamo i dati con le proporzioni del prior aggiornato
n_samples_aggiornato <- nrow(prior_aggiornato)
prior_aggiornato$n_visitors <- rbinom(n_samples_aggiornato,
                                       size = n_ads_nuovi,
                                       prob = prior_aggiornato$proportion_clicks)

# Conditioning: teniamo solo i campioni compatibili con 20 click
posterior_aggiornato <- prior_aggiornato[prior_aggiornato$n_visitors == n_clicks_nuovi, ]

cat("Campioni nel posterior aggiornato:", nrow(posterior_aggiornato), "\n")
cat("Media:", round(mean(posterior_aggiornato$proportion_clicks) * 100, 1), "%\n")

# Nuovo credible interval
ci_aggiornato <- quantile(posterior_aggiornato$proportion_clicks, probs = c(0.025, 0.975))
cat("Credible interval al 95%:", round(ci_aggiornato[1] * 100, 1), "% -",
    round(ci_aggiornato[2] * 100, 1), "%\n")

In totale ora abbiamo osservato 33 click su 250 impression (13.2%). La media del posterior aggiornato è circa il 13.5%, e il credible interval al 95% si è ristretto a circa 9.6% - 17.9% (rispetto al 7.7% - 19.1% precedente). La distribuzione si è "stretta": abbiamo più dati, quindi siamo più sicuri.

Visualizziamo l'evoluzione:

par(mfrow = c(1, 3))

# Prior originale
hist(runif(10000, 0, 0.20), breaks = 30, probability = TRUE,
     main = "1. Prior originale\n(uniforme 0-20%)",
     col = "lightyellow", xlab = "Tasso di click",
     ylab = "Densità", xlim = c(0, 0.25))

# Posterior dopo primi dati (13/100)
hist(posterior$proportion_clicks, breaks = 30, probability = TRUE,
     main = "2. Dopo 13/100 click",
     col = "lightblue", xlab = "Tasso di click",
     ylab = "Densità", xlim = c(0, 0.25))

# Posterior dopo secondi dati (33/250 totali)
hist(posterior_aggiornato$proportion_clicks, breaks = 30, probability = TRUE,
     main = "3. Dopo 33/250 click",
     col = "lightgreen", xlab = "Tasso di click",
     ylab = "Densità", xlim = c(0, 0.25))

Il messaggio visivo è immediato: la distribuzione si sposta e si stringe. Da un'incertezza totale (tutto tra 0% e 20%), passando per una stima ragionevole (centrata sul 13%), arriviamo a una stima più precisa attorno al 13.2%. Più dati raccogliamo, più il posterior si concentra attorno al valore vero.

Questo è l'aggiornamento bayesiano: un processo iterativo in cui l'informazione si accumula. Non buttiamo via niente di ciò che sapevamo prima; lo integriamo con le nuove evidenze.

Prior informativi e non informativi

Negli esempi precedenti abbiamo usato un prior uniforme: "tutti i valori tra 0% e 20% sono ugualmente plausibili". Questo si chiama prior non informativo (o debolmente informativo): non esprime una preferenza forte per nessun valore.

Ma nella pratica spesso sappiamo qualcosa. Se abbiamo già gestito molte campagne pubblicitarie, sappiamo che i tassi di click stanno tipicamente tra il 5% e il 15%, con una concentrazione attorno al 10%. Possiamo esprimere questa conoscenza con un prior informativo, ad esempio una distribuzione centrata su 0.10 con dispersione ridotta.

Confrontiamo i due approcci sugli stessi dati (13 click su 100 impression):

set.seed(42)

n_samples <- 100000
n_ads_shown <- 100
n_clicks_observed <- 13

# --- Prior non informativo: uniforme (0, 0.20) ---
prior_flat <- runif(n_samples, min = 0.0, max = 0.20)
sim_flat <- rbinom(n_samples, size = n_ads_shown, prob = prior_flat)
posterior_flat <- prior_flat[sim_flat == n_clicks_observed]

# --- Prior informativo: centrato su 10%, concentrato tra 5% e 15% ---
# Usiamo una distribuzione beta(20, 180) che ha media ~10% e varianza ridotta
prior_info <- rbeta(n_samples, shape1 = 20, shape2 = 180)
sim_info <- rbinom(n_samples, size = n_ads_shown, prob = prior_info)
posterior_info <- prior_info[sim_info == n_clicks_observed]

# Confronto
cat("=== Prior non informativo (uniforme) ===\n")
cat("Media posterior:", round(mean(posterior_flat) * 100, 1), "%\n")
cat("Credible interval 95%:", round(quantile(posterior_flat, 0.025) * 100, 1), "% -",
    round(quantile(posterior_flat, 0.975) * 100, 1), "%\n\n")

cat("=== Prior informativo (centrato su 10%) ===\n")
cat("Media posterior:", round(mean(posterior_info) * 100, 1), "%\n")
cat("Credible interval 95%:", round(quantile(posterior_info, 0.025) * 100, 1), "% -",
    round(quantile(posterior_info, 0.975) * 100, 1), "%\n")

Il posterior con prior informativo è leggermente "tirato" verso il 10% (la nostra esperienza pregressa), mentre quello con prior uniforme segue più fedelmente i dati. Con 13 click su 100, la differenza è modesta; ma con 5 click su 20, sarebbe molto più marcata.

Visualizziamo:

par(mfrow = c(1, 2))

hist(posterior_flat, breaks = 30, probability = TRUE,
     main = "Posterior con prior\nnon informativo",
     col = "lightyellow", xlab = "Tasso di click",
     ylab = "Densità", xlim = c(0, 0.25))

hist(posterior_info, breaks = 30, probability = TRUE,
     main = "Posterior con prior\ninformativo (10%)",
     col = "lightcoral", xlab = "Tasso di click",
     ylab = "Densità", xlim = c(0, 0.25))

Questa è una proprietà fondamentale dell'inferenza bayesiana: con pochi dati, il prior conta molto; con molti dati, il prior viene "sommerso" dai dati. Se avessimo 10.000 impression e 1.300 click, i due posterior sarebbero praticamente identici, indipendentemente dal prior scelto. I dati, alla lunga, vincono sempre.

Credible interval vs confidence interval

Questo è il punto in cui le strade si separano in modo chiaro. Nell'articolo sugli intervalli di confidenza abbiamo visto un punto fondamentale: l'intervallo di confidenza al 95% non significa che c'è il 95% di probabilità che il parametro sia nell'intervallo. È una proprietà della procedura, non del singolo intervallo.

Il credible interval bayesiano al 95%, invece, significa esattamente quello che sembra: c'è il 95% di probabilità che il parametro si trovi in quell'intervallo. È un'affermazione diretta su ciò che non conosciamo, non un'affermazione sulla procedura.

Rivediamo i numeri del nostro esempio (13 click su 100 impression):

I numeri sono simili — e questo non è un caso. Con campioni grandi e prior non informativi, i due approcci convergono. Ma l'interpretazione è profondamente diversa, e il credible interval è molto più intuitivo: "c'è il 95% di probabilità che il tasso di click sia tra il 7.7% e il 19.1%" è una frase che chiunque può comprendere e usare per prendere decisioni.

Quando usare l'approccio bayesiano

Non c'è un vincitore assoluto. La scelta dipende dal contesto:

L'approccio bayesiano funziona particolarmente bene quando:

• Abbiamo pochi dati ma una conoscenza pregressa ragionevole. Il prior ci permette di ottenere stime sensate anche con campioni piccoli.
• Ci serve un aggiornamento continuo: i dati arrivano nel tempo e vogliamo aggiornare la nostra stima progressivamente, senza ricominciare ogni volta da zero.
• Vogliamo comunicare l'incertezza in modo diretto. Il credible interval è molto più intuitivo dell'intervallo di confidenza: dire "c'è il 90% di probabilità che il tasso di conversione sia tra il 3% e il 7%" è chiaro anche per chi non ha formazione statistica.

L'approccio frequentista resta preferibile quando:

• Servono risultati standardizzati e ripetibili. I test frequentisti non dipendono da scelte soggettive (come il prior), e questo li rende più facili da confrontare e replicare.
• Lavoriamo in contesti dove le convenzioni sono stabilite (pubblicazioni scientifiche, report regolamentari).
• Abbiamo grandi campioni: con molti dati, i due approcci danno risultati praticamente identici, e il frequentista è spesso più semplice da implementare.

Nella pratica, molti professionisti usano entrambi gli approcci a seconda del contesto. L'A/B testing, ad esempio, può essere condotto in modo frequentista (come abbiamo visto nell'articolo dedicato) o in modo bayesiano — e alcune piattaforme di testing usano proprio l'approccio bayesiano per poter aggiornare i risultati in tempo reale.

Verso la distribuzione Beta

Abbiamo visto come l'aggiornamento bayesiano funzioni con la simulazione: generare campioni, simulare dati, filtrare. È un metodo potente e intuitivo, ma ha un limite pratico: ad ogni passaggio perdiamo campioni. Dopo due aggiornamenti, dei 100.000 campioni iniziali ne rimangono pochi.

La buona notizia è che, per il caso delle proporzioni (tassi di click, tassi di conversione, percentuali di successo), esiste una soluzione analitica elegante. La distribuzione Beta, che abbiamo già incontrato, è la distribuzione naturale per descrivere la nostra incertezza su una proporzione. E quando il prior è una distribuzione Beta e i dati sono binomiali (successo/insuccesso), il posterior è ancora una distribuzione Beta — con parametri aggiornati.

Questo significa che l'intero aggiornamento bayesiano si riduce a una semplice operazione sui parametri, senza bisogno di simulazioni. Ma questa è una storia per il prossimo articolo.

Prova tu

Un e-commerce ha un tasso di conversione storico intorno al 3%. Dopo un redesign della pagina prodotto, su 200 visite si osservano 10 conversioni (5%).

1. Costruisci un modello bayesiano con prior uniforme tra 0% e 10% (incertezza iniziale: il tasso potrebbe essere qualsiasi valore in quel range).
2. Usa la simulazione (come nell'esempio dell'articolo) per ottenere il posterior.
3. Calcola il credible interval al 95%.
4. Calcola la probabilità che il vero tasso di conversione sia superiore al 3%.

Suggerimento: il codice è quasi identico a quello dell'esempio sulla campagna ads. Cambia il prior (runif(n, 0, 0.10)), il numero di visite (200) e il numero di conversioni osservate (10). Per la domanda 4, conta quanti campioni del posterior sono superiori a 0.03 e dividi per il totale.

Per approfondire

Se vuoi esplorare la statistica bayesiana con un approccio accessibile e sorprendentemente divertente, Bayesian Statistics the Fun Way di Will Kurt è una lettura che consiglio. Kurt riesce a spiegare prior, posterior e aggiornamento bayesiano con esempi concreti che non richiedono una laurea in matematica — e usa R per la parte computazionale, esattamente come facciamo qui. È il libro ideale per chi vuole capire la logica bayesiana prima di affrontare la teoria formale.

Ma c’è una domanda che, nella realtà operativa di chi fa SEO e marketing, si presenta con una frequenza quasi quotidiana: quale variante funziona meglio? Quale title tag porta più click? Quale landing page converte di più? Quale meta description attira l’attenzione? Non è una domanda accademica: è la domanda che separa le decisioni basate sui dati dalle opinioni travestite da strategie.

La buona notizia è che per rispondere abbiamo già tutti gli strumenti. L’A/B testing non è altro che l’applicazione diretta dei concetti di inferenza statistica che abbiamo costruito passo dopo passo: test delle ipotesi, confronto tra gruppi, significatività. In questo articolo mettiamo tutto insieme.

Cos’è un A/B test

Un A/B test è, nella sua essenza, un esperimento controllato: prendiamo due varianti di qualcosa (una pagina, un titolo, una call-to-action), assegniamo casualmente gli utenti a una delle due varianti, e misuriamo quale produce risultati migliori.

La variante A è il controllo (la versione attuale, quella che stiamo già usando). La variante B è il trattamento (la nuova versione che vogliamo testare). La logica è la stessa di un esperimento scientifico: cambiamo una sola variabile alla volta, manteniamo tutto il resto costante, e osserviamo se il cambiamento produce un effetto misurabile.

Tre elementi rendono un A/B test affidabile. La randomizzazione: gli utenti vengono assegnati a A o B in modo casuale. Questo è fondamentale, perché se mostrassimo A di mattina e B di pomeriggio, ogni differenza osservata potrebbe dipendere dall’orario, non dalla variante. Il gruppo di controllo: senza A come riferimento, non sapremmo se i risultati di B sono buoni o cattivi. E infine una metrica di successo definita in anticipo: CTR, tasso di conversione, tempo sulla pagina. La metrica va scelta prima di raccogliere i dati, non dopo (torneremo su questo punto tra poco).

Ma perché serve la statistica? Perché i dati sono rumorosi. Se la variante A ha un CTR del 5.0% e la variante B del 5.3%, quella differenza è reale o è solo fluttuazione casuale? L’occhio nudo non può distinguere: ci serve un test formale. Ed è esattamente il test per due campioni che abbiamo già visto — applicato a proporzioni anziché a medie.

Formulare correttamente un A/B test

Prima di raccogliere dati, dobbiamo impostare il test in modo rigoroso. Vediamo come.

Scegliere la metrica. La metrica deve essere chiara, misurabile e direttamente collegata all’obiettivo. Per un title tag, la metrica naturale è il CTR (Click-Through Rate). Per una landing page, il tasso di conversione. Per un articolo del blog, magari il tempo medio sulla pagina. Va sempre tenuto bene a mente: una metrica vaga (“la pagina piace di più”) non è una metrica.

Definire le ipotesi. Come in ogni test statistico, partiamo da un’ipotesi nulla e un’ipotesi alternativa:

• \(H_0\): le due varianti hanno lo stesso effetto (nessuna differenza tra A e B)
• \(H_1\): le due varianti hanno un effetto diverso (esiste una differenza)

Il test statistico. Quando confrontiamo due proporzioni (come due CTR o due tassi di conversione), il test appropriato è lo z-test per due proporzioni. La logica è la stessa del t-test per due campioni, ma adattata a dati binari (click/non-click, conversione/non-conversione).

La statistica test si calcola così. Prima, calcoliamo la proporzione pooled (combinata), che è la nostra migliore stima della proporzione comune sotto l’ipotesi nulla:

\(
\hat{p} = \frac{x_1 + x_2}{n_1 + n_2} \\
\)

dove \(x_1\) e \(x_2\) sono i successi (click, conversioni) nei due gruppi, e \(n_1\) e \(n_2\) le dimensioni dei campioni.

Poi calcoliamo la statistica z:

\(
z = \frac{\hat{p}_1 – \hat{p}_2}{\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}} \\
\)

Al numeratore c’è la differenza osservata tra le due proporzioni; al denominatore, l’errore standard sotto l’ipotesi nulla. Il rapporto ci dice quante “unità di errore standard” separano le due proporzioni: più è alto, più la differenza è difficile da attribuire al caso.

Esempio: CTR di due title tag

Facciamo un esempio concreto. Abbiamo testato due varianti di title tag per una pagina importante del sito:

• Title A (controllo): 1500 impressioni, 75 click → CTR = 5.0%
• Title B (trattamento): 1500 impressioni, 105 click → CTR = 7.0%

Il title B sembra migliore, ma la differenza è statisticamente significativa? Calcoliamo passo dopo passo.

Passo 1: la proporzione pooled:

\(
\hat{p} = \frac{75 + 105}{1500 + 1500} = \frac{180}{3000} = 0.06 \\
\)

Passo 2: l’errore standard:

\(
SE = \sqrt{0.06 \times 0.94 \times \left(\frac{1}{1500} + \frac{1}{1500}\right)} = \sqrt{0.0564 \times 0.00133} \approx 0.00867 \\
\)

Passo 3: la statistica z:

\(
z = \frac{0.07 – 0.05}{0.00867} \approx 2.31 \\
\)

Passo 4: il p-value. Per un test a due code, \(p \approx 0.021\).

Dunque: il p-value è inferiore a 0.05. Possiamo rifiutare l’ipotesi nulla e concludere che la differenza tra i due title tag è statisticamente significativa. Il title B ha un CTR significativamente più alto.

Calcoliamo lo stesso test in R:

# Dati
n1 <- 1500; x1 <- 75    # Title A
n2 <- 1500; x2 <- 105   # Title B
p1 <- x1 / n1  # 0.05
p2 <- x2 / n2  # 0.07

# Proporzione pooled e z-test
p_pool <- (x1 + x2) / (n1 + n2)
se <- sqrt(p_pool * (1 - p_pool) * (1/n1 + 1/n2))
z <- (p2 - p1) / se
p_value <- 2 * (1 - pnorm(abs(z)))

cat("z =", round(z, 3), "\n")
cat("p-value =", round(p_value, 4), "\n")

Risultato: z = 2.306, p-value = 0.0211.

Esempio pratico: conversion rate di due landing page

Passiamo a un esempio più articolato. Un e-commerce sta testando due varianti della propria landing page:

• Pagina A (design attuale): 1000 visitatori, 35 conversioni → tasso di conversione = 3.5%
• Pagina B (nuovo design): 1000 visitatori, 58 conversioni → tasso di conversione = 5.8%

La differenza appare sostanziosa (2.3 punti percentuali), ma con questi numeri è sufficiente per escludere il caso?

Verifichiamo in R con prop.test(), che esegue il test per due proporzioni:

risultato <- prop.test(
  x = c(35, 58),
  n = c(1000, 1000)
)

print(risultato)

La funzione restituisce il p-value del test e, cosa molto utile, l’intervallo di confidenza della differenza tra le due proporzioni. In questo caso il p-value è circa 0.019 — inferiore a 0.05, quindi la differenza è statisticamente significativa.

Ma è l’intervallo di confidenza della differenza che ci dà l’informazione più preziosa: non solo se B è meglio di A, ma di quanto, con quale margine di incertezza. Se l’IC della differenza va da circa 0.4 a 4.2 punti percentuali, sappiamo che B è quasi certamente migliore, e il miglioramento si colloca in quell’intervallo. È un’informazione molto più ricca di un semplice “sì, è significativo”.

n.b.: prop.test() applica una correzione di continuità (correzione di Yates) che rende il test leggermente più conservativo. Per campioni grandi la differenza è trascurabile; per campioni piccoli, è una cautela benvenuta.

Gli errori più comuni

L’A/B testing è uno strumento potente, ma insidioso. La facilità con cui si può impostare un test nasconde insidie metodologiche serie. Vediamo le più frequenti.

Fermare il test troppo presto

È la tentazione più forte: dopo pochi giorni, B sembra nettamente migliore di A. Perché aspettare ancora? Perché quei risultati preliminari sono rumore, non segnale.

Il problema ha un nome tecnico: peeking (come dicono gli anglosassoni, “sbirciare”). Ogni volta che guardiamo i dati intermedi e decidiamo se fermarci, aumentiamo la probabilità di un falso positivo. È come lanciare una moneta: se ci fermiamo ogni volta che esce testa tre volte di fila, concluderemo che la moneta è truccata. Ma non lo è — semplicemente, non le abbiamo dato abbastanza lanci.

Come evitarlo: definire prima la dimensione campionaria necessaria e attendere di raggiungere quel numero prima di trarre conclusioni. Nel frattempo, puoi usare il nostro calcolatore di sample size per determinare quanti utenti ti servono prima di avviare il test.

Testare troppe varianti senza correzione

Un altro errore frequente: testare tre, quattro, cinque varianti contemporaneamente (A/B/C/D…) e poi confrontarle tutte a coppie. Il problema è quello delle comparazioni multiple: più confronti facciamo, più è probabile trovare almeno un risultato significativo per puro caso.

Con 5 varianti e 10 confronti a coppie, la probabilità di trovare almeno un falso positivo sale dal 5% a quasi il 40%. Non è un dettaglio: è un errore che invalida l’intero test.

Come evitarlo: se servono confronti multipli, applicare una correzione di Bonferroni (dividere la soglia \(\alpha\) per il numero di confronti) o, meglio ancora, limitarsi a testare una variante alla volta.

Ignorare la potenza del test

Il rischio di falso positivo (errore di tipo I, \(\alpha\)) lo conosciamo bene. Ma c’è un rischio speculare che viene spesso ignorato: il falso negativo (errore di tipo II, \(\beta\)). Succede quando B è davvero meglio di A, ma il nostro test non riesce a rilevarlo.

La causa più comune? Un campione troppo piccolo. Se abbiamo solo 100 visitatori per variante, il test non ha abbastanza “potenza” per rilevare differenze piccole ma reali. Concluderemo “nessuna differenza significativa” non perché la differenza non esiste, ma perché non avevamo abbastanza dati per vederla.

Come evitarlo: calcolare la dimensione campionaria necessaria prima di avviare il test, in base all’effetto minimo che vogliamo rilevare. È il tema della power analysis: usa il calcolatore di dimensione campionaria per verificare se il tuo test ha abbastanza potenza.

Confondere significatività statistica con significatività pratica

Un p-value basso non significa automaticamente che il risultato sia importante. Con campioni molto grandi, anche differenze microscopiche diventano statisticamente significative. Se testiamo due varianti su 500.000 visitatori, una differenza di CTR dello 0.01% (dal 5.00% al 5.01%) potrebbe risultare significativa. Ma è una differenza operativamente irrilevante.

Attenzione: il p-value risponde alla domanda “la differenza è reale?”, non alla domanda “la differenza è grande abbastanza da interessarci?”. Per quest’ultima serve una misura diversa — l’effect size — che tratteremo in un articolo dedicato.

Approccio frequentista vs bayesiano

Tutto ciò che abbiamo visto finora segue l’approccio frequentista: calcoliamo una statistica test, la confrontiamo con una distribuzione di riferimento, otteniamo un p-value e prendiamo una decisione binaria (rifiutare o non rifiutare \(H_0\)).

Funziona, e funziona bene. Ma ha dei limiti che nella pratica quotidiana si avvertono. Il p-value non ci dice “di quanto è meglio B rispetto ad A”. Non ci dice “qual è la probabilità che B sia davvero superiore”. E se raccogliamo nuovi dati, non possiamo semplicemente aggiornare il risultato: dobbiamo ricalcolare tutto da capo.

Esiste un approccio alternativo che risponde direttamente alla domanda che in fondo ci interessa di più: qual è la probabilità che B sia meglio di A? È l’approccio bayesiano.

L’idea è questa. Invece di partire da un’ipotesi nulla e cercare di rifiutarla, partiamo da una distribuzione a priori (come dicono gli anglosassoni, prior) che rappresenta la nostra conoscenza iniziale sulla conversione di ciascuna variante. Poi, man mano che raccogliamo dati, aggiorniamo quella distribuzione. Il risultato è una distribuzione a posteriori (posterior) che incorpora sia le nostre conoscenze pregresse sia i dati osservati.

Per tassi di conversione, la distribuzione naturale è la Beta: è definita tra 0 e 1 (come una proporzione) e si aggiorna in modo molto elegante. Se partiamo da un prior \(\text{Beta}(\alpha, \beta)\) e osserviamo \(s\) successi su \(n\) tentativi, il posterior è:

\(
\text{Beta}(\alpha + s, \, \beta + n – s) \\
\)

Sembra difficile? È facilissimo. Usiamo i dati delle due landing page dell’esempio precedente. Partiamo da un prior non informativo \(\text{Beta}(1, 1)\) — che equivale a dire “non sappiamo nulla, qualsiasi valore tra 0 e 1 è ugualmente plausibile”:

• Pagina A: 35 conversioni su 1000 → posterior \(\text{Beta}(36, \, 966)\)
• Pagina B: 58 conversioni su 1000 → posterior \(\text{Beta}(59, \, 943)\)

Calcoliamo in R la probabilità che B sia migliore di A:

set.seed(42)
n_sim <- 100000

# Posterior delle due varianti
post_A <- rbeta(n_sim, shape1 = 36, shape2 = 966)
post_B <- rbeta(n_sim, shape1 = 59, shape2 = 943)

# Probabilita' che B > A
prob_B_meglio <- mean(post_B > post_A)
cat("P(B > A) =", round(prob_B_meglio, 4), "\n")

# Distribuzione della differenza
diff <- post_B - post_A
cat("Differenza mediana:", round(median(diff) * 100, 2), "punti %\n")
cat("IC 95% della differenza:",
    round(quantile(diff, 0.025) * 100, 2), "-",
    round(quantile(diff, 0.975) * 100, 2), "punti %\n")

Il risultato è notevole: la probabilità che B sia meglio di A è superiore al 99%. Ma il vero vantaggio dell’approccio bayesiano è che otteniamo direttamente la distribuzione della differenza: non solo sappiamo se B è meglio, ma di quanto, con un intervallo di credibilità che quantifica la nostra incertezza.

Questa è una differenza sostanziale rispetto all’approccio frequentista. Il p-value ci dice “la differenza è improbabile sotto \(H_0\)“; il risultato bayesiano ci dice “la probabilità che B sia migliore è del 99%, e il miglioramento si colloca tra circa 0.5 e 4.2 punti percentuali”. Per una decisione operativa, la seconda informazione è spesso più utile.

Una nota importante: l’approccio bayesiano completo merita un articolo dedicato. Qui abbiamo appena scalfito la superficie — il tema dei prior informativi, dei modelli gerarchici e della loro applicazione sistematica è un percorso a sé che affronteremo nella sezione dedicata alla statistica bayesiana.

Esempio pratico SEO: meta description A/B test

Vediamo un ultimo scenario, molto comune nella pratica quotidiana. Abbiamo due varianti di meta description per una pagina chiave del sito. Alternando le due versioni (due settimane ciascuna, per minimizzare effetti stagionali) e consultando i dati di Search Console, otteniamo:

• Meta A: 3200 impressioni, 128 click → CTR = 4.0%
• Meta B: 3100 impressioni, 155 click → CTR = 5.0%

Verifichiamo in R:

prop.test(c(128, 155), c(3200, 3100))

il p-value è circa 0.064 — superiore alla soglia di 0.05, quindi non possiamo rifiutare l’ipotesi nulla. Anche l’intervallo di confidenza della differenza include lo zero, confermando la non significatività. Un risultato al limite, che ci dice: con questi dati non abbiamo abbastanza evidenza per concludere che la meta B sia davvero migliore.Quale approccio usare? Per un test semplice come questo, l’approccio frequentista con prop.test() è più che sufficiente: abbiamo campioni grandi, la domanda è chiara. L’approccio bayesiano diventa più prezioso quando i campioni sono piccoli, quando vogliamo aggiornare il risultato man mano che arrivano nuovi dati, o quando abbiamo conoscenze pregresse da incorporare (ad esempio, sappiamo che per quel tipo di pagina il CTR è tipicamente tra il 3% e il 7%).

Ma la decisione operativa non deve basarsi solo sul p-value. Dobbiamo chiederci: la differenza (un punto percentuale di CTR in più) è abbastanza grande da giustificare il cambiamento? Con 3000 e più impressioni al mese, un punto percentuale in più significa circa 30 click aggiuntivi. È significativo per il nostro business? Questa è una domanda che la statistica non può risolvere da sola — è una valutazione che spetta a noi.

Prova tu

Un e-commerce sta testando due varianti di call-to-action su una pagina prodotto:

• Variante A (“Aggiungi al carrello”): 450 visite, 23 conversioni
• Variante B (“Compralo ora”): 430 visite, 31 conversioni

1. Calcola il tasso di conversione di ciascuna variante
2. Esegui il test con prop.test(c(23, 31), c(450, 430)) e interpreta il p-value
3. L’intervallo di confidenza della differenza include lo zero?
4. Al livello di significatività del 5%, la differenza è statisticamente significativa?

Suggerimento: se il p-value è superiore a 0.05, non possiamo concludere che una variante sia meglio dell’altra — ma questo non significa che siano uguali. Potrebbe semplicemente significare che non abbiamo abbastanza dati. È esattamente il problema della potenza del test di cui abbiamo parlato.

L’A/B testing ci offre un framework rigoroso per prendere decisioni basate sui dati, non sulle intuizioni. Ma come abbiamo visto, un test ben condotto ci dice se c’è una differenza significativa — non ci dice quanto sia grande quell’effetto, né quanti dati ci servano per rilevarlo con sicurezza. Sono le domande dell’effect size e della power analysis, i prossimi strumenti nel nostro percorso. Per la dimensione campionaria, il calcolatore interattivo ti permette di ottenere il numero esatto in tempo reale.

Per approfondire

Se vuoi approfondire la metodologia degli esperimenti online, Trustworthy Online Controlled Experiments di Ron Kohavi, Diane Tang e Ya Xu è il riferimento mondiale sull’A/B testing. Gli autori hanno guidato le piattaforme di sperimentazione di Microsoft, Amazon e LinkedIn — e il libro copre tutto, dal design del test alle insidie che abbiamo visto in questo articolo, fino agli aspetti organizzativi che fanno la differenza tra un test ben condotto e un esercizio sterile.

Per chi vuole esplorare l’approccio bayesiano all’A/B testing (che abbiamo appena introdotto), Bayesian Statistics the Fun Way di Will Kurt è un’introduzione accessibile e sorprendentemente divertente. Spiega prior, posterior e aggiornamento bayesiano con esempi che non richiedono una laurea in matematica — e usa R per la parte computazionale.