Un sito riceve 612 richieste quest’anno e ne aveva ricevute 640 l’anno prima. Il conto è presto fatto: −4,4%. Parte la ricerca della causa, e con essa la riunione in cui qualcuno propone di rifare le pagine di servizio, qualcun altro incolpa la stagione, qualcun altro ancora «il calo generale del mercato».
Prima di spiegare un calo, però, conviene chiedersi se c’è qualcosa da spiegare. Perché 612 contro 640 non è un numero: è un conteggio, e i conteggi oscillano.
I numeri di questo articolo sono inventati, ma la forma del problema è quella che si incontra ogni mese: richieste, moduli, telefonate, iscrizioni, conversioni senza un denominatore affidabile. Sono tutti conteggi di eventi, e per confrontarli fra due periodi serve un test che ragioni sul loro ritmo, non sul loro totale. È il test di Poisson, e il bello è che sta in una riga di R.
In sintesi: quando quello che misuriamo è un conteggio, due periodi si confrontano sui tassi, non sui totali. Il test di Poisson dice se il ritmo è cambiato: poisson.test(c(x2, x1), T = c(t2, t1)) restituisce il rapporto fra i tassi, il suo intervallo di confidenza e un p-value. Nel nostro esempio 612 richieste contro 640 sono un calo del 4,4% che il caso produce da solo in più di un caso su cinque: il rapporto è 0,96, l’intervallo va da 0,85 a 1,07, e non c’è niente da spiegare. Lo stesso test funziona con durate diverse, dove confrontare i totali è l’errore che si vede più spesso nei report.
Di cosa parleremo:
Abbiamo conosciuto la distribuzione di Poisson parlando di eventi rari che accadono a un ritmo medio costante: chiamate a un centralino, errori di battitura, arrivi a uno sportello. Le richieste di un sito sono parenti stretti di questi esempi. Ogni visita può generare un modulo inviato, ogni modulo inviato è un evento, e in un intervallo di tempo il numero di eventi oscilla intorno a un valore medio.
La proprietà che ci serve è una sola, e ha un nome che spaventa più di quanto dovrebbe: nella Poisson la varianza è uguale alla media. In termini più chiari e diretti: se in un anno aspettiamo 640 richieste, l’oscillazione naturale del conteggio è dell’ordine della radice quadrata di 640, cioè circa 25 richieste.
Dunque un anno «normale» può chiudersi a 615 come a 665 senza che sia successo nulla. Venticinque richieste su 640 sono il 4%: esattamente l’ordine di grandezza del calo da cui siamo partiti.
Facciamo un esempio al volo, per fissare l’idea. Se il ritmo vero fosse identico nei due anni, e il conteggio di ciascun anno fosse un’estrazione da una Poisson con media 640, quante volte osserveremmo un calo almeno del 4,4%?
set.seed(2026)
vero <- 640
ultimo <- rpois(10000, vero) # l'anno scorso
questo <- rpois(10000, vero) # quest'anno, stesso ritmo
variazione <- (questo - ultimo) / vero
mean(variazione <= -0.044) Il risultato è 0,214: in più di un caso su cinque. E se guardiamo in entrambe le direzioni, cioè a un calo o a una crescita almeno del 4,4%, arriviamo al 43%. Metà delle volte, con lo stesso ritmo vero, il confronto anno su anno racconta una storia che non c’è.
C’è un limite, ed è giusto dirlo subito: la Poisson va bene finché gli eventi sono indipendenti e il ritmo è stabile. Campagne, bot, un modulo che si rompe per due settimane rompono l’ipotesi, e ne parleremo alla fine. Per ora teniamoci il caso pulito, che è già la maggior parte dei report mensili.
Il punto di partenza è che i due totali, 612 e 640, non sono indipendenti: insieme fanno 1.252 eventi. Se il ritmo fosse lo stesso nei due anni, ognuno dei 1.252 eventi avrebbe la stessa probabilità di cadere nel primo o nel secondo periodo, e il numero di eventi del secondo anno sarebbe una binomiale con 1.252 prove e probabilità un mezzo.
È questo il ponte fra la Poisson e il test delle ipotesi: una volta noto il totale, la domanda «i due tassi sono uguali?» diventa «la divisione degli eventi fra i due periodi è compatibile con una moneta equa?».
Il test di Poisson fa esattamente questo, e il rapporto che restituisce è il rapporto fra gli eventi per unità di tempo:
\(\hat{R} = \frac{x_2 / T_2}{x_1 / T_1}\)
dove x₂ e T₂ sono il conteggio e la durata del periodo più recente, x₁ e T₁ quelli del periodo precedente. In R si scrive così. Il primo argomento è la coppia di conteggi, il secondo la durata dei due periodi, che qui è la stessa:
poisson.test(c(612, 640), T = c(365, 365)) Il risultato contiene tre numeri che vanno letti insieme:
Il rapporto è il numero che ci interessa davvero: dice che il ritmo di quest’anno è il 95,6% di quello dell’anno prima, cioè un calo del 4,4%. L’intervallo ci dice quanto è precisa questa stima con i dati che abbiamo: da un calo del 14,5% a una crescita del 7%. Il p-value, infine, ci dice che un rapporto così lontano da 1 è compatibile con il puro caso in quasi metà dei mondi possibili.
La prima tentazione è tradurre «p = 0,445» in «non è cambiato niente». Non è quello che il test dice. Un p-value alto non dimostra che i due tassi sono uguali: dice che i dati non bastano a dimostrare che sono diversi. La differenza fra assenza di prove e prova di assenza è la stessa che c’è fra «non ho trovato il portafoglio» e «il portafoglio non esiste», e nella pratica quotidiana fa una bella differenza.
L’intervallo di confidenza è più utile del p-value, perché delimita quello che possiamo escludere. Nel nostro caso l’intervallo va da −14,5% a +7%: possiamo ragionevolmente escludere un tracollo, ma non possiamo escludere un calo dell’8% o una crescita del 5%. Se il cliente chiede «siamo stabili?», la risposta onesta è «abbiamo escluso i cali oltre il 15%, non quelli oltre il 5%».
C’è poi un dettaglio che riguarda la direzione del rapporto. poisson.test() restituisce il rapporto fra il primo gruppo e il secondo. Invertendo l’ordine dei conteggi il rapporto diventa 1,046, e chi legge potrebbe credere a una crescita. Non è un errore del test: è un promemoria a dichiarare sempre quale periodo sta al numeratore. Nella pratica conviene mettere al primo posto il periodo più recente, così il rapporto si legge come «quest’anno rispetto all’anno scorso» e i numeri sotto 1 sono cali.
Il test dà il meglio di sé quando i due periodi non durano lo stesso tempo, che è la norma nei report veri: un sito lanciato a metà anno, un mese di 28 giorni contro uno di 31, un periodo di 180 giorni contro un anno intero.
Immaginiamo un modulo che ha ricevuto 7 invii in 180 giorni e 15 invii nei 365 giorni precedenti. A occhio i secondi sono più del doppio dei primi, e la prima bozza di un report potrebbe parlare di «più che raddoppiati». Ma i periodi non durano lo stesso tempo: il primo ritmo è di 7 invii ogni 180 giorni, il secondo di 15 ogni 365. Normalizziamo e confrontiamo:
poisson.test(c(7, 15), T = c(180, 365)) Il rapporto fra i tassi è 0,946, con intervallo da 0,33 a 2,47 e p-value 1. In parole: i due ritmi sono indistinguibili, e con così pochi eventi l’intervallo è talmente largo da non permetterci di dire quasi nulla.
Questo è il punto in cui il test è più prezioso e più scomodo. Prezioso, perché evita di raccontare una crescita inesistente; scomodo, perché costringe a scrivere «non lo sappiamo» invece di una percentuale.
Vale la pena notare che il rapporto calcolato sui totali sarebbe stato 15/7 = 2,14, cioè +114%. La differenza fra +114% e −5% non è un dettaglio di metodo: è la differenza fra due report che dicono cose opposte.
Naturalmente il test non serve solo a spegnere entusiasmi. Immaginiamo un periodo con 420 richieste e uno, della stessa durata, con 500. Il rapporto è 0,84:
poisson.test(c(420, 500)) Qui l’intervallo va da 0,74 a 0,96 e il p-value è 0,009. Il calo è del 16%, e i dati permettono di escludere con una certa sicurezza qualunque valore sopra −4%. Significativo, però, non vuol dire grande: un calo del 16% su 500 richieste è un problema operativo, non una catastrofe, e la dimensione dell’effetto va letta separatamente dalla sua significatività. Ne abbiamo parlato diffusamente parlando di effect size e potenza.
C’è un altro uso che vale la pena conoscere: invece del p-value possiamo chiedere all’intervallo se il calo supera una soglia che ci interessa. Se la soglia decisionale è «sotto −10% cambiamo il form», ci basta guardare l’intervallo: se il suo estremo superiore è sotto −10%, la decisione è presa; se lo attraversa, i dati non bastano. È un modo di usare il test più vicino a come si prendono le decisioni, e meno vicino alla caccia al p-value.
Il caso dei 7 invii in 180 giorni lascia una domanda aperta: quanti eventi servono per accorgersi di un calo del 10%? La risposta si ottiene simulando il test su molti mondi possibili. Fissiamo il ritmo vero del secondo periodo a 1.600 eventi all’anno, immaginiamo che il primo sia il 10% più basso, e contiamo quante volte il test trova la differenza:
potenza <- function(n, calo = 0.9, B = 4000) {
mean(replicate(B, poisson.test(c(rpois(1, n * calo), rpois(1, n)))$p.value < 0.05))
}
potenza(1600) Il risultato è circa 0,82: con 1.600 eventi all’anno, un calo del 10% viene individuato otto volte su dieci. Con 800 eventi la potenza scende intorno al 53%, con 400 a poco meno di un terzo. Tradotto in mesi: se il sito riceve 80 richieste al mese, 1.600 eventi sono venti mesi di dati. Un calo del 10% non si vede in un trimestre, e questa è probabilmente la cosa più utile da mettere in una slide.
Lo stesso strumento serve a trovare i buchi, non solo i cali. Se in un mese ci aspettiamo 70 eventi e ne osserviamo 3, la domanda non è più «il ritmo è cambiato?» ma «è plausibile che un ritmo di 70 produca 3 eventi?». La probabilità cumulata di osservare 3 o meno eventi da una Poisson con media 70 si calcola in un attimo:
ppois(3, 70) Il risultato è 2,4×10⁻²⁶. Non è la stagione, non è il caso, non è un mese strano: è quasi certamente un problema di misura. È lo stesso calcolo che sta dietro all’anomaly detection, e tornerà utile quando parleremo di dati mancanti e di come ricostruirli senza inventarli.
Un avvertimento: il test di Poisson assume che la varianza sia uguale alla media. Sui dati web spesso non è così — bot, picchi, campagne, giorni della settimana — e in quel caso gli intervalli risultano troppo stretti e i p-value troppo piccoli. Prima di fidarsi di un test sui conteggi, vale la pena controllare il rapporto fra varianza e media; se è molto sopra 1, il test va rifatto con un modello che tenga conto della sovradispersione.
Perché una percentuale ha senso solo se esiste un denominatore affidabile. Se le richieste sono il numeratore e le sessioni il denominatore, e le sessioni sono misurate male, la percentuale eredita l’errore. Il test di Poisson lavora sui conteggi e sulle durate, e non ha bisogno di un denominatore: per questo è più robusto quando il denominatore è incerto.
Il test sulle proporzioni (prop.test()) serve quando ogni prova ha un esito sì/no e il numero di prove è noto: 1.000 sessioni, 30 conversioni. Il test di Poisson serve quando il numero di prove non è noto e contiamo direttamente gli eventi in un intervallo di tempo. Se il denominatore c’è ed è affidabile, il test sulle proporzioni è la scelta naturale; se non c’è, si resta sui tassi.
No. Vuol dire che i dati non bastano a dimostrare un cambiamento. L’intervallo di confidenza è più informativo, perché dice quali cambiamenti possiamo escludere e quali restano compatibili con i dati. Un intervallo largo è un’informazione preziosa: ci dice che servono più dati, non che va tutto bene.
Sì, ma non con una sola chiamata: si confrontano a coppie, oppure si passa a un modello di regressione di Poisson con il periodo come variabile. Attenzione, in quel caso, ai confronti multipli: con molti periodi e molte pagine, qualche differenza «significativa» esce sempre per caso.
Un modulo ha ricevuto 55 invii in un mese di 31 giorni e 48 in un mese di 30 giorni. Il ritmo è cambiato?
poisson.test(c(55, 48), T = c(31, 30)) Il rapporto è circa 1,11, l’intervallo attraversa l’1 e il p-value è ben sopra 0,05: con questi numeri non c’è nulla da dire. Proviamo ora con 12 invii in 7 giorni contro 3 invii nei 7 giorni precedenti: il rapporto è 4, ma l’intervallo è così largo che anche un ritmo identico resta plausibile. È l’esercizio più utile: cercare il punto in cui il test smette di essere informativo, e scriverlo nel report.
Il confronto fra due periodi risolve metà del problema. L’altra metà comincia quando i periodi sono dodici mesi consecutivi e la stagionalità rende il confronto mese su mese un rebus: dicembre non si può confrontare con novembre, e la decomposizione classica con soli due anni di dati si rifiuta di partire. È il tema del prossimo articolo: togliere la stagionalità senza avere abbastanza stagioni.
Per rivedere i test di inferenza con un testo che parte dalle basi e arriva ai modelli per conteggi, consiglio Statistica di Newbold, Carlson e Thorne: è il manuale che molti corsi universitari usano, e la parte sui test per proporzioni e conteggi è più chiara di tanti testi specialistici. Se invece si vuole arrivare alla Poisson partendo da zero, senza dare per scontata la teoria delle distribuzioni, Finalmente ho capito la statistica di Maurizio De Pra è il libro che consiglio a chi comincia.
Il report di settembre è quasi pronto, e c'è un numero che stona: ad agosto…
Il rifacimento del sito è deciso, la data di messa online pure, e prima o…
Il report annuale arriva sul tavolo con una buona notizia in prima pagina: la posizione…
Le guide tecniche di un sito salgono nei risultati di ricerca, compaiono più spesso, e…
Clic e sessioni variano più di quanto la Poisson preveda: come accorgersene in R e…
Un report annuale si chiude spesso con una riga sola: i clic da Google sono…