Le guide tecniche di un sito salgono nei risultati di ricerca, compaiono più spesso, e nonostante questo ricevono meno clic. Il CTR delle guide passa dall’8,6% al 5,8% in sei mesi.
La spiegazione che viene in mente per prima è anche la più alla moda: le risposte generate dall’intelligenza artificiale in cima alla SERP (le AI Overviews, e poi la AI Mode) rispondono alla domanda prima che qualcuno senta il bisogno di cliccare. Ma è davvero così? Forse le guide sono peggiorate. Forse è calato tutto il sito. Forse è cambiata la stagione.
Abbiamo avuto modo di costruire, parlando di CTR atteso vs reale, il metro giusto per giudicare un CTR: la curva che lega la posizione al CTR tipico del nostro sito. Quel metro però fotografa un solo momento. Qui lo mettiamo in movimento: usiamo la stessa curva per due periodi, prima e dopo un evento, e la affianchiamo a un gruppo di controllo, cioè a pagine che l’evento non dovrebbe toccare.
Il ragionamento che ne esce ha un nome, difference-in-differences, e serve ben oltre le risposte AI: un aggiornamento dell’algoritmo, un nuovo formato della SERP, una migrazione parziale.
In sintesi: il confronto del CTR prima e dopo un evento è ingannevole per due motivi: le posizioni cambiano (e il CTR con loro), e nello stesso periodo cambia anche tutto il resto. Il primo problema si risolve con il CTR atteso, stimato sul solo periodo prima e applicato a entrambi: il rapporto fra clic reali e clic attesi diventa confrontabile nel tempo. Il secondo si risolve con un gruppo di controllo: l’effetto dell’evento è la differenza fra il cambiamento delle pagine esposte e quello delle pagine di controllo. Nel nostro esempio simulato le guide passano da 1,035 a 0,592 volte i clic attesi, le pagine prodotto da 1,085 a 1,014: l’effetto stimato è un calo del 39%, vicinissimo al 40% che abbiamo messo nei dati. Tutto regge su un’ipotesi da controllare, quella delle tendenze parallele.
Di cosa parleremo:
- Il confronto ingenuo e i suoi due difetti
- Una curva sola per due periodi
- Il gruppo di controllo
- La differenza delle differenze
- La stessa stima con il suo intervallo
- L’ipotesi delle tendenze parallele
- Robustezza: cambiare le carte in tavola
- Significativo non vuol dire grande (e nemmeno piccolo)
- Dal clic alla citazione
- Domande frequenti
- Prova tu
- Per approfondire
Il confronto ingenuo e i suoi due difetti
Partiamo da dati costruiti apposta, che riproducono la forma di un caso reale senza usarne i numeri. Sessanta pagine di un sito: trenta guide, che rispondono a domande informative (proprio quelle su cui le risposte AI si concentrano), e trenta pagine prodotto, che intercettano ricerche transazionali. Per ogni pagina e per dodici mesi abbiamo la posizione media, le impressioni e i clic, come in un’esportazione di Search Console.
Dal mese 7 succede qualcosa: il CTR delle sole guide si riduce del 40%. Nello stesso momento, per complicarci la vita, le guide salgono un po’ nei risultati e compaiono più spesso, e tutto il sito perde un 5% di CTR per ragioni che con l’evento non c’entrano (la stagione, un cambio nella SERP, quello che capita nella realtà).
Costruisco i dati in R:
set.seed(2026)
n <- 30
pagine <- data.frame(
pagina = c(sprintf("guida-%02d", 1:n), sprintf("prodotto-%02d", 1:n)),
gruppo = rep(c("guide", "prodotto"), each = n),
pos0 = round(runif(2 * n, 1.5, 12), 1), # posizione di partenza
impr0 = round(rlnorm(2 * n, log(3000), 0.6)), # impressioni mensili di partenza
qualita = rlnorm(2 * n, 0, 0.25) # bontà dello snippet, fissa per pagina
)
dati <- merge(pagine, data.frame(mese = 1:12))
dati <- dati[order(dati$pagina, dati$mese), ]
dati$dopo <- dati$mese >= 7
esposta <- dati$gruppo == "guide"
# le guide salgono un po' e compaiono più spesso dopo l'evento
dati$posizione <- round(dati$pos0 * exp(rnorm(nrow(dati), 0, 0.06)) *
ifelse(esposta & dati$dopo, 0.85, 1), 1)
dati$impression <- round(dati$impr0 * exp(rnorm(nrow(dati), 0, 0.10)) *
ifelse(esposta & dati$dopo, 1.25, 1))
ctr_vero <- 0.30 * dati$posizione^-1 * dati$qualita *
ifelse(dati$dopo, 0.95, 1) * # shock comune a tutto il sito (-5%)
ifelse(esposta & dati$dopo, 0.60, 1) * # l'evento: -40% di CTR sulle sole guide
exp(rnorm(nrow(dati), 0, 0.10)) # rumore mese per mese
dati$clic <- rbinom(nrow(dati), dati$impression, pmin(ctr_vero, 0.9))
dati$ctr <- dati$clic / dati$impression
dati$periodo <- ifelse(dati$dopo, "dopo", "prima")Il CTR vero segue una legge di potenza con esponente −1, la stessa forma che avevamo trovato nell’articolo sul CTR atteso; ogni pagina ha poi una sua “bontà” dello snippet, fissa nel tempo, e un po’ di rumore mese per mese.
Calcolo il confronto che faremmo tutti, d’istinto: CTR complessivo e posizione media per gruppo, prima e dopo.
grezzo <- aggregate(cbind(clic, impression) ~ gruppo + periodo, data = dati, FUN = sum)
grezzo$ctr <- grezzo$clic / grezzo$impression
pos_media <- aggregate(posizione ~ gruppo + periodo, data = dati, FUN = mean)
merge(grezzo, pos_media)| gruppo | periodo | clic | impressioni | CTR | posizione media |
|---|---|---|---|---|---|
| guide | prima | 47.414 | 550.794 | 8,61% | 5,11 |
| guide | dopo | 40.454 | 694.205 | 5,83% | 4,38 |
| prodotto | prima | 42.137 | 684.866 | 6,15% | 6,97 |
| prodotto | dopo | 38.637 | 682.065 | 5,67% | 6,98 |
Il CTR delle guide scende del 32% (5,83 diviso 8,61 fa 0,677). Sembra una misura dell’effetto, e invece è sbagliata in due modi.
Il primo difetto: le guide sono salite, dalla posizione 5,1 alla 4,4. A parità di tutto il resto, salire vuol dire più CTR, non meno. Il CTR grezzo confronta pagine che stanno in posti diversi della SERP, e quindi sottostima il danno: la caduta vera è quella rispetto al CTR che le guide avrebbero dovuto avere nella loro nuova posizione.
Il secondo difetto: nello stesso periodo è calato tutto il sito. Anche le pagine prodotto, che l’evento non tocca, perdono l’8% di CTR. Attribuire all’evento tutto il calo delle guide vorrebbe dire caricargli sulle spalle anche quello che sarebbe successo comunque.
Al primo difetto risponde il CTR atteso, al secondo il gruppo di controllo. Li vediamo uno alla volta.
Una curva sola per due periodi
Il CTR atteso è il valore che la curva posizione-CTR del nostro sito assegna a una pagina, data la sua posizione. Il rapporto fra clic reali e clic attesi ci dice se una pagina rende più o meno di quanto la sua posizione prometta, e ha una proprietà preziosa: tiene conto della posizione. Se una guida sale dalla 5 alla 4, i suoi clic attesi crescono con lei, e il rapporto resta un confronto equo. (Con una precisazione: la correzione vale nella misura in cui la curva descrive bene il legame fra posizione e CTR. Una curva sbagliata lascia nel rapporto un residuo di dipendenza dalla posizione.)
C’è però una scelta da fare, ed è quella che rende tutto il resto possibile: la curva va stimata sul solo periodo prima dell’evento, e poi applicata a entrambi i periodi.
Il motivo è che il metro non deve dipendere da ciò che misura. Se la stimassimo su tutti i dodici mesi, nella curva entrerebbero anche i clic persi dalle guide, che nel periodo dopo stanno in posizioni diverse da prima: la curva cambierebbe forma per effetto dell’evento stesso, e con lei i clic attesi su cui costruiamo tutto il confronto. (Un semplice abbassamento uniforme della curva, invece, non farebbe danni: toccherebbe tutti e due i gruppi nella stessa proporzione, e nel confronto finale si cancellerebbe.) Stimata sul periodo prima, la curva è un metro che l’evento non ha potuto toccare.
Stimo la curva con la regressione sui logaritmi pesata per le impressioni, come nell’articolo sul CTR atteso, ma solo sui mesi da 1 a 6:
prima <- subset(dati, !dopo & clic > 0)
curva <- lm(log(ctr) ~ log(posizione), data = prima, weights = impression)
round(coef(curva), 3)
# (Intercept) log(posizione)
# -1.135 -1.055La pendenza di −1,055 è vicina al −1 che abbiamo messo nella simulazione. Ora calcolo per ogni pagina e per ogni mese i clic attesi, e sommo clic reali e clic attesi per gruppo e periodo:
dati$ctr_atteso <- exp(predict(curva, newdata = dati))
dati$clic_attesi <- dati$impression * dati$ctr_atteso
tab <- aggregate(cbind(clic, clic_attesi) ~ gruppo + periodo, data = dati, FUN = sum)
tab$rapporto <- tab$clic / tab$clic_attesi
tab| gruppo | periodo | clic reali | clic attesi | reali / attesi |
|---|---|---|---|---|
| guide | prima | 47.414 | 45.795 | 1,035 |
| guide | dopo | 40.454 | 68.327 | 0,592 |
| prodotto | prima | 42.137 | 38.828 | 1,085 |
| prodotto | dopo | 38.637 | 38.114 | 1,014 |
Guardiamo la riga delle guide nel periodo dopo: con le nuove posizioni e le nuove impressioni, la curva si aspettava più di 68 mila clic, e ne sono arrivati poco più di 40 mila. Il rapporto passa da 1,035 a 0,592, un calo del 43%. Tenere conto della posizione ha fatto emergere un danno più grande di quello che il CTR grezzo lasciava vedere.
n.b. i rapporti del periodo prima non sono esattamente 1: la curva è una sola per tutto il sito, e le guide e i prodotti se ne discostano un po’ ciascuno a modo suo. Non è un problema, perché non confronteremo mai i rapporti con 1, ma ciascun gruppo con se stesso.
Il gruppo di controllo
Il CTR atteso ha sistemato le posizioni, ma non dice nulla del secondo difetto: il calo che avrebbe colpito le guide anche senza l’evento. Per stimarlo ci serve un gruppo di controllo, cioè un insieme di pagine che abbia due caratteristiche:
- l’evento non lo tocca, o lo tocca molto meno: per le risposte AI, pagine prodotto e ricerche transazionali, dove chi cerca vuole comprare o contattare e un riassunto in cima alla SERP non gli basta;
- subisce tutto il resto come le pagine esposte: la stagione, gli aggiornamenti dell’algoritmo, i cambi nel modo di misurare di Search Console.
È la stessa logica dello split test SEO, con una differenza importante: lì il gruppo di controllo lo scegliamo noi, a caso, prima di intervenire; qui l'”intervento” lo ha deciso qualcun altro, e i due gruppi sono dati, non sorteggiati. Come dicono gli anglosassoni, è un quasi-esperimento. Senza il sorteggio, la somiglianza fra i due gruppi non è garantita: va argomentata e, dove si può, controllata nei dati. Ci torneremo fra poco.
Nel nostro caso le pagine prodotto, nel periodo dopo, passano da 1,085 a 1,014 volte i clic attesi: un calo del 6,6% che l’evento non ha causato, perché l’evento non le riguarda. È la nostra stima di quello che sarebbe successo alle guide se le risposte AI non ci fossero state.
La differenza delle differenze
Abbiamo due cambiamenti. Quello delle guide, che mescola l’effetto dell’evento con tutto il resto; e quello delle pagine prodotto, che contiene solo tutto il resto. L’effetto dell’evento è ciò che resta togliendo il secondo dal primo: la differenza delle differenze.
Dato che lavoriamo con rapporti (un calo del 43%, un calo del 6,6%), la “differenza” diventa un rapporto fra rapporti. A parole: dividiamo il cambiamento delle guide per il cambiamento delle pagine di controllo.
\( \displaystyle \text{effetto} = \frac{R_{\text{guide, dopo}} \;/\; R_{\text{guide, prima}}}{R_{\text{prodotto, dopo}} \;/\; R_{\text{prodotto, prima}}} \)
dove ogni \( R \) è il rapporto fra clic reali e clic attesi di un gruppo in un periodo. Al numeratore c’è la variazione delle guide, al denominatore quella del controllo. Se l’evento non avesse fatto niente, i due cambiamenti sarebbero uguali e l’effetto varrebbe 1.
Calcolo in R:
r <- function(g, p) tab$rapporto[tab$gruppo == g & tab$periodo == p]
var_guide <- r("guide", "dopo") / r("guide", "prima") # 0,572
var_prodotto <- r("prodotto", "dopo") / r("prodotto", "prima") # 0,934
var_guide / var_prodotto # 0,612Le guide scendono a 0,572 volte il livello di prima, le pagine prodotto a 0,934. Il rapporto fra i due fa 0,612: l’evento ha tolto alle guide circa il 39% dei clic che avrebbero ricevuto altrimenti. Nella simulazione l’effetto vero era del 40%, e lo shock comune del 5%: il metodo li ha separati quasi alla perfezione.
Vale la pena mettere in fila le tre stime che abbiamo incontrato:
| confronto | effetto stimato |
|---|---|
| CTR grezzo delle guide, prima e dopo | −32% |
| Differenza delle differenze sul CTR grezzo | −26% |
| Differenza delle differenze sui clic attesi | −39% |
| Effetto vero, messo nella simulazione | −40% |
La seconda riga è istruttiva: il gruppo di controllo da solo non basta (0,677 diviso 0,921 fa 0,735). Senza il CTR atteso, la salita delle guide in classifica continua a mascherare una parte del danno. Le due correzioni lavorano su difetti diversi, e servono tutte e due.
La stessa stima con il suo intervallo
Un numero solo, per quanto ben costruito, non dice quanto ci possiamo fidare. Per avere un intervallo di confidenza scriviamo la differenza delle differenze come un modello per i conteggi, della famiglia che abbiamo visto parlando di sovradispersione.
L’idea è questa. Modelliamo i clic di ogni pagina in ogni mese partendo dai suoi clic attesi, che entrano nel modello come offset: un termine con coefficiente fissato a 1, che dice al modello “parti da qui”. Sopra i clic attesi il modello stima tre cose: un livello proprio di ogni pagina (la sua bontà, fissa nel tempo), uno spostamento comune a tutte le pagine nel periodo dopo, e uno spostamento in più per le sole guide nel periodo dopo. Quest’ultimo è l’effetto dell’evento.
Il livello di ogni pagina fa sì che ogni pagina venga confrontata con se stessa: è la versione “una pagina per volta” della tabella di prima.
Stimo il modello con la quasi-Poisson:
dati$evento <- as.integer(esposta & dati$dopo) # 1 solo per le guide nel periodo dopo
mod <- glm(clic ~ factor(pagina) + dopo + evento + offset(log(clic_attesi)),
family = quasipoisson, data = dati)
ic <- function(m, k) {
b <- coef(m)[k]; se <- sqrt(vcov(m)[k, k])
round(exp(c(stima = b, basso = b - 1.96 * se, alto = b + 1.96 * se)), 3)
}
ic(mod, "evento") # 0,607 da 0,587 a 0,627
ic(mod, "dopoTRUE") # 0,939 da 0,917 a 0,962
summary(mod)$dispersion # 2,98L’effetto stimato è 0,607, con un intervallo al 95% da 0,587 a 0,627: un calo fra il 37% e il 41%. Lo shock comune vale 0,939, cioè un 6% di clic in meno su tutto il sito, e anche questo è vicino al 5% della simulazione.
Il fattore di dispersione, 2,98, ci dice che i clic variano tre volte più di quanto ammetterebbe una Poisson: per questo usiamo la quasi-Poisson, che allarga gli errori standard di conseguenza.
Vale la pena provare a togliere factor(pagina) dal modello (e mettere al suo posto un termine per il gruppo): la stima puntuale quasi non cambia (0,612), ma la dispersione sale a 20,9 e l’intervallo si allarga, da 0,561 a 0,668. Senza il livello di ogni pagina, la differenza di bontà fra una pagina e l’altra finisce nel rumore. Confrontare ogni pagina con se stessa toglie di mezzo una grossa fetta di variabilità che con l’evento non c’entra.
n.b. questo intervallo va preso per quello che è, perché poggia su due semplificazioni. La prima: tratta la curva del CTR atteso come se fosse nota, mentre anche lei è una stima. Dato che la stessa curva vale per tutti e due i gruppi e per tutti e due i periodi, buona parte di quell’incertezza si cancella nel confronto; quella che resta pesa di più quando le posizioni dei due gruppi cambiano in modo molto diverso.
La seconda: tratta i mesi di una stessa pagina come osservazioni indipendenti, una volta tenuto conto del suo livello. Nei dati veri non lo sono quasi mai (un mese buono tende a essere seguito da un altro mese buono), e la quasi-Poisson corregge la dispersione, non questa dipendenza. Il rimedio più diretto è il bootstrap sulle pagine: si ricampionano le pagine intere, con tutti i loro mesi, e a ogni giro si ristimano curva e modello. Non risolve tutto (uno shock che colpisce insieme molte pagine dello stesso gruppo resta un problema), ma dà un intervallo più onesto.
L’ipotesi delle tendenze parallele
Tutto quello che abbiamo fatto poggia su un’ipotesi che finora abbiamo lasciato sottintesa: che senza l’evento, le guide e le pagine prodotto si sarebbero mosse insieme. È ciò che ci autorizza a usare il calo delle pagine prodotto come stima del calo “naturale” delle guide. Si chiama ipotesi delle tendenze parallele, ed è il punto su cui la difference-in-differences sta in piedi o cade.
Dato che noi lavoriamo con rapporti, “muoversi insieme” va inteso in senso proporzionale: senza l’evento, il rapporto fra clic reali e attesi delle guide sarebbe cambiato della stessa percentuale di quello delle pagine prodotto (non dello stesso numero di punti). In termini più tecnici, le tendenze devono essere parallele su scala logaritmica.
Un avvertimento: la difference-in-differences misura un effetto causale solo se, in assenza dell’evento, i due gruppi si sarebbero mossi in parallelo. Se le guide stavano già perdendo terreno prima delle risposte AI (perché invecchiano, perché i concorrenti hanno pubblicato di meglio), il metodo attribuisce all’evento un calo che non è suo. L’ipotesi non si può dimostrare, perché riguarda un mondo che non abbiamo osservato; si può solo rendere credibile guardando i mesi prima dell’evento.
Il controllo più semplice è guardare il rapporto fra clic reali e clic attesi mese per mese, per i due gruppi. Lo calcolo in R:
mensile <- aggregate(cbind(clic, clic_attesi) ~ gruppo + mese, data = dati, FUN = sum)
mensile$rapporto <- mensile$clic / mensile$clic_attesi
Nei mesi da 1 a 6 le due linee oscillano, ma nessuna delle due prende una strada propria: le guide stanno fra 0,97 e 1,08, le pagine prodotto fra 1,00 e 1,16. Dal mese 7 le guide scendono di colpo intorno a 0,6 e ci restano. È il disegno che vogliamo vedere: un salto netto nel momento dell’evento, nessuna deriva prima.
L’occhio però si lascia convincere facilmente. Due verifiche formali, entrambe sui soli mesi prima dell’evento.
La prima cerca una tendenza diversa delle guide: aggiungiamo al modello un termine che cresce di mese in mese solo per le guide. Se le guide stessero già scivolando, il suo coefficiente sarebbe negativo e lontano da zero.
Stimo la tendenza in R:
pre <- subset(dati, !dopo)
pre$guide_mese <- (pre$gruppo == "guide") * pre$mese
trend <- glm(clic ~ factor(pagina) + factor(mese) + guide_mese + offset(log(clic_attesi)),
family = quasipoisson, data = pre)
summary(trend)$coefficients["guide_mese", ]
# stima 0,0060 errore standard 0,0069 p = 0,38Una differenza di tendenza dello 0,6% al mese, con un errore standard più grande della stima: nessuna evidenza di una deriva propria delle guide. Attenzione però a non leggerla come una prova di assenza: l’intervallo al 95% va all’incirca da −0,8% a +2% al mese, e con soli sei mesi di dati una deriva piccola potrebbe sfuggirci.
La seconda è un placebo: facciamo finta che l’evento sia avvenuto al mese 4, quando in realtà non è successo niente, e rifacciamo la stima. Se trovassimo un “effetto” anche lì, sarebbe il segnale che qualcosa non va: gruppi che si muovono già in modo diverso, o un modello che non descrive bene i dati.
Calcolo il placebo in R:
pre$finto <- as.integer(pre$gruppo == "guide" & pre$mese >= 4)
placebo <- glm(clic ~ factor(pagina) + I(mese >= 4) + finto + offset(log(clic_attesi)),
family = quasipoisson, data = pre)
ic(placebo, "finto")
# 1,027 da 0,981 a 1,076 (p = 0,25)L’effetto placebo vale 1,027, con un intervallo che comprende tranquillamente 1: dove non è successo niente, non troviamo nessuna evidenza di un effetto. Anche qui, l’intervallo (da −1,9% a +7,6%) ricorda che “nessuna evidenza” non vuol dire “nessuna differenza”.
Teniamo bene a mente il limite di queste verifiche: al massimo dicono che prima dell’evento i gruppi non si muovevano in modo visibilmente diverso, non che avrebbero continuato a farlo dopo. Se nello stesso mese dell’evento fosse successo qualcos’altro che tocca solo le guide (una riscrittura dei loro title, un problema tecnico sulla loro sezione del sito), nessun controllo sui dati di prima potrebbe accorgersene. Lì serve la conoscenza del sito, non la statistica.
Robustezza: cambiare le carte in tavola
Una stima che regge solo con una particolare scelta di finestra temporale, o solo con certe pagine dentro, non è una stima: è un caso fortunato. Prima di fidarci, cambiamo le carte in tavola e guardiamo se il risultato resta in piedi.
La prima prova è la finestra: invece di tutti e sei i mesi dopo, prendiamo solo l’ultimo. Se l’effetto fosse un fuoco di paglia, o se crescesse col tempo, lo vedremmo.
ult <- subset(dati, !dopo | mese == 12)
ic(update(mod, data = ult), "evento")
# 0,591 da 0,553 a 0,630L’effetto del solo mese 12 è 0,591, con un intervallo che si sovrappone largamente a quello dei sei mesi: il risultato dell’ultimo mese è compatibile con quello complessivo. Non basta per dire che l’effetto sia costante nel tempo (le due stime condividono gli stessi mesi prima, e un’evoluzione lenta potrebbe sfuggire), ma esclude che tutto il calo stia in un fuoco di paglia dei primi mesi.
Con dati veri, poi, ci sono due esclusioni che conviene sempre provare.
- La homepage: ha un comportamento tutto suo (ricerche di marca, traffico di navigazione), e una pagina sola con moltissime impressioni può spostare da sola un intero gruppo.
- Le query di marca: chi cerca il nome del sito clicca comunque, risposte AI o no. Mescolarle alle altre diluisce l’effetto, e se pesano in modo diverso nei due gruppi lo distorce.
Se togliendo l’una o le altre la stima cambia poco, abbiamo un risultato robusto; se cambia molto, abbiamo scoperto che l’effetto sta tutto in poche pagine, e questa è un’informazione ancora più utile.
C’è infine una trappola specifica di Search Console, che merita un articolo a sé: a volte non cambia il comportamento degli utenti ma il modo in cui lo misuriamo. A settembre 2025, per esempio, Google ha smesso di supportare il parametro &num=100 (quello che permetteva di vedere cento risultati per pagina), e molti siti hanno visto le impressioni calare e le posizioni medie migliorare di colpo, senza che fosse cambiato niente nel traffico vero. Se un cambio del genere cade vicino al nostro evento, il gruppo di controllo ci protegge solo se colpisce i due gruppi allo stesso modo.
Significativo non vuol dire grande (e nemmeno piccolo)
Torniamo per un momento al confronto più semplice di tutti: il CTR delle guide prima e dopo, con un test sulle proporzioni. Lo usiamo solo come illustrazione: il test tratta ogni impressione come una prova indipendente dalle altre, e ignora le differenze fra pagine e fra mesi.
Eseguo il test in R:
g <- subset(grezzo, gruppo == "guide")
prop.test(g$clic[c(2, 1)], g$impression[c(2, 1)])$p.value # prima, dopo
# 0: troppo piccolo perché R lo distingua da zeroCon più di un milione di impressioni il p-value è così piccolo che R lo stampa come zero. Ma lo sappiamo: il p-value è la probabilità di osservare una differenza almeno così estrema se non ci fosse nessuna differenza vera (e se le ipotesi del test reggessero). Il p-value misura la sorpresa, non la grandezza. Con questi volumi, anche una differenza di un decimo di punto sarebbe “significativa”.
Per la grandezza c’è l’effect size, e per due proporzioni la misura classica è la h di Cohen, la differenza fra le due proporzioni dopo una trasformazione che le rende confrontabili (l’arcoseno della radice).
Calcolo h in R:
h <- function(p1, p2) abs(2 * asin(sqrt(p1)) - 2 * asin(sqrt(p2)))
h(0.0861, 0.0583) # 0,108Un valore di 0,108 sta sotto la soglia di 0,2 che Cohen chiamava “effetto piccolo”. Dovremmo concludere che l’effetto è trascurabile? Proprio no. La h misura la distanza fra due proporzioni in un senso generale, pensato per confrontare studi diversi; la soglia di 0,2 non sa niente di quanto valga un clic per il nostro sito. Quello che conta per un sito è un’altra cosa: quanti clic ha tolto l’evento.
Il conto è diretto, e lo facciamo sulla tabella aggregata. Prendiamo i clic attesi delle guide nel periodo dopo, li riportiamo al livello che le guide avevano prima e li correggiamo per lo shock comune misurato sul controllo: è la stima di quanti clic le guide avrebbero ricevuto senza l’evento, a parità di impressioni e di posizioni. Togliamo quelli ricevuti davvero:
clic_senza_evento <- sum(dati$clic_attesi[esposta & dati$dopo]) *
r("guide", "prima") * var_prodotto
clic_senza_evento - sum(dati$clic[esposta & dati$dopo])
# 25.626 clic persi, su 40.454 ricevutiIn sei mesi le guide hanno perso circa 25.600 clic per la riduzione del CTR (con il modello a effetti di pagina il conto viene simile, circa 26.200). n.b. il conto tiene ferme le impressioni e le posizioni osservate dopo l’evento: se l’evento avesse cambiato anche quelle, quella parte non sarebbe compresa. In altri termini: per ogni 100 clic arrivati, ce ne sono 63 che sarebbero arrivati senza l’evento e non sono arrivati. Un effetto “piccolo” secondo la h di Cohen, e enorme per chi deve far quadrare il traffico del sito. Le etichette “piccolo”, “medio”, “grande” sono convenzioni nate in altri campi; la misura giusta della grandezza è quella che si traduce nella decisione da prendere.
Dal clic alla citazione
Una volta misurato il calo, la tentazione è chiudere il discorso con un “le risposte AI ci tolgono il 39% dei clic sulle guide”. Il numero è giusto, ma la storia potrebbe non essere finita.
Se una guida viene citata nella risposta AI come fonte, una parte del suo valore si è spostata, non è scomparsa: il marchio compare davanti a chi cerca, anche se quella persona non clicca. Il clic, insomma, è una misura del valore delle guide, non il valore stesso.
Misurare quella presenza è un problema statistico tutto suo: le risposte cambiano da una ricerca all’altra, gli strumenti che le monitorano campionano un numero limitato di domande, e la stessa domanda può dare risposte diverse a distanza di un’ora. Contare le citazioni è facile; stimare con un’incertezza onesta quanto spesso compariamo è tutt’altra faccenda. Lo affronteremo in un articolo dedicato.
Domande frequenti
Che cos’è la difference-in-differences, in una frase?
È il confronto fra il cambiamento di un gruppo toccato da un evento e il cambiamento di un gruppo non toccato nello stesso periodo: la differenza fra i due cambiamenti è la stima dell’effetto dell’evento.
Perché non basta confrontare il CTR prima e dopo?
Perché il CTR cambia con la posizione e con tutto ciò che succede al sito nello stesso periodo. Il CTR atteso toglie l’effetto della posizione, il gruppo di controllo toglie quello del resto.
Come si sceglie il gruppo di controllo?
Deve essere poco o per niente esposto all’evento e, per il resto, soggetto alle stesse influenze delle pagine esposte. Per le risposte AI le pagine transazionali sono un buon candidato; la scelta va argomentata e poi controllata con le tendenze dei mesi precedenti.
E se i mesi prima dell’evento non sono paralleli?
Allora la differenza delle differenze non misura l’effetto dell’evento. Si può cercare un gruppo di controllo migliore, modellare la tendenza esplicitamente o, quanto meno, dichiarare la stima come poco affidabile.
Prova tu
Il codice è tutto qui sopra, e la simulazione è fatta apposta per essere modificata. Tre direzioni per mettere alla prova il metodo:
- Rompiamo le tendenze parallele. Moltiplichiamo il
ctr_verodelle guide perexp(-0.03 * (dati$mese - 1)), cioè facciamo perdere alle guide il 3% al mese dall’inizio, prima dell’evento. Quanto vale ora la differenza delle differenze? Il test sulla tendenza del periodo prima se ne accorge? - Stimiamo la curva su tutti i dodici mesi invece che sui soli primi sei, e rifacciamo la tabella dei rapporti: quanto cambiano i coefficienti della curva, e quanto l’effetto stimato? Perché l’effetto cambia molto meno della curva?
- Scegliamo un controllo sbagliato. Applichiamo l’evento anche a metà delle pagine prodotto (con un effetto più piccolo, per esempio −20%) e rifacciamo la stima: che cosa succede all’effetto quando il gruppo di controllo è “contaminato”?
Suggerimento: tutte e tre le prove rispondono alla stessa domanda. Il metodo non è una formula che produce la verità da qualunque dato, ma un ragionamento che funziona finché le sue ipotesi tengono: vale la pena vedere coi nostri occhi quanto sbaglia quando non tengono.
Abbiamo dato per scontato, in tutto l’articolo, che i clic e le impressioni di Search Console misurino sempre la stessa cosa. Non è così: a volte un numero cambia di colpo non perché sia cambiato il comportamento delle persone, ma perché è cambiato il modo di contarle, come nel caso del parametro &num=100. Distinguere un cambiamento del fenomeno da un cambiamento del metro è il tema del prossimo articolo, sulle rotture strutturali nelle metriche.
Per approfondire
Per il ragionamento di questo articolo, consiglio Introduzione all’econometria di Stock e Watson: il capitolo sugli esperimenti e i quasi-esperimenti spiega la differenza delle differenze, i suoi presupposti e le sue trappole partendo da casi applicati, ed è il ponte naturale fra la regressione e l’inferenza causale. Chi lavora con i dati di un sito troverà in Trustworthy Online Controlled Experiments di Kohavi, Tang e Xu il complemento giusto: è il riferimento sugli esperimenti online, e dedica un capitolo agli studi osservazionali, cioè proprio a quello che si può (e non si può) concludere quando il gruppo di controllo non l’abbiamo sorteggiato noi.