Prima o poi, ogni analisi del traffico arriva alla domanda che conta davvero: questa visita si è trasformata in un cliente, sì o no? Non ci interessa quanto ha convertito una sessione, ci interessa se l’ha fatto. E subito dopo viene la domanda successiva: quali sessioni hanno più probabilità di farlo? Quelle che arrivano da una ricerca col nome del brand? Quelle che sfogliano più pagine? Quelle da desktop?
Con la regressione lineare abbiamo imparato a prevedere un numero. Qui però il risultato è un interruttore, acceso o spento, e la retta non è lo strumento giusto: vedremo che arriva perfino a prevedere probabilità negative. Lo strumento giusto è la regressione logistica, uno dei modelli più usati in assoluto, dal marketing alla medicina. Costruiamola insieme, partendo proprio da un esempio di conversioni.
In sintesi: la regressione logistica è il modello statistico che stima la probabilità di un esito binario (converte o no, clicca o no) in base a una o più variabili. Invece di una retta usa la funzione logistica, una curva a S che resta sempre fra 0 e 1. I coefficienti sono espressi in log-odds: elevati a esponente diventano odds ratio, cioè di quante volte si moltiplicano gli odds dell’evento quando una variabile aumenta di un’unità. In R si stima con glm(..., family = binomial) e si ottengono le probabilità con predict(..., type = "response"). Per classificare serve poi una soglia, che con eventi rari va scelta con cura: 0,5 non è quasi mai quella giusta.
Di cosa parleremo:
Prendiamo 5.000 sessioni organiche di un e-commerce. Per ciascuna conosciamo tre cose: quante pagine ha visto, se arrivava da smartphone o da desktop, e se la query di partenza conteneva il nome del brand. E sappiamo se la sessione si è chiusa con un acquisto: hanno convertito in 271, il 5,4%. I dati sono simulati, così conosciamo la verità e possiamo controllare se il modello la ritrova.
L’idea più immediata è trattare la conversione come un numero, 1 se c’è stata e 0 se no, e farci passare sopra una retta coi minimi quadrati. Ha perfino un nome, modello lineare di probabilità, e in qualche caso funziona in modo accettabile. Ma guardiamo cosa succede ai nostri dati.
La retta dice che ogni pagina in più vale sempre 1,9 punti percentuali di conversione, sia che si passi da 1 a 2 pagine sia che si passi da 8 a 9. I dati raccontano un’altra storia: chi vede poche pagine converte pochissimo e quasi a prescindere, poi la probabilità accelera. E quando aggiungiamo anche dispositivo e brand le cose peggiorano: il modello lineare assegna a 654 sessioni su 5.000 una probabilità di conversione negativa, fino a −2,2%. Una probabilità sotto zero non ha alcun significato. Dall’altra parte, al profilo migliore (12 pagine, desktop, query brand) assegna il 28,8% quando la logistica, come vedremo, stima il 72,9%.
Il problema è di forma. Una probabilità vive fra 0 e 1, e vicino ai bordi deve per forza «frenare»: non si può salire oltre il 100% né scendere sotto lo zero. Una retta, invece, prosegue all’infinito. Serve una curva che abbia i freni incorporati.
La regressione logistica risolve il problema con un cambio di scala in due passi. Il primo passo sono gli odds, una parola che chi frequenta le scommesse conosce bene: invece della probabilità che un evento accada, si guarda il rapporto fra la probabilità che accada e quella che non accada.
\(\text{odds} = \frac{p}{1-p}\)
Con una probabilità del 20%, gli odds sono 0,2 / 0,8 = 0,25: «uno a quattro», un successo ogni quattro insuccessi. Con il 50% gli odds valgono 1, e con l’80% salgono a 4. Gli odds non hanno il tetto dell’1: vanno da zero a infinito.
Il secondo passo è prenderne il logaritmo. Il logaritmo degli odds, chiamato logit, toglie anche il pavimento dello zero e può assumere qualunque valore, da meno infinito a più infinito. Ed è proprio su questa scala libera che la regressione logistica mette la sua equazione lineare, identica nella forma a quella della regressione multipla:
\(\ln\left(\frac{p}{1-p}\right) = b_0 + b_1 x_1 + b_2 x_2 + \dots + b_k x_k\)
dove p è la probabilità dell’evento, le x sono le variabili (i predittori) e le b i coefficienti da stimare. Per tornare alla probabilità basta invertire il percorso, e si ottiene la funzione logistica, detta anche sigmoide per la sua forma a S:
\(p = \frac{1}{1 + e^{-(b_0 + b_1 x_1 + \dots + b_k x_k)}}\)
Qualunque valore assuma l’espressione fra parentesi, il risultato resta sempre compreso fra 0 e 1. Ecco i freni incorporati: la logistica è una retta sulla scala dei log-odds, che diventa una curva a S sulla scala delle probabilità.
I coefficienti non si trovano coi minimi quadrati ma con il metodo della massima verosimiglianza: fra tutte le curve possibili, si sceglie quella che rende più probabili i dati che abbiamo effettivamente osservato. Il calcolo è iterativo e lo lasciamo volentieri al software.
Simuliamo le 5.000 sessioni. Nella realtà i dati arriverebbero da Google Analytics o dal CRM; qui li costruiamo noi, con effetti noti, per poter verificare il risultato:
set.seed(7)
n <- 5000
sessioni <- data.frame(
pagine = 1 + rpois(n, 2.5), # pagine viste nella sessione
mobile = rbinom(n, 1, 0.6), # 1 = smartphone, 0 = desktop
brand = rbinom(n, 1, 0.25) # 1 = arrivata da una query col nome del brand
)
logit_vero <- -4.4 + 0.35 * sessioni$pagine - 0.5 * sessioni$mobile + 1.2 * sessioni$brand
sessioni$converte <- rbinom(n, 1, plogis(logit_vero))
mean(sessioni$converte)
# [1] 0.0542 La funzione plogis() è proprio la funzione logistica: trasforma il logit vero in una probabilità, e rbinom() lancia per ogni sessione una moneta truccata con quella probabilità. È il motivo per cui nel modello compare family = binomial: ogni sessione è una prova di Bernoulli, il mattone della distribuzione binomiale.
Stimiamo il modello:
modello <- glm(converte ~ pagine + mobile + brand, data = sessioni, family = binomial)
summary(modello)
# Coefficients:
# Estimate Std. Error z value Pr(>|z|)
# (Intercept) -4.37566 0.18872 -23.187 < 2e-16 ***
# pagine 0.34742 0.03584 9.693 < 2e-16 ***
# mobile -0.50057 0.12834 -3.900 9.61e-05 ***
# brand 1.19691 0.12868 9.302 < 2e-16 ***
#
# Null deviance: 2107.0 on 4999 degrees of freedom
# Residual deviance: 1923.8 on 4996 degrees of freedom
# AIC: 1931.8 Il modello ritrova quasi alla perfezione i valori con cui abbiamo costruito i dati: 0,347 contro 0,35 per le pagine, −0,501 contro −0,5 per il mobile, 1,197 contro 1,2 per il brand. Le colonne si leggono come nella regressione lineare: stima, errore standard, la statistica z (qui al posto della t) e il p-value. La devianza è l’equivalente logistico della somma dei quadrati dei residui: scende da 2107 (il modello senza predittori) a 1924, segno che le tre variabili spiegano qualcosa.
Già il segno dei coefficienti dice molto: più pagine e query brand fanno salire la probabilità di conversione, lo smartphone la fa scendere. Ma quanto? Qui la logistica chiede un passo in più.
I coefficienti sono sulla scala dei log-odds, che nessuno ha l’abitudine di pensare. Il trucco è elevarli a esponente: e elevato al coefficiente è l’odds ratio, il numero per cui si moltiplicano gli odds della conversione quando la variabile aumenta di un’unità, a parità delle altre. Calcoliamoli insieme ai loro intervalli di confidenza:
round(exp(cbind(OR = coef(modello), confint(modello))), 3)
# OR 2.5 % 97.5 %
# (Intercept) 0.013 0.009 0.018
# pagine 1.415 1.319 1.519
# mobile 0.606 0.471 0.780
# brand 3.310 2.572 4.261 Traduciamo riga per riga:
Nessuno degli intervalli contiene l’1, il valore che significherebbe «nessun effetto».
Attenzione: l’odds ratio non è un rapporto fra probabilità. «Odds 3,3 volte più alti» non vuol dire «3,3 volte più probabile». Le due cose quasi coincidono solo quando l’evento è raro, come le nostre conversioni al 5%. Con eventi frequenti si allontanano parecchio: passare da odds 1 a odds 3,3 significa passare dal 50% al 77% di probabilità, che non è certo il triplo. E soprattutto, lo stesso odds ratio produce salti diversi in punti percentuali, a seconda di dove ci troviamo sulla curva.
Quest’ultimo punto merita un grafico. Calcoliamo le probabilità previste per quattro profili di sessione, con type = "response", che restituisce probabilità invece di log-odds:
profili <- data.frame(pagine = c(3, 3, 8, 8),
mobile = c(1, 0, 1, 0),
brand = c(0, 1, 0, 1))
round(predict(modello, newdata = profili, type = "response"), 3)
# 1 2 3 4
# 0.021 0.106 0.109 0.401 Una sessione da smartphone, non brand, con 3 pagine viste converte col 2,1% di probabilità. Lo stesso numero di pagine da desktop e da query brand vale il 10,6%. Con 8 pagine, desktop e brand, si arriva al 40,1%.
Verifichiamo il primo valore a mano, per vedere che non c’è magia. Il logit vale −4,376 + 0,347 × 3 − 0,501 × 1 + 1,197 × 0 = −3,834. La probabilità è 1 / (1 + e^3,834) = 1 / (1 + 46,2) = 0,021.
Le quattro curve condividono lo stesso odds ratio per pagina, 1,415. Eppure in punti percentuali l’effetto di una pagina in più cambia moltissimo: per una sessione mobile non brand, passare da 2 a 3 pagine aggiunge 0,6 punti (dall’1,5% al 2,1%); per una sessione mobile da query brand, passare da 8 a 9 ne aggiunge 7,6 (dal 28,9% al 36,5%). È la curva a S al lavoro, ed è il motivo per cui nei report conviene riportare sia l’odds ratio sia qualche probabilità prevista per profili concreti.
Spesso dal modello vogliamo una decisione: a quali sessioni mostrare un’offerta, quali utenti inserire in una campagna di remarketing. Per trasformare una probabilità in un sì o un no serve una soglia, e la scelta istintiva è 0,5: se la probabilità supera il 50%, prevediamo una conversione.
Per giudicare il modello in modo onesto, però, non possiamo valutarlo sugli stessi dati con cui l’abbiamo stimato. Dividiamo le sessioni: stimiamo su 3.500 e misuriamo le previsioni sulle altre 1.500, che il modello non ha mai visto.
set.seed(11)
righe <- sample(n, 3500)
addestramento <- sessioni[righe, ]
test <- sessioni[-righe, ]
modello_add <- glm(converte ~ pagine + mobile + brand, data = addestramento, family = binomial)
p_test <- predict(modello_add, newdata = test, type = "response")
table(previsto = p_test > 0.5, reale = test$converte)
# reale
# previsto 0 1
# FALSE 1410 89
# TRUE 1 0
mean((p_test > 0.5) == test$converte)
# [1] 0.94 Accuratezza del 94%: sembra un ottimo risultato. Ma guardiamo la tabella: delle 89 sessioni che hanno convertito davvero, il modello non ne ha individuata nessuna. Ha semplicemente risposto «no» quasi sempre. E con un tasso di conversione del 5,9%, chi risponde sempre «no» senza nessun modello ottiene un’accuratezza del 94,1%, meglio di noi.
Con eventi rari, l’accuratezza è una metrica che inganna. Il modello non è inutile: è la soglia a essere sbagliata. Nei nostri dati quasi nessuna sessione supera il 50% di probabilità, quindi una soglia a 0,5 equivale a non segnalare mai niente. Abbassiamola a 0,1:
table(previsto = p_test > 0.1, reale = test$converte)
# reale
# previsto 0 1
# FALSE 1292 62
# TRUE 119 27 Ora il modello segnala 146 sessioni e ne prende 27 che convertono davvero: il 30% delle conversioni (la sensibilità, o recall). Fra le sessioni segnalate, il 18,5% converte (la precisione), più del triplo del 5,9% di partenza. L’accuratezza scende all’88%, ma il modello è diventato utile.
Il grafico mostra il compromesso. Le sessioni che convertono stanno in media più a destra, ma le due distribuzioni si sovrappongono molto: ogni soglia è uno scambio fra conversioni prese e falsi allarmi. La soglia giusta non la decide la statistica, la decide il costo degli errori: se mostrare un’offerta a chi non comprerà costa poco, conviene una soglia bassa.
Per giudicare il modello indipendentemente dalla soglia si usa spesso l’AUC, l’area sotto la curva ROC: è la probabilità che, presa a caso una sessione che converte e una che non converte, il modello assegni alla prima una probabilità più alta. Vale 0,5 per un modello che tira a indovinare e 1 per uno perfetto. Calcoliamola con i ranghi, la stessa idea del test di Wilcoxon:
r <- rank(p_test)
n1 <- sum(test$converte); n0 <- sum(1 - test$converte)
round((sum(r[test$converte == 1]) - n1 * (n1 + 1) / 2) / (n1 * n0), 3)
# [1] 0.749 Un’AUC di 0,75 è un risultato discreto: con solo tre variabili, il modello ordina correttamente tre coppie su quattro.
La regressione logistica chiede meno della regressione lineare (niente normalità dei residui, niente varianza costante), ma qualche condizione resta:
C’è infine una condizione meno nota, e capita di leggere l’esatto contrario: che la regressione logistica si usi «quando i dati sono linearmente separabili». È vero l’opposto: se una variabile separa perfettamente i sì dai no, la logistica va in crisi. La massima verosimiglianza spinge il coefficiente verso l’infinito per rendere la curva un gradino perfetto, e l’errore standard esplode. Succede più spesso di quanto si pensi, anche con dataset famosi.
Il caso del Titanic: quando un coefficiente esplode. Il dataset dei passeggeri del Titanic è l’esempio di regressione logistica più usato al mondo. Stimiamo la sopravvivenza in funzione di classe, sesso, età, familiari a bordo, tariffa e porto d’imbarco, e nel summary() compare una riga strana: l’intercetta vale 17,9 con un errore standard di 607, e i tre porti hanno coefficienti attorno a −12, anche loro con errori enormi.
Il motivo sono due passeggere, Amelie Icard e Martha Stone, che nel file hanno il porto d’imbarco vuoto. R tratta il vuoto come una quarta categoria, e la usa come riferimento. Tutte e due sono sopravvissute: per quella «categoria» il tasso di sopravvivenza è del 100%, una separazione perfetta. Dalle fonti storiche risulta che entrambe si imbarcarono a Southampton: assegnando loro la «S», l’intercetta torna a 5,64 con errore standard 0,64, e i porti diventano leggibili.
Due lezioni. La prima: un errore standard di centinaia di unità è quasi sempre un segnale di separazione, non un risultato. La seconda: lo stesso glm() ha scartato in silenzio 177 passeggeri su 891, quelli senza età. Prima di guardare i coefficienti conviene sempre controllare con nobs(modello) su quante righe ha lavorato davvero.
La regressione lineare prevede una variabile numerica continua, come il traffico o il fatturato. La regressione logistica prevede la probabilità di un esito binario, come converte o non converte. Per farlo modella in modo lineare il logaritmo degli odds e restituisce probabilità sempre comprese fra 0 e 1.
È l’esponenziale di un coefficiente: indica per quanto si moltiplicano gli odds dell’evento quando la variabile aumenta di un’unità, a parità delle altre. Un odds ratio di 1,4 significa odds più alti del 40%, uno di 0,6 odds più bassi del 40%, uno pari a 1 nessun effetto.
No. Nella regressione logaritmica la variabile da prevedere resta numerica e continua, e la relazione con il predittore passa per un logaritmo (per esempio y = a + b·ln x). Nella regressione logistica la variabile da prevedere è binaria, e il logaritmo riguarda gli odds dell’evento.
Se le categorie non hanno un ordine (per esempio desktop, mobile e tablet) si usa la regressione logistica multinomiale, in R con multinom() del pacchetto nnet. Se hanno un ordine naturale (basso, medio, alto) si usa la regressione logistica ordinale, in R con polr() del pacchetto MASS.
Dipende dal costo dei due tipi di errore e da quanto è frequente l’evento. Con eventi rari, come le conversioni, la soglia di 0,5 porta spesso a non segnalare mai niente. Conviene guardare la tabella delle previsioni per più soglie, oppure l’AUC per valutare il modello indipendentemente dalla soglia.
Conta soprattutto il numero di eventi, cioè dei casi nella categoria meno frequente. Una regola pratica diffusa ne chiede almeno una decina per ogni predittore: con 50 conversioni, meglio non andare oltre quattro o cinque variabili.
Il codice dell’articolo si presta a qualche esperimento.
converte ~ pagine + mobile) e si guarda l’AUC sul test: quanto vale, da sola, l’informazione sulla query di partenza?L’ultimo esercizio mostra bene il legame fra la forza dei predittori e la difficoltà della classificazione: un modello con effetti forti spinge le probabilità verso i bordi, e lì una soglia vale l’altra.
Nel nostro esempio le tre variabili sono indipendenti per costruzione: le pagine viste non dipendono dal dispositivo, il brand non dipende dalle pagine. Nella realtà non è quasi mai così. Chi arriva da una ricerca col nome del brand tende anche a sfogliare più pagine, e quando i predittori si sovrappongono i coefficienti diventano instabili e difficili da separare. È la multicollinearità, e insieme ad altri due nomi che spaventano più di quanto meritino, l’eteroschedasticità e l’autocorrelazione, è la prossima tappa del nostro viaggio nella regressione.
Per vedere la regressione logistica nel suo contesto più ampio consiglio Introduzione all’econometria di Stock e Watson: dedica un capitolo intero alla regressione con variabile dipendente binaria, parte proprio dal modello lineare di probabilità e dai suoi limiti, e mostra con esempi concreti perché logit e probit li superano.
Il report di settembre è quasi pronto, e c'è un numero che stona: ad agosto…
Il rifacimento del sito è deciso, la data di messa online pure, e prima o…
Il report annuale arriva sul tavolo con una buona notizia in prima pagina: la posizione…
Le guide tecniche di un sito salgono nei risultati di ricerca, compaiono più spesso, e…
Clic e sessioni variano più di quanto la Poisson preveda: come accorgersene in R e…
Un report annuale si chiude spesso con una riga sola: i clic da Google sono…