statistica Archives - paologironi blog

Survivorship bias: perché i case study di successo ci ingannano

Lo abbiamo letto tutti, magari su LinkedIn con tanto di grafico in salita: «Abbiamo riscritto i title di 300 pagine e in tre mesi il traffico è cresciuto del 38%».
Il case study è onesto, i numeri sono veri, e la tentazione di copiare la ricetta è fortissima. Ma c’è una domanda che il post non si pone, e che conviene porsi al posto suo: quante altre aziende hanno fatto la stessa cosa, e com’è andata a loro?
Chi ha riscritto i title e ha perso il 10% non scrive un case study. Non lo scrive nemmeno chi è rimasto fermo. Il loro silenzio non è un dettaglio: è metà dei dati.

Nell’articolo sul p-value abbiamo visto che anche i risultati «significativi» possono ingannarci. Qui l’inganno è ancora più semplice, e per questo più insidioso: guardiamo solo chi ce l’ha fatta. Si chiama survivorship bias, il bias del sopravvissuto.

Il p-value e i suoi malintesi: cosa significa davvero p < 0,05

«Il nuovo titolo ha un p-value di 0,03: c’è il 97% di probabilità che funzioni.» È una frase che si legge nei report, nei case study, a volte perfino nei manuali. Ed è sbagliata. Non di poco, non per pedanteria: è sbagliata in un modo che può farci prendere metà delle decisioni sulla base di risultati che non esistono.

Su questo blog il p-value compare in decine di articoli, dal test delle ipotesi all’A/B testing, dalla regressione ai confronti multipli. È il numero più usato della statistica applicata, e probabilmente il più frainteso. Vale la pena fermarsi una volta su che cosa dice, e soprattutto su che cosa non dice.

Confronti multipli: perché su 200 query qualcuna «migliora» sempre per caso

Nel 2009 un gruppo di neuroscienziati mise un salmone in uno scanner per la risonanza magnetica funzionale, gli mostrò una serie di fotografie di persone in situazioni sociali e gli “chiese” quali emozioni provassero. L’analisi trovò una piccola area del cervello con un’attività statisticamente significativa. Il dettaglio è che il salmone era morto.
Lo studio era uno scherzo serissimo (vinse un Ig Nobel nel 2012), e il suo bersaglio non era la risonanza magnetica: era un errore di metodo diffusissimo. Con abbastanza test, qualcosa di “significativo” salta fuori comunque. Lo scanner aveva confrontato decine di migliaia di piccoli volumi del cervello, uno per uno, ciascuno con la soglia del 5%.

Nel nostro lavoro il salmone morto ha un nome familiare: Search Console. Confrontiamo il CTR di questo mese con quello del mese scorso su 200 query, troviamo una dozzina di variazioni “significative” e scriviamo nel report quali query sono migliorate. Ma quante di quelle dodici sono cambiate davvero? È il problema dei confronti multipli, e abbiamo già visto spuntarne il profilo parlando di split test SEO e di peeking.

Split test SEO: come capire se una modifica ha funzionato davvero

In queste settimane ho rifatto da cima a fondo alcune delle pagine più lette di questo blog: nuove aperture, title riscritti, domande frequenti. Fra un mese aprirò Search Console, e la tentazione sarà la solita: confrontare i clic di prima con quelli di dopo.
Se saranno saliti, sarà merito mio? E se saranno scesi, avrò sbagliato tutto? Il confronto prima/dopo non può rispondere a nessuna delle due domande: nel frattempo cambiano la stagione, la concorrenza, l’algoritmo. Basta un core update nella settimana sbagliata e il miglior lavoro del mondo sembra un disastro.

Nel marketing la risposta classica a questo problema è l’A/B test: due versioni, utenti divisi a caso, si confrontano i risultati. Con la SEO però c’è un ostacolo insormontabile, perché Google vede una sola versione della pagina. Non possiamo dividere gli utenti: possiamo dividere le pagine. È l’idea dello split test SEO, e lo strumento statistico che lo rende affidabile ha un nome che sembra uno scioglilingua: la differenza delle differenze.

Clustering delle keyword: raggruppare migliaia di query con K-means e clustering gerarchico

Capita spesso che si esporti l’elenco delle keyword da Search Console o da un tool, e ci si ritrovi davanti a migliaia di righe. Tremila, diecimila query.
Leggerle una per una è impensabile, e raggrupparle a mano “a sentimento” è un lavoro lento, soggettivo e impossibile da rifare.
Eppure quel raggruppamento serve: vogliamo capire quali grandi famiglie di ricerche esistono nel nostro mercato, per decidere dove creare contenuti, quali pagine costruire, su cosa puntare.
La domanda è: possiamo lasciare che siano i dati a rivelarci i gruppi, invece di imporli noi? Trasformare quella montagna di query in pochi insiemi omogenei è il lavoro del clustering delle keyword.

Abbiamo già affrontato un problema vicino, classificare l’intento di una query con il Naive Bayes — ma lì avevamo un ingrediente che oggi ci manca: un insieme di esempi già etichettati da cui imparare. Qui le etichette non ce le ha date nessuno.
È il territorio del clustering, uno degli strumenti più usati del machine learning, e in questo articolo lo costruiamo in R con i suoi due algoritmi classici: il K-means e il clustering gerarchico.