Due anni di dati e una stagionalità da togliere: il confronto anno su anno, fatto bene

Un report annuale si chiude spesso con una riga sola: i clic da Google sono scesi dell’11,8% rispetto all’anno prima. La riga è vera, ma non dice niente su dove sia successo. Il calo può essere concentrato in sei mesi e sparire negli altri, può essere cominciato a marzo, può essere la coda di un evento di settembre. E il numero annuo, per costruzione, mescola tutto.

La strada che viene naturale è quella che abbiamo visto nell’articolo sulle serie storiche: decomporre la serie con decompose() o stl(), togliere la stagionalità, guardare il trend. Peccato che con due anni di dati stl() si fermi con un errore. E due anni sono il caso più comune che esista: Search Console conserva circa sedici mesi, molti siti hanno GA4 da poco, i report annuali confrontano un anno con il precedente.

I numeri di questo articolo sono simulati, ma la forma del problema è quella dei report veri. Vediamo come si toglie la stagionalità quando di stagioni, per così dire, ce ne sono soltanto due.

Leggi tutto “Due anni di dati e una stagionalità da togliere: il confronto anno su anno, fatto bene”

Le richieste sono calate davvero? Confrontare due periodi quando si contano eventi

Un sito riceve 612 richieste quest’anno e ne aveva ricevute 640 l’anno prima. Il conto è presto fatto: −4,4%. Parte la ricerca della causa, e con essa la riunione in cui qualcuno propone di rifare le pagine di servizio, qualcun altro incolpa la stagione, qualcun altro ancora «il calo generale del mercato».
Prima di spiegare un calo, però, conviene chiedersi se c’è qualcosa da spiegare. Perché 612 contro 640 non è un numero: è un conteggio, e i conteggi oscillano.

I numeri di questo articolo sono inventati, ma la forma del problema è quella che si incontra ogni mese: richieste, moduli, telefonate, iscrizioni, conversioni senza un denominatore affidabile. Sono tutti conteggi di eventi, e per confrontarli fra due periodi serve un test che ragioni sul loro ritmo, non sul loro totale. È il test di Poisson, e il bello è che sta in una riga di R.

Leggi tutto “Le richieste sono calate davvero? Confrontare due periodi quando si contano eventi”

Survivorship bias: perché i case study di successo ci ingannano

Lo abbiamo letto tutti, magari su LinkedIn con tanto di grafico in salita: «Abbiamo riscritto i title di 300 pagine e in tre mesi il traffico è cresciuto del 38%».
Il case study è onesto, i numeri sono veri, e la tentazione di copiare la ricetta è fortissima. Ma c’è una domanda che il post non si pone, e che conviene porsi al posto suo: quante altre aziende hanno fatto la stessa cosa, e com’è andata a loro?
Chi ha riscritto i title e ha perso il 10% non scrive un case study. Non lo scrive nemmeno chi è rimasto fermo. Il loro silenzio non è un dettaglio: è metà dei dati.

Nell’articolo sul p-value abbiamo visto che anche i risultati «significativi» possono ingannarci. Qui l’inganno è ancora più semplice, e per questo più insidioso: guardiamo solo chi ce l’ha fatta. Si chiama survivorship bias, il bias del sopravvissuto.

Leggi tutto “Survivorship bias: perché i case study di successo ci ingannano”

Il p-value e i suoi malintesi: cosa significa davvero p < 0,05

«Il nuovo titolo ha un p-value di 0,03: c’è il 97% di probabilità che funzioni.» È una frase che si legge nei report, nei case study, a volte perfino nei manuali. Ed è sbagliata. Non di poco, non per pedanteria: è sbagliata in un modo che può farci prendere metà delle decisioni sulla base di risultati che non esistono.

Su questo blog il p-value compare in decine di articoli, dal test delle ipotesi all’A/B testing, dalla regressione ai confronti multipli. È il numero più usato della statistica applicata, e probabilmente il più frainteso. Vale la pena fermarsi una volta su che cosa dice, e soprattutto su che cosa non dice.

Leggi tutto “Il p-value e i suoi malintesi: cosa significa davvero p < 0,05"

Confronti multipli: perché su 200 query qualcuna «migliora» sempre per caso

Nel 2009 un gruppo di neuroscienziati mise un salmone in uno scanner per la risonanza magnetica funzionale, gli mostrò una serie di fotografie di persone in situazioni sociali e gli “chiese” quali emozioni provassero. L’analisi trovò una piccola area del cervello con un’attività statisticamente significativa. Il dettaglio è che il salmone era morto.
Lo studio era uno scherzo serissimo (vinse un Ig Nobel nel 2012), e il suo bersaglio non era la risonanza magnetica: era un errore di metodo diffusissimo. Con abbastanza test, qualcosa di “significativo” salta fuori comunque. Lo scanner aveva confrontato decine di migliaia di piccoli volumi del cervello, uno per uno, ciascuno con la soglia del 5%.

Nel nostro lavoro il salmone morto ha un nome familiare: Search Console. Confrontiamo il CTR di questo mese con quello del mese scorso su 200 query, troviamo una dozzina di variazioni “significative” e scriviamo nel report quali query sono migliorate. Ma quante di quelle dodici sono cambiate davvero? È il problema dei confronti multipli, e abbiamo già visto spuntarne il profilo parlando di split test SEO e di peeking.

Leggi tutto “Confronti multipli: perché su 200 query qualcuna «migliora» sempre per caso”