Il mese in cui il modulo non contava: trovare e ricostruire i buchi di tracciamento

Il report di settembre è quasi pronto, e c’è un numero che stona: ad agosto il modulo dei contatti ha raccolto 11 richieste. A luglio erano state 82, a giugno 98.
La prima spiegazione è a portata di mano: è agosto, le aziende sono chiuse, la gente è al mare. E in effetti anche l’anno prima agosto era stato il mese peggiore. Il report parte, con una frase sul calo estivo. Poi, mesi dopo, qualcuno si accorge che il tag dell’invio del modulo era stato rotto da un aggiornamento del tema, e che quelle richieste erano arrivate quasi tutte: semplicemente, nessuno le aveva contate.

Ogni analista prima o poi incontra un buco di tracciamento: un periodo in cui un evento ha smesso di essere registrato, per un selettore cambiato, un tag in pausa, un plugin aggiornato, un banner dei consensi riconfigurato. Il danno vero non è il buco in sé, ma il tempo che passa prima di accorgersene. In questo articolo vediamo come trovarlo con un ragionamento statistico invece che per caso, come ricostruire il dato mancante in modo onesto, e quando invece è meglio non ricostruirlo affatto.

Leggi tutto “Il mese in cui il modulo non contava: trovare e ricostruire i buchi di tracciamento”

Quante pagine proteggere in una migrazione? La curva di Lorenz e le soglie del traffico

Il rifacimento del sito è deciso, la data di messa online pure, e prima o poi arriva la domanda che nessuno ha voglia di affrontare: quali pagine controlliamo una per una?
Le risposte di solito sono due, e sono entrambe sbagliate. «Tutte» è impossibile, quando le URL che compaiono in Search Console sono migliaia. «Le principali» non vuol dire niente, perché ognuno ha in mente le sue: la homepage, le pagine dei servizi, quell’articolo che una volta è andato bene.

Esiste una terza risposta, che si può misurare in mezz’ora: ordinare le pagine per traffico, contare quante ne servono per arrivare alla metà, all’80%, al 90% dei clic, e guardare quanto sono stabili quelle liste. Abbiamo già incontrato lo strumento parlando dell’indice di Gini e della curva di Lorenz. Qui lo mettiamo al lavoro su una decisione concreta.

Leggi tutto “Quante pagine proteggere in una migrazione? La curva di Lorenz e le soglie del traffico”

Quando cambia il metro: rotture strutturali nelle metriche SEO

Il report annuale arriva sul tavolo con una buona notizia in prima pagina: la posizione media del sito è passata da 23 a meno di 13. Dieci posizioni guadagnate in un anno, senza una campagna di link, senza una riscrittura dei contenuti.
Poi si gira pagina, e i clic sono gli stessi di prima: 168 al giorno prima, 168 al giorno dopo. Un sito che sale di dieci posizioni e non prende un clic in più è un sito strano. Oppure è un sito che non è salito affatto.

Abbiamo avuto modo di vedere, parlando di anomaly detection, come si riconosce un giorno fuori norma: un picco, un crollo, un valore che la serie non si aspettava. Qui il problema è diverso, e più insidioso. Non c’è un giorno strano: c’è un giorno dopo il quale tutti i giorni sono diversi, perché è cambiato il modo di contarli. Si chiama rottura strutturale, e nei dati web succede molto più spesso di quanto pensiamo.

Leggi tutto “Quando cambia il metro: rotture strutturali nelle metriche SEO”

Le risposte AI di Google ci tolgono clic? Misurarlo con il CTR atteso e un gruppo di controllo

Le guide tecniche di un sito salgono nei risultati di ricerca, compaiono più spesso, e nonostante questo ricevono meno clic. Il CTR delle guide passa dall’8,6% al 5,8% in sei mesi.
La spiegazione che viene in mente per prima è anche la più alla moda: le risposte generate dall’intelligenza artificiale in cima alla SERP (le AI Overviews, e poi la AI Mode) rispondono alla domanda prima che qualcuno senta il bisogno di cliccare. Ma è davvero così? Forse le guide sono peggiorate. Forse è calato tutto il sito. Forse è cambiata la stagione.

Abbiamo avuto modo di costruire, parlando di CTR atteso vs reale, il metro giusto per giudicare un CTR: la curva che lega la posizione al CTR tipico del nostro sito. Quel metro però fotografa un solo momento. Qui lo mettiamo in movimento: usiamo la stessa curva per due periodi, prima e dopo un evento, e la affianchiamo a un gruppo di controllo, cioè a pagine che l’evento non dovrebbe toccare.
Il ragionamento che ne esce ha un nome, difference-in-differences, e serve ben oltre le risposte AI: un aggiornamento dell’algoritmo, un nuovo formato della SERP, una migrazione parziale.

Leggi tutto “Le risposte AI di Google ci tolgono clic? Misurarlo con il CTR atteso e un gruppo di controllo”

Quando i clic variano più del previsto: la sovradispersione

Clic e sessioni variano più di quanto la Poisson preveda: come accorgersene in R e correggere gli intervalli con quasi-Poisson e binomiale negativa, con esempi.

Un grafico anno su anno, i clic organici in calo del 3,6%, e accanto un intervallo di confidenza strettissimo: da −4,7% a −2,5%. Il p-value è dell’ordine di un decimiliardesimo. Tutto sembra dire che il calo è reale, e che ora bisogna trovarne la causa.
Eppure i numeri di questo esempio vengono da una simulazione in cui, per costruzione, non è cambiato nulla. Il calo è rumore, e il test non se n’è accorto.

Il colpevole non è il test, ma un’ipotesi che gli abbiamo dato per buona senza controllarla: che i clic di un giorno siano un’estrazione da una Poisson. Abbiamo usato la Poisson nel confronto fra due periodi con i conteggi, su richieste e moduli. Sui clic giornalieri, sulle sessioni, sulle impressioni, l’ipotesi va controllata prima di fidarsi, e molto spesso non regge. Il motivo ha un nome, sovradispersione, e la cura costa due righe di R.

Leggi tutto “Quando i clic variano più del previsto: la sovradispersione”