Categories: aistatistica

La Discesa del Gradiente: un nuovo studio mette in discussione un assunto base sull’ottimizzazione

Nel 1847, il matematico francese Augustin-Louis Cauchy stava lavorando su calcoli astronomici, quando ideò un metodo comune di ottimizzazione ora noto come discesa del gradiente. Oggi la maggior parte dei programmi di machine learning si basa su questa tecnica, e anche altri campi la usano per analizzare dati e risolvere problemi ingegneristici.

I ricercatori hanno perfezionato la discesa del gradiente per oltre 150 anni, ma un recente studio ha dimostrato che un suo presupposto di base potrebbe essere sbagliato. Il lavoro ha mostrato che la tecnica può funzionare quasi 3 volte più velocemente se infrange una regola accettata da tempo su come trovare la soluzione ottimale.

La discesa del gradiente usa una “funzione di costo1” per capire dove si trova il punto ottimo. Gli algoritmi si muovono seguendo il gradiente più ripido della curva per raggiungere il minimo della funzione.

La saggezza consolidata è che l’algoritmo debba muoversi con piccoli passi per non “oltrepassare” la soluzione. Ma il nuovo studio ha scoperto che una sequenza con un grande passo al centro converge più velocemente. Questo approccio ciclico con un “salto gigante” può arrivare al punto ottimo 3 volte più rapidamente.

La ricerca rimette in discussione l’intuizione su come funziona al meglio la discesa del gradiente. Anche se difficilmente cambierà l’uso pratico della tecnica, costringe a riconsiderare la teoria che vi è dietro.


Fonte: Quanta Magazine


  1. Una “funzione di costo” è una misura quantitativa che valuta l’adeguatezza delle previsioni generate da un modello rispetto ai dati di addestramento. In termini più precisi, una funzione di costo assegna un valore numerico a ciascuna previsione del modello in base alla discrepanza tra la previsione e il valore reale associato. L’obiettivo della funzione di costo è minimizzare questo valore numerico, indicando una migliore aderenza del modello ai dati di addestramento. In molti algoritmi di apprendimento automatico, la scelta della funzione di costo influisce sulla capacità del modello di apprendere e generalizzare correttamente dai dati. ↩︎
paolo

Recent Posts

Il mese in cui il modulo non contava: trovare e ricostruire i buchi di tracciamento

Il report di settembre è quasi pronto, e c'è un numero che stona: ad agosto…

1 settimana ago

Quante pagine proteggere in una migrazione? La curva di Lorenz e le soglie del traffico

Il rifacimento del sito è deciso, la data di messa online pure, e prima o…

1 settimana ago

Quando cambia il metro: rotture strutturali nelle metriche SEO

Il report annuale arriva sul tavolo con una buona notizia in prima pagina: la posizione…

2 settimane ago

Le risposte AI di Google ci tolgono clic? Misurarlo con il CTR atteso e un gruppo di controllo

Le guide tecniche di un sito salgono nei risultati di ricerca, compaiono più spesso, e…

2 settimane ago

Quando i clic variano più del previsto: la sovradispersione

Clic e sessioni variano più di quanto la Poisson preveda: come accorgersene in R e…

2 settimane ago

Due anni di dati e una stagionalità da togliere: il confronto anno su anno, fatto bene

Un report annuale si chiude spesso con una riga sola: i clic da Google sono…

2 settimane ago