Nel 1847, il matematico francese Augustin-Louis Cauchy stava lavorando su calcoli astronomici, quando ideò un metodo comune di ottimizzazione ora noto come discesa del gradiente. Oggi la maggior parte dei programmi di machine learning si basa su questa tecnica, e anche altri campi la usano per analizzare dati e risolvere problemi ingegneristici.
I ricercatori hanno perfezionato la discesa del gradiente per oltre 150 anni, ma un recente studio ha dimostrato che un suo presupposto di base potrebbe essere sbagliato. Il lavoro ha mostrato che la tecnica può funzionare quasi 3 volte più velocemente se infrange una regola accettata da tempo su come trovare la soluzione ottimale.
La discesa del gradiente usa una “funzione di costo1” per capire dove si trova il punto ottimo. Gli algoritmi si muovono seguendo il gradiente più ripido della curva per raggiungere il minimo della funzione.
La saggezza consolidata è che l’algoritmo debba muoversi con piccoli passi per non “oltrepassare” la soluzione. Ma il nuovo studio ha scoperto che una sequenza con un grande passo al centro converge più velocemente. Questo approccio ciclico con un “salto gigante” può arrivare al punto ottimo 3 volte più rapidamente.
La ricerca rimette in discussione l’intuizione su come funziona al meglio la discesa del gradiente. Anche se difficilmente cambierà l’uso pratico della tecnica, costringe a riconsiderare la teoria che vi è dietro.
Fonte: Quanta Magazine
Il report di settembre è quasi pronto, e c'è un numero che stona: ad agosto…
Il rifacimento del sito è deciso, la data di messa online pure, e prima o…
Il report annuale arriva sul tavolo con una buona notizia in prima pagina: la posizione…
Le guide tecniche di un sito salgono nei risultati di ricerca, compaiono più spesso, e…
Clic e sessioni variano più di quanto la Poisson preveda: come accorgersene in R e…
Un report annuale si chiude spesso con una riga sola: i clic da Google sono…