{"id":3031,"date":"2023-08-20T14:45:44","date_gmt":"2023-08-20T13:45:44","guid":{"rendered":"https:\/\/www.gironi.it\/blog\/?p=3031"},"modified":"2024-09-20T13:54:42","modified_gmt":"2024-09-20T12:54:42","slug":"la-discesa-del-gradiente-un-nuovo-studio-mette-in-discussione-un-assunto-base-sullottimizzazione","status":"publish","type":"post","link":"https:\/\/www.gironi.it\/blog\/la-discesa-del-gradiente-un-nuovo-studio-mette-in-discussione-un-assunto-base-sullottimizzazione\/","title":{"rendered":"La Discesa del Gradiente: un nuovo studio mette in discussione un assunto base sull’ottimizzazione"},"content":{"rendered":"\n

Nel 1847, il matematico francese Augustin-Louis Cauchy stava lavorando su calcoli astronomici, quando ide\u00f2 un metodo comune di ottimizzazione ora noto come discesa del gradiente<\/em><\/strong>. Oggi la maggior parte dei programmi di machine learning<\/em> si basa su questa tecnica, e anche altri campi la usano per analizzare dati e risolvere problemi ingegneristici.<\/p>\n\n\n\n\n\n\n\n

I ricercatori hanno perfezionato la discesa del gradiente per oltre 150 anni, ma un recente studio ha dimostrato che un suo presupposto di base potrebbe essere sbagliato. Il lavoro ha mostrato che la tecnica pu\u00f2 funzionare quasi 3 volte pi\u00f9 velocemente se infrange una regola accettata da tempo su come trovare la soluzione ottimale<\/strong>.<\/p>\n\n\n\n

La discesa del gradiente usa una “funzione di costo<\/em>1<\/a><\/sup>” per capire dove si trova il punto ottimo. Gli algoritmi si muovono seguendo il gradiente pi\u00f9 ripido della curva per raggiungere il minimo della funzione.<\/p>\n\n\n\n

La saggezza consolidata \u00e8 che l’algoritmo debba muoversi con piccoli passi per non “oltrepassare” la soluzione. Ma il nuovo studio ha scoperto che una sequenza con un grande passo al centro converge pi\u00f9 velocemente<\/strong>. Questo approccio ciclico con un “salto gigante” pu\u00f2 arrivare al punto ottimo 3 volte pi\u00f9 rapidamente.<\/p>\n\n\n\n

La ricerca rimette in discussione l’intuizione su come funziona al meglio la discesa del gradiente. Anche se difficilmente cambier\u00e0 l’uso pratico della tecnica, costringe a riconsiderare la teoria che vi \u00e8 dietro.<\/p>\n\n\n\n

\n\n\n\n

Fonte: Quanta Magazine<\/a><\/p>\n\n\n\n

\n\n\n
  1. Una “funzione di costo” \u00e8 una misura quantitativa che valuta l’adeguatezza delle previsioni generate da un modello rispetto ai dati di addestramento. In termini pi\u00f9 precisi, una funzione di costo assegna un valore numerico a ciascuna previsione del modello in base alla discrepanza tra la previsione e il valore reale associato. L’obiettivo della funzione di costo \u00e8 minimizzare questo valore numerico, indicando una migliore aderenza del modello ai dati di addestramento. In molti algoritmi di apprendimento automatico, la scelta della funzione di costo influisce sulla capacit\u00e0 del modello di apprendere e generalizzare correttamente dai dati. \u21a9\ufe0e<\/a><\/li><\/ol>","protected":false},"excerpt":{"rendered":"

    Nel 1847, il matematico francese Augustin-Louis Cauchy stava lavorando su calcoli astronomici, quando ide\u00f2 un metodo comune di ottimizzazione ora noto come discesa del gradiente. Oggi la maggior parte dei programmi di machine learning si basa su questa tecnica, e anche altri campi la usano per analizzare dati e risolvere problemi ingegneristici.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_uag_custom_page_level_css":"","footnotes":"[{\"content\":\"Una \\\"funzione di costo\\\" \u00e8 una misura quantitativa che valuta l'adeguatezza delle previsioni generate da un modello rispetto ai dati di addestramento. In termini pi\u00f9 precisi, una funzione di costo assegna un valore numerico a ciascuna previsione del modello in base alla discrepanza tra la previsione e il valore reale associato. L'obiettivo della funzione di costo \u00e8 minimizzare questo valore numerico, indicando una migliore aderenza del modello ai dati di addestramento. In molti algoritmi di apprendimento automatico, la scelta della funzione di costo influisce sulla capacit\u00e0 del modello di apprendere e generalizzare correttamente dai dati.\",\"id\":\"72f4e4ff-094b-4fbe-bb32-129bd1819921\"}]"},"categories":[635,629],"tags":[639,641,643],"class_list":["post-3031","post","type-post","status-publish","format-standard","hentry","category-ai-it","category-statistica-it","tag-algoritmi-it","tag-discesa-del-gradiente-it","tag-machine-learning-it"],"lang":"it","translations":{"it":3031},"uagb_featured_image_src":{"full":false,"thumbnail":false,"medium":false,"medium_large":false,"large":false,"1536x1536":false,"2048x2048":false,"post-thumbnail":false},"uagb_author_info":{"display_name":"paolo","author_link":"https:\/\/www.gironi.it\/blog\/author\/paolo\/"},"uagb_comment_info":58,"uagb_excerpt":"Nel 1847, il matematico francese Augustin-Louis Cauchy stava lavorando su calcoli astronomici, quando ide\u00f2 un metodo comune di ottimizzazione ora noto come discesa del gradiente. Oggi la maggior parte dei programmi di machine learning si basa su questa tecnica, e anche altri campi la usano per analizzare dati e risolvere problemi ingegneristici.","_links":{"self":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts\/3031","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/comments?post=3031"}],"version-history":[{"count":6,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts\/3031\/revisions"}],"predecessor-version":[{"id":3160,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/posts\/3031\/revisions\/3160"}],"wp:attachment":[{"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/media?parent=3031"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/categories?post=3031"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.gironi.it\/blog\/wp-json\/wp\/v2\/tags?post=3031"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}