Costo delle reti neurali: perché è così costoso addestrarle su modelli di deep learning?

O apprendimento profondo ("deep learning" nella traduzione libera) ha risolto molte sfide legate a intelligenza artificiale (IA). È attraverso questa tecnologia che vengono addestrate le reti neurali. È il costo delle reti neurali, a sua volta, è andato sempre più in alto.

Tra le nuove sfide che sono sorte con questo aumento dei costi ci sono la crescita dell'impronta di carbonio (una misura che calcola l'emissione equivalente di carbonio emessa nell'atmosfera) delle aziende e la commercializzazione della ricerca legata all'IA.

In questo contesto, c'è anche una domanda per le capacità di intelligenza artificiale sono presenti su dispositivi evoluti senza necessariamente affidarsi a server e cloud. Ciò, a sua volta, implica che il costo delle reti neurali è più redditizio. In pratica, questo non è ciò che sta accadendo.

Costo delle reti neurali

La buona notizia è che i ricercatori di intelligenza artificiale stanno facendo progressi nella ricerca di modi per ridurre i costi di esecuzione di modelli di deep learning. La cattiva notizia è che ridurre il costo delle reti neurali - e la loro formazione - rimane a sconosciuto.

Recentemente, i ricercatori del MIT e dell'Università di Toronto hanno pubblicato a carta sulla sfida della “potatura” delle reti neurali. Nello studio, il gruppo sottolinea perché i metodi più avanzati non possono ridurre il costo dell'addestramento delle reti neurali senza avere un impatto considerevole sulle prestazioni della tecnologia.

Quello che puoi fare è "sfoltire" le reti neurali dopo aver costruito un modello ampio e avanzato di deep learning. Questo è chiamato "potatura post allenamento“. Funziona così: dopo che le reti neurali di un modello di deep learning hanno attraversato l'intero processo di addestramento, la maggior parte dei parametri configurati viene tagliata (il che può ridurre la dimensione del modello fino al 10% della dimensione originale). Questo è possibile dopo aver determinato il “peso” che ogni parametro aveva per il valore finale della rete neurale.

Molte aziende tecnologiche utilizzano questo metodo per comprimere i modelli di intelligenza artificiale per adattarli (e farli funzionare bene) a smartphone, laptop e dispositivi domestici intelligenti. Esistono aree in cui è persino possibile implementare il deep learning, tramite reti neurali compatte, in dispositivi alimentati dall'energia solare.

"Potare" le reti neurali

Dato che stiamo parlando del costo delle reti neurali AI e di quanto sia costoso addestrarle, forse tu, caro lettore, hai già notato il buco nella logica di "potatura" di queste reti dopo il loro processo di addestramento. 

Perché questa “potatura” sia possibile, il le reti neurali devono essere addestrate. E questo è possibile solo attraverso una serie enorme di parametri, presenti in un altrettanto ampio modello di deep learning. È qui che risiede l'alto costo che stiamo esplorando in questa materia.

La domanda è: esiste un modo per costruire una rete neurale compatta senza dover disporre di una versione più grande (e più costosa)? I ricercatori del MIT Jonathan Frankle e Michael Carbin hanno pubblicato uno studio nel 2018 che ha mostrato un possibile percorso verso questo. Hanno chiamato lo studio “L'ipotesi del biglietto della lotteria".

Nello studio, i ricercatori sottolineano che in molti modelli di deep learning ci sono piccoli sottoinsiemi di reti neurali che può essere addestrato. In pratica, questo servirebbe come una sorta di scorciatoia in questo processo di creazione di reti neurali, addestrandole in una vasta serie di parametri e poi "potandole". Trovare queste "sottoreti", come le chiamavano i ricercatori, potrebbe ridurre significativamente i tempi e i costi di addestramento delle reti neurali nei modelli di deep learning.

Ma lo studio dei ricercatori del MIT ha incontrato una serie di ostacoli quando si è trattato di dimostrare che questa tesi era efficace al 100%. I test hanno dimostrato che la sfida in questo caso è identificare quali sottoinsiemi all'interno di un modello di deep learning hanno il potenziale per essere ottimizzati in modo significativo.

Potenziale di queste ricerche

La riduzione del costo delle reti neurali e della loro formazione rimane sconosciuta, ma con possibili percorsi da esplorare da parte dei ricercatori. Ciò significa che c'è ancora spazio per il progresso scientifico in questo settore, che potrebbe avere un enorme impatto sul futuro della ricerca sull'IA e delle sue applicazioni.

Da un lato, il costi per addestrare le reti neurali nei modelli di deep learning continuano ad aumentare. D'altra parte, le aree di ricerca nelle aziende tecnologiche multimiliardarie sono diventate sempre più importanti e apprezzate. Inoltre, queste aziende hanno supportato laboratori di istituzioni esterne per svolgere ricerche in questa nicchia.

Trovare modi efficaci per "sfoltire" le reti neurali prima di addestrarle può creare nuove opportunità per un gruppo ancora più ampio di ricercatori e laboratori di intelligenza artificiale che non hanno accesso a risorse computazionali avanzate. Fino ad allora, rimaniamo in attesa. E seguendo da vicino gli sviluppi di queste ricerche.

Fonte: Il prossimo web; Cornell University

Qual è la tua opinione su questo "nodo" relativo al costo delle reti neurali AI🇧🇷 Raccontacelo qui nei commenti!