Allenamento a due livelli
Per i ricercatori, la sfida principale era integrare i principali componenti necessari per l’addestramento su chip in un unico chip neurale. “Il compito principale da risolvere era includere, ad esempio, componenti della RAM elettrochimica (EC-RAM). Si tratta di componenti che simulano l’immagazzinamento e il rilascio di cariche elettriche attribuite ai neuroni nel cervello”, afferma van de Burgh .
I ricercatori hanno fabbricato una rete neurale a due strati basata su componenti RAM elettronici realizzati con materiali organici e hanno testato i dispositivi utilizzando un’evoluzione dell’ampiamente utilizzato back-propagation con algoritmo di addestramento alla regressione del gradiente. “L’algoritmo tradizionale viene spesso utilizzato per migliorare la precisione delle reti neurali, ma non è compatibile con il nostro hardware, quindi abbiamo ideato la nostra versione”, afferma Stevens.
Inoltre, poiché in molti campi l’intelligenza artificiale sta rapidamente diventando un drenaggio insostenibile delle risorse energetiche, l’opportunità di addestrare reti neurali su componenti hardware per una frazione del costo energetico rappresenta una prospettiva allettante per molte applicazioni – da ChatGPT alle previsioni meteorologiche.
necessità futura
Sebbene i ricercatori abbiano dimostrato che il nuovo approccio formativo funziona, il passo logico successivo è quello di diventare più grandi, più audaci e migliori.
“Abbiamo dimostrato che funziona con una piccola rete a due strati”, afferma van de Burgh. “Nella fase successiva, vorremmo coinvolgere l’industria e altri importanti laboratori di ricerca in modo da poter costruire reti di dispositivi e test molto più grandi. loro con problemi relativi ai dati della vita reale.”
Il prossimo passo consentirà ai ricercatori di dimostrare che questi sistemi sono altamente efficaci nell’addestramento, oltre a gestire utili reti neurali e sistemi di intelligenza artificiale. “Vorremmo applicare questa tecnologia in molti casi pratici”, afferma Van de Burgh. “Il mio sogno è che tali tecnologie diventino la norma nelle applicazioni di intelligenza artificiale in futuro”.
Dettagli cartacei completi
“Implementazione fisica della propagazione all’indietro utilizzando la regressione del gradiente per l’addestramento locale di reti neurali multistrato“, Evelyn R. W. van Dorimele, Tim Stevens, Stijn Ringling, Simon Splauer, Marco Fattori e Juri van de Burgt, Science Advances, (2024).
Evelyn R.W. van Dorimele e Tim Stevens hanno contribuito in egual misura alla ricerca e sono entrambi i primi autori dell’articolo.
Tim Stevens attualmente lavora come ingegnere meccanico presso Microlineaazienda co-fondata da Marco Fattori.
“Esperto di Internet. Fan della TV. Analista esasperatamente umile. Pioniere di Twitter impenitente. Fanatico del caffè freelance.”