Newswise – La produzione del linguaggio è un fenomeno neurologico complesso che non riesce a spiegarlo ai ricercatori. Separare la complessa rete di regioni neurali che controllano i movimenti muscolari fini della bocca, della mascella e della lingua con le regioni che elaborano il feedback uditivo dell’udire la voce è un problema complesso e che deve essere superato per la prossima generazione del linguaggio. Produzione di protesi.
Ora, un team di ricercatori della New York University ha fatto scoperte chiave che aiutano a districare quella rete e le stanno usando per costruire una tecnologia di ricostruzione vocale che ricrea le voci dei pazienti che hanno perso la capacità di parlare.
La squadra è co-guidata Flinker è stato condannato — Professore associato di Ingegneria Biomedica presso la NYU Tandon e Neuroscienze presso la NYU Grossman School of Medicine — W Yao Wang — Professore di ingegneria biomedica e ingegneria elettrica e informatica alla NYU Tandon, nonché membro della NYU WIRELESS — ha creato e utilizzato reti neurali complesse per ricostruire il parlato da registrazioni cerebrali, e poi ha utilizzato quella ricreazione per analizzare i processi che guidano il linguaggio umano . Hanno dettagliato le loro nuove scoperte in Il nuovo articolo è pubblicato negli Atti della National Academy of Sciences (Bnas).
La produzione del linguaggio umano è un comportamento complesso che coinvolge il controllo dei comandi motori e l’elaborazione del feedback del linguaggio autoprodotto. Questi processi richiedono il coinvolgimento di più reti cerebrali in tandem. Tuttavia, è stato difficile distinguere il grado e i tempi del reclutamento corticale per il controllo motorio rispetto all’elaborazione sensoriale derivante dalla produzione del linguaggio.
In una nuova ricerca, i ricercatori sono riusciti a districare i complessi processi di feedback e feedback durante la produzione del parlato. Utilizzando un’architettura innovativa di deep learning sulle registrazioni neurochirurgiche umane, il team ha utilizzato un sintetizzatore vocale differenziabile basato su regole per decodificare i parametri vocali dai segnali corticali. Implementando architetture di rete neurale che distinguono tra circonvoluzioni temporali causali (utilizzando segnali neurali attuali e passati per decodificare il discorso corrente), anti-causali (utilizzando segnali neurali attuali e futuri) o una combinazione di entrambe le convoluzioni temporali (non causali), i ricercatori sono stati in grado di eseguire analisi a grana fine. Contributi di feedback e feedback alla produzione del parlato.
“Questo approccio ci ha permesso di separare l’elaborazione dei segnali neurali feedforward e feedback che si verificano simultaneamente mentre produciamo il parlato e il feedback sensoriale per le nostre voci”, afferma Flinker.
Questo approccio sofisticato non solo ha decifrato i parametri del parlato interpretabili, ma ha anche fornito informazioni dettagliate sui campi temporali recettivi di specifiche aree corticali. Sorprendentemente, i risultati mettono in discussione le nozioni prevalenti che separano i riflessi dalle reti corticali feedforward. Le analisi hanno rivelato una struttura fine di feedback misto ed elaborazione feedforward, che abbraccia la corteccia frontale e temporale. Questa nuova prospettiva, combinata con le eccezionali prestazioni della decodifica del parlato, rappresenta un importante passo avanti nella nostra comprensione dei complessi meccanismi neurali alla base della produzione del parlato.
I ricercatori hanno utilizzato questa nuova prospettiva per guidare il loro sviluppo di protesi in grado di leggere e decodificare l’attività cerebrale direttamente nel parlato. Mentre molti ricercatori stanno lavorando per sviluppare tali dispositivi, il prototipo della New York University presenta una differenza fondamentale: è in grado di ricreare la voce di un paziente, utilizzando solo un piccolo set di dati di registrazioni, in misura notevole. Il risultato potrebbe essere che i pazienti non riacquistano la voce dopo averla persa, ma piuttosto la acquisiscono Essi Vota di nuovo. Questo grazie a una rete neurale profonda che tiene conto dello spazio uditivo sottostante e può essere addestrata solo su pochi campioni di audio individuale, come un video di YouTube o una registrazione Zoom.
Per raccogliere dati, i ricercatori si sono rivolti a un gruppo di pazienti affetti da epilessia refrattaria, che attualmente non può essere trattata con i farmaci. A questi pazienti è stata impiantata nel cervello per una settimana una griglia di elettrodi per elettroencefalografia subdurale (EEG) per monitorare le loro condizioni e hanno acconsentito a 64 elettrodi più piccoli aggiuntivi annidati tra i normali elettrodi clinici. Hanno fornito ai ricercatori informazioni chiave sull’attività cerebrale durante il processo di produzione del linguaggio.
Oltre a Flinker e Wang, i ricercatori includono Ran Wang, Xueping Chen e Amirhossein Khalilian-Gortani del Dipartimento di ingegneria elettrica e informatica della New York University, Liao Yu del Dipartimento di ingegneria biomedica e Patricia Dugan, Daniel Friedman e Orrin Devinsky del Dipartimento di Neurologia della NYU Grossman. Dipartimento e Werner Doyle del Dipartimento di Neurochirurgia.
Questo documento è stato il risultato di una sovvenzione di 850.000 dollari da parte della NSF finalizzata allo sviluppo di decodificatori neurali per l’elaborazione del linguaggio e allo sviluppo di modelli di comunicazione guidata, nonché sovvenzioni R01NS109367, R01NS115929 e R01DC018805 del National Institutes of Health. Ora, i ricercatori hanno ricevuto altri 950.000 dollari per continuare questo lavoro, con un finanziamento congiunto dal programma NSF Collaborative Research in Computational Neuroscience (CRCNS) e dal programma Disability and Rehabilitation Engineering (DARE). I fondi sosterranno l’ulteriore sviluppo di metodi computazionali che consentiranno una comprensione più profonda della neurobiologia del linguaggio e la sua traduzione in nuove applicazioni cliniche per la parola e il linguaggio.
Informazioni sulla Tandon School of Engineering della NYU
La storia della Tandon School of Engineering della New York University risale al 1854, la fondazione sia della School of Civil Engineering and Architecture della New York University che del Brooklyn Collegiate Polytechnic Institute. La fusione nel gennaio 2014 ha creato una scuola completa di insegnamento e ricerca in ingegneria e scienze applicate come parte di un’università globale, con stretti collegamenti con i programmi di ingegneria della New York University Abu Dhabi e della New York University Shanghai. La NYU Tandon affonda le sue radici in una vivace tradizione di imprenditorialità, curiosità intellettuale e soluzioni innovative alle sfide globali più urgenti che l’umanità deve affrontare. La ricerca presso Tandon si concentra sulle intersezioni vitali tra sistemi e strumenti di comunicazione/IT, sicurezza informatica, scienza dei dati/robotica e sulle aree importanti della società che hanno un impatto, inclusi i media emergenti, la salute, la sostenibilità e la vita urbana. Crediamo che la diversità sia parte integrante dell’eccellenza e lavoriamo per creare un ambiente vivace, inclusivo ed equo per tutti i nostri studenti, docenti e personale. Per ulteriori informazioni, visitare engineering.nyu.edu.
“Esperto di Internet. Fan della TV. Analista esasperatamente umile. Pioniere di Twitter impenitente. Fanatico del caffè freelance.”