Nel mezzo delle sfide affrontate dalla Oak Ridge Leadership Computing Facility del Dipartimento dell'Energia Assemblaggio e rilascio Il primo supercomputer exascala del mondo (più di un quintilione di calcoli al secondo), Frontier, aveva uno dei suoi componenti chiave senza ostacoli.
Parte integrante della funzionalità di Frontier è la sua capacità di archiviare le grandi quantità di dati che produce sul proprio file system. Orione. Ma ancora più importante per gli scienziati computazionali che eseguono simulazioni su Frontier è la loro capacità di scrivere e leggere rapidamente su Orion e di analizzare in modo efficiente tutti i dati. È qui che entra in gioco l'Adaptable IO System, o ADIOS.
Fondamentalmente, ADIOS è un framework di input/output, o I/O, che fornisce agli scienziati un modo semplice e flessibile per descrivere i dati nel loro codice che potrebbe dover essere scritto, letto o manipolato durante l'esecuzione della simulazione. Ciò rende molto più semplice per i ricercatori analizzare le enormi quantità di dati che producono su Frontier. Dal suo sviluppo iniziale nel 2008 presso l'Oak Ridge National Laboratory del Dipartimento dell'Energia, è diventato… ADIOS è open source Il framework è diventato uno strumento essenziale per le simulazioni di calcolo ad alte prestazioni, o HPC, in tutto il mondo con un insieme di funzionalità e utenti in continua evoluzione.
“ADIOS offre sempre risultati”, ha affermato Bronson Messer, direttore scientifico dell'OLCF. “Con Frontier, siamo passati a un nuovo file system parallelo e ADIOS ha garantito che ADIOS funzionasse perfettamente sui PC ad alte prestazioni, in modo che le principali modifiche all'infrastruttura come il nuovo file system non influenzino i nostri progetti di punta.”
Presso strutture informatiche leader come OLCF, un DOE Office of Science User Facility situato presso ORNL, ADIOS aiuta gli scienziati computazionali ad analizzare le grandi quantità di dati prodotti dai loro progetti, anche prima che siano completamente scritti, consentendo agli scienziati di acquisire una comprensione precoce dei loro risultati anche mentre loro… stanno ancora eseguendo le proprie simulazioni.
“La simulazione produce tutti questi dati, ma ciò non significa che tutto debba essere scritto”, ha affermato Scott Klasky, che dirige lo sviluppo di ADIOS e guida il gruppo dei sistemi di flusso di lavoro nel Dipartimento di Informatica e Matematica dell'ORNL.
“Se vuoi ottenere alcuni pezzi, puoi ottenerli: puoi memorizzarli o semplicemente ottenerli dalla memoria e poi elaborarli. Questa è la bellezza di ADIOS: consente questi metodi. È stata la prima tecnologia che ha consentito agli scienziati per lavorare in modo unificato con dati in movimento e statici, e ancora oggi la tecnologia più veloce.
ADIOS EVOLUZIONE
Klasky iniziò a pensare alla necessità di un middleware come ADIOS mentre era studente di dottorato in fisica presso l'Università del Texas ad Austin, dove stava lavorando su un codice per simulare i buchi neri, e successivamente come scienziato di ricerca e sviluppo presso il Plasma Physics Laboratory dell'Università di Austin. Princeton utilizzando la girocinetica toroidale. Codice per comprendere il trasporto turbolento in un reattore a fusione.
“Stavo cercando di fare qualcosa di semplice con i sistemi di I/O parallelo all'avanguardia disponibili all'epoca: scrivere un terabyte di dati in un giorno”, ha affermato Klasky. “Un terabyte ora sembra niente per alcune persone, ma nel 1999 utilizzavamo migliaia di processori sul supercomputer IBM RS/6000 SP presso il National Energy Research Scientific Computing Center. Per farlo, utilizzavamo tecnologie all'avanguardia. tecnologia art, il 50% del tempo di elaborazione è dedicato all'I/O.”
Fu solo dopo il suo arrivo all'ORNL nel 2005 che iniziò a perseguire quello che sarebbe diventato ADIOS. Riunì un team per sviluppare la struttura reclutando ricercatori dalla Georgia Tech e dalla Rutgers University, tra le altre istituzioni. Il progetto ha ricevuto un grande impulso dallo scienziato informatico Norbert Podhorski, che è stato assunto presso ORNL nel 2008 e ha iniziato a lavorare su ADIOS 1.0, che mirava ad aumentare di dieci volte la velocità di I/O per le applicazioni più grandi in esecuzione sul supercomputer Jaguar di OLCF.
“Molto prima di ADIOS, c'è sempre stata la necessità di disporre di dati autodescrittivi per rendere la vita più facile agli scienziati computazionali”, ha affermato Podhorski. “Tuttavia, non fornivano prestazioni in quanto i colli di bottiglia della progettazione causavano un rapido calo del throughput complessivo durante la scalabilità dell’applicazione su migliaia di processi.
“Tutti coloro che lavoravano nel campo dell’informatica ad alte prestazioni, specialmente qui a Oak Ridge su questi grandi computer, erano costretti a lavorare con i byte, cercando di costruire le proprie soluzioni di dati fatte in casa partendo dalle basi. Si produceva output e si rileggevano i dati a byte livelli.” È stato molto doloroso, quindi abbiamo detto: “Oh, forse possiamo fare di meglio”.
Tuttavia, dopo 14 importanti rilasci entro il 2015, il set di codici ADIOS era diventato difficile da gestire e necessitava di un rinnovamento. L'Exascale Computing Project, o ECP, del Dipartimento dell'Energia, lanciato nel 2016 per preparare applicazioni software e tecnologie per i prossimi sistemi exascale come Frontier, è arrivato sulla scena con finanziamenti per assumere ingegneri del software per sviluppare un nuovo ADIOS.
“ADIOS 2.0 è nato nel 2016 da zero: zero linee di ADIOS 1.0”, ha affermato Podhorski. “Siamo passati da C a C++11, che ha cambiato completamente il tutto. I nostri obiettivi principali erano duplici: in primo luogo, riprogettare e reimplementare il prodotto per supportare il file system per i computer exascale in arrivo e, in secondo luogo, farlo. creare uno scenario – ora, dopo tanti anni di ricerca – e anche una qualità produttiva utilizzabile dalle applicazioni di tutti i giorni.”
ADIOS 2.9, rilasciato alla fine del progetto ECP, consente alle applicazioni chiave del supercomputer Frontier di produrre e consumare diversi terabyte di dati al secondo utilizzando il suo file system Orion.
ADIOS Scienza
ADIOS continua ad avere un impatto duraturo nella scienza computazionale essendo ampiamente adottato dai team che sviluppano o utilizzano importanti codici di simulazione, come Exascale Atomistic Capability for Accuracy, Length and Time, basato su ECP, o EXAALT, una suite software di simulazione della dinamica molecolare per identificare la i migliori materiali Per costruire reattori a fissione e fusione.
Alcuni dei token che utilizzano ADIOS includono i recenti vincitori di uno dei premi più prestigiosi nel campo dell'informatica: il Gordon Bell Award dell'Association for Computing Machinery. Nel 2023, sarà formato un team di 19 membri per il modello del sistema energetico terrestre Exascale provenienti da tutto il National Laboratory Complex Ha vinto il primo premio ACM Gordon Bell per la modellazione climatica Attraverso il progetto Simple Cloud Resolve E3SM Atmosphere. Un anno prima, un team di 16 membri del Lawrence Berkeley National Laboratory, del Lawrence Livermore National Laboratory e dell’Autorità francese per l’energia alternativa e l’energia atomica Ha vinto il Gordon Bell Home Award 2022 Per il suo codice di simulazione del plasma cinetico, WarpX. Entrambi i vincitori hanno anche realizzato i loro progetti su Frontier.
“Qual è lo scopo di una macchina come Frontier: calcolare più velocemente?” Ha detto Klasky. “Direi che probabilmente è una risposta sbagliata. Chiunque può fare calcoli, ma ciò che conta davvero è il modo in cui i dati generati da tali calcoli vengono utilizzati nelle scoperte scientifiche.”
“Se riusciamo a generare dati in modo molto efficiente, o addirittura elaborarli in loco senza rallentare in modo significativo i calcoli, aggiungiamo molto più valore a questi dispositivi di grandi dimensioni. Ecco perché collaboriamo strettamente con molti team applicativi in tutto il mondo del nostro successo: partnership profonde.”
Molte di queste partnership provengono dal Dipartimento dell’Energia Scoperta scientifica attraverso l'informatica avanzataOppure il software SciDAC. È stato creato per riunire molti dei principali ricercatori del paese per sviluppare nuovi metodi computazionali per affrontare alcuni dei problemi scientifici più impegnativi. Nell'ambito del Dipartimento dell'Energia Ricerca informatica scientifica avanzataIl programma ASCR si collega con altri uffici e istituti del DOE per fornire finanziamenti per sviluppare programmi scientifici all'avanguardia.
“Oltre a ciò su cui si sta lavorando qui all'ORNL, molte delle applicazioni con cui lavoriamo provengono da SciDAC”, ha affermato Klasky. “Lavoriamo insieme tramite ASCR. Alcune delle ricerche di base che svolgiamo, come la riduzione dei dati o l'interrogazione, sono proposte di ricerca per ASCR. Quando scopriamo cose che funzionano con determinate applicazioni, allora diciamo: “Possiamo ora inserire queste cose in ADIOS ?' “Allora usarlo in più applicazioni?”
ADIOS per l'industria
La capacità di ADIOS di consentire ai ricercatori di scrivere dati autodescrittivi – da e verso l'archivio, rapidamente e su larga scala – ha un grande fascino anche per gli scienziati computazionali delle aziende industriali che eseguono simulazioni. Di conseguenza, il team ADIOS ha spesso aiutato le aziende ad accelerare le operazioni di input e output nel loro codice, come il gruppo di fluidodinamica computazionale FINE/Turbo della società tedesca di turbomacchine NUMECA o l'uso di OpenFOAM da parte della compagnia di assicurazioni immobiliari FM Global per… Modellazione degli incendi di magazzino.
“Collaborare con l'industria sulle applicazioni è una delle parti divertenti di questo lavoro”, ha affermato Podhorszky. “Ci costringe a mettere insieme tutte le cose che abbiamo sviluppato ma che non abbiamo avuto abbastanza tempo per integrarle nel tutto perché siamo sempre concentrati sulla ricerca, che ha priorità diverse. La priorità qui è farla funzionare senza intoppi. Quindi è molto utile ottenere questi contratti nel corso degli anni”.
La ricerca in corso di GE Aviation presso l'OLCF studia la turbolenza e la progettazione delle turbine utilizzando simulazioni locali agli elementi finiti. Ho ottenuto un enorme aumento di velocità con l'aiuto di Podhorszki e ADIOS. General Electric voleva scrivere 100 terabyte di dati in un giorno, ma il costo sarebbe stato troppo elevato se l'I/O non fosse stato significativamente più veloce. Podhorszki puntava ad un'accelerazione di 100 volte – e ha ottenuto 500 volte.
“Ora GE può scrivere più dati di quanto avesse mai previsto”, ha affermato Klasky. “E non devono cambiare l'applicazione: usano semplicemente ADIOS per andare avanti. Penso che sia questo il suo punto di forza.”
Cosa poi?
Con più di 1 exaflop di potenza di calcolo, la capacità di throughput dei dati di Frontier è significativa: circa 10 petabyte al giorno. Ma con questo volume di dati si presentano nuove sfide nella gestione dei dati.
“Potresti produrre 10 petabyte di dati su Frontier ogni giorno, ma non puoi elaborare così tanti dati in modo efficiente, quindi il problema è cambiato in futuro”, ha affermato Podhorski. “Ora dobbiamo concentrarci sul problema successivo: abbiamo troppi dati. Cosa ne facciamo? Come possiamo supportarne l'elaborazione e trovare la scienza in essi?”
Klasky ha una soluzione paragonabile a come rendi navigabili migliaia di foto che scatti con il tuo smartphone. La maggior parte delle foto non vengono effettivamente archiviate sul telefono, ma finiscono su un servizio cloud. Ma l'app Foto sul tuo telefono fornisce una rappresentazione di quelle foto così puoi vedere come sono e selezionarle per scaricarle o condividerle.
“Possiamo fornire questo tipo di esperienza con i big data? Come puoi lavorare con alcuni dei set di dati più grandi oggi esistenti, ad esempio sul tuo laptop? Sul tuo cluster?” Ha detto Klasky. “Non penso che tutti debbano avere Frontier per dare un'occhiata a quali sono i propri dati. Quindi, questo è un grande impulso verso dove eravamo diretti: come possiamo farlo?”
L'UT-Battelle gestisce l'ORNL per l'Ufficio della Scienza del Dipartimento dell'Energia, il più grande sostenitore della ricerca di base nelle scienze fisiche negli Stati Uniti. L'Ufficio scientifico del DOE sta lavorando per affrontare alcune delle sfide più urgenti del nostro tempo. Per maggiori informazioni visita power.gov/science. – Corey Torzin
“Esperto di Internet. Fan della TV. Analista esasperatamente umile. Pioniere di Twitter impenitente. Fanatico del caffè freelance.”