(H/F) Ingénieur de recherche - Support et développement HPC/HPDA pour l'analyse de données in-situ avec

Missions :
Face à la complexité croissante des codes de simulation numérique, de nouvelles approches sont nécessaires pour analyser le volume toujours plus important de données. Cela requiert un couplage entre des bibliothèques d'analyse de données modernes et les codes de simulation numérique existants hautement optimisés. La bibliothèque de couplage PDI Data Interface est conçue pour répondre à cet objectif.

La bibliothèque open-source PDI Data Interface est conçue et développée pour le couplage lâche local aux processus dans les codes de simulation hautes performances. PDI supporte la modularisation des codes en intermédiant l'échange de données entre le code de simulation principal et des modules indépendants (plugins) basés sur diverses bibliothèques. Elle est développée en C++ moderne et propose des API en C, Fortran et Python.

PDI offre un système de référence similaire au shared_ptr du C++ ou du Python avec verrouillage pour garantir un accès cohérent par les modules couplés. Il fournit un espace de noms global (le data store) pour partager des références et implémente le modèle Observateur, permettant aux modules de réagir à la disponibilité et aux modifications des données. Il met en œuvre un système de métadonnées qui peut spécifier un type dynamique pour les références basé sur la valeur d'autres données (par exemple, la taille d'un tableau basée sur la valeur d'un entier partagé). Les codes utilisant l'API déclarative de PDI exposent les tampons dans lesquels ils stockent les données et déclenchent des notifications lorsque des étapes significatives de la simulation sont atteintes. Des bibliothèques tierces comme HDF5, JSON ou netCDF sont encapsulées dans un plugin PDI. Un fichier de configuration YAML est utilisé pour entrelacer les plugins et le code supplémentaire sans modifier l'application originale.

Un autre aspect que nous explorons avec PDI est l'analyse de données in-situ, qui effectue des analyses numériques pendant la simulation. Cela est nécessaire en raison de l'écart croissant entre la bande passante du système de fichiers et les capacités de calcul. À cette fin, nous développons le plugin Deisa. Ce plugin est basé sur le framework open-source Dask et nous permet de transférer les données vers des processus dédiés pour l'analyse in-situ.

L'un de nos objectifs est d'établir un mécanisme de rétroaction entre l'analyse de données in-situ et la simulation numérique. Cela permet une meilleure allocation des ressources et un monitoring en temps réel de la simulation. Un autre aspect permis par l'analyse in-situ est l'utilisation de méthodes d'IA pour le HPC et le HPDA. Par exemple, nous pouvons employer la détection non supervisée d'événements rares pendant la simulation, ce qui peut réduire significativement le volume de données produites, réduisant ainsi la charge sur le système de fichiers.
Activités :
En tant que membre de l'équipe PDI nouvellement créée, votre miss
Voir plus sur le site emploi.cnrs.fr...