PHD : REPRODUCTIBILITÉ DE RÉSULTATS SCIENTIFIQUES EN HÉLIOPHYSIQUE AU MOYEN DE MODÈLES DE LANGUE (H/F)

Sujet de thèse :
L'héliophysique (HP), branche de l'astrophysique étudiant le Soleil, ses interactions planétaires et la météorologie spatiale, repose aujourd'hui sur des recherches axées données. Les chaînes de traitement produisent séries temporelles, images ou spectres depuis des observations instrumentales ou des modélisations numériques. La communauté utilise des centres de données comme le CDPP, appliquant métadonnées et formats normalisés pour faciliter l'accès et la reproductibilité.

Cette thèse explore la reproductibilité des chaînes de traitement via les grands modèles de langage (LLM) afin de reproduire des résultats publiés.

Starace et al. (2025) indiquent que les LLM atteignent 21 % de taux de reproductibilité avec Claude 3.5 Sonnet. La capacité générative des LLM, notamment ChatGPT, suscite des débats en astronomie. PyHC-chat tente d'adapter GPT aux héliophysiciens en intégrant bibliothèques et endpoints du cadre PyHC pour aider à coder. Cependant, cet outil ne reproduit pas intégralement les workflows expérimentaux des articles et demande adaptation.

Lorsqu'on aborde la question de la reproductibilité des expériences de traitement de données en héliophysique, trois grandes questions de recherche se posent :
1. Dans un article scientifique donné, quels termes, illustrations ou ressources citées sont indispensables pour reproduire la chaîne de calcul d'origine, et comment les extraire efficacement ?
2. Comment un modèle peut-il transformer ces éléments extraits en code exécutable produisant des résultats comparables à ceux rapportés dans l'étude d'origine ?
3. Comment évaluer et interpréter de manière pertinente le taux de reproductibilité des LLM ?

A. Extraction des données
Cette thèse s'appuie sur BibHelioTech (développé par l'équipe CDPP), qui extrait des métadonnées des articles utilisant diverses techniques basées sur des règles qui sont insuffisantes pour reproduire les flux de travail scientifiques, car elles s'appuient sur des modèles prédéfinis et ne parviennent pas à capturer des informations contextuelles telles que les descriptions de traitement des données ou les formules mathématiques. En revanche, la combinaison des LLM avec la vision par ordinateur fournit un cadre plus flexible pour comprendre et reproduire les pipelines de calcul décrits dans un article.

B. Génération de code
La reproduction des flux de travail de traitement des données reposera sur un modèle GPT capable de générer du code exécutable. Il s'appuiera sur des techniques similaires à celles utilisées dans le chat PyHC susmentionné, fournissant au modèle génératif des bibliothèques HP et des points de terminaison de données, tout en envisageant le réglage fin des modèles de langage.

C. Evaluation
Cette phase consiste à évaluer le code généré par LLM en comparant ses tracés de sortie avec ceux présentés dans l'article original. D'autres indicateurs de reproductibilité seront très instructifs lors de
Voir plus sur le site emploi.cnrs.fr...