Thèse de doctorat: Interprétabilité et Évaluation des LLMs et des Agentic Workflows (H/F)

Sujet de thèse :
Le traitement automatique du langage naturel (TAL) a connu un changement de paradigme ces dernières années, grâce aux percées remarquables réalisées par les grands modèles de langage (LLMs). Ces modèles ont complètement transformé le paysage du TAL en démontrant des résultats impressionnants en modélisation du langage, en traduction et en résumé. Néanmoins, l'utilisation des LLMs a également soulevé des questions cruciales concernant leur fiabilité et leur transparence. En conséquence, il est urgent de comprendre plus profondément les mécanismes régissant le comportement des LLMs, d'interpréter leurs décisions et résultats de manière scientifiquement fondée, et d'évaluer précisément leurs capacités et leurs limites. Ajoutant à la complexité, les LLMs sont souvent impliqués comme un simple composant de certains "agentic workflows" plus larges. Dans un agentic workflow, les LLMs collaborent avec d'autres LLMs, des humains et des outils en échangeant des messages en langage naturel pour résoudre des problèmes complexes au-delà des capacités d'un LLM seul.

L'évaluation des LLMs est devenue particulièrement difficile car ils consomment la plupart d'Internet pendant leur pré-training, y compris la plupart des données test des benchmarks d'évaluation. De plus, le paysage des LLMs disponibles change rapidement et ils ont accès au web via des outils dans le cadre des agentic workflows. Par conséquent, de nouvelles méthodologies d'évaluation dépassant l'évaluation des compétences des modèles sur un ensemble de tests fixe sont nécessaires pour tenir compte de ces nouvelles évolutions.

Une direction prometteuse pour mener des analyses d'évaluation et d'interprétabilité est de s'inspirer du domaine des neurosciences qui, au fil des ans, a conçu des configurations expérimentales pour découvrir comment le cerveau humain traite et représente des informations utiles pour les tâches d'intérêt. De plus, nous pouvons obtenir de l'aide des outils d'analyse causale et d'inférence causale. Examiner les relations causales entre les entrées, les sorties et les états cachés des LLMs peut aider à construire des théories scientifiques sur le comportement de ces systèmes complexes. En outre, les méthodes d'inférence causale peuvent aider à découvrir les mécanismes causaux sous-jacents aux calculs complexes des LLMs, donnant l'espoir de mieux interpréter leurs décisions et comprendre leurs limites.

En travaillant sur un tel projet, vous devrez développer une compréhension solide de l'évaluation des systèmes complexes, des principes de l'inférence causale et de leur application à l'apprentissage automatique. Vous aurez l'opportunité de travailler sur des projets de recherche de pointe en TAL, contribuant au développement de LLMs plus fiables et interprétables. Il est important de noter que le projet de recherche doctorale doit être aligné avec vos intérêts et votre expertise. Par conséquent, la direction pr
Voir plus sur le site emploi.cnrs.fr...