Doctorant (H/F) : Explicabilité des systèmes multimodaux de questions-réponses : vers des méthodes cont

Sujet de thèse :
Cette thèse abordera le problème des modèles de type "boîte noire" dans le cadre d'un système multimodal de réponse aux questions. Les systèmes de réponse aux questions développés ces dernières années ont tiré parti de grands modèles de réseaux neuronaux. Bien qu'elles aient permis d'améliorer la précision et l'exactitude des réponses générées, ces approches manquent encore d'interprétabilité, notamment en raison de l'opacité et de la complexité de ces modèles. En effet, les modèles de langage à grande échelle ou les modèles de langage visuel s'appuient sur un nombre extrêmement élevé d'opérations et de paramètres (à savoir les poids des réseaux neuronaux), ce qui entraîne des difficultés majeures pour interpréter les prédictions. Une conséquence directe de l'opacité des prédictions des réseaux neuronaux est un manque de confiance de la part de l'utilisateur ou l'impossibilité de vérifier comment la réponse est construite. De plus, le contenu ou les réponses générés sont parfois mensongers ou contiennent des éléments inexacts ou infondés. La génération de réponses infondées, imprécises ou inattendues est appelée « hallucination ».
Dans cette thèse, l'objectif sera de proposer de nouvelles approches pour expliquer ou interpréter le comportement des modèles, tout d'abord afin de déterminer ce qui est utilisé pour la génération de contenu dans un contexte de réponse à des questions, en particulier si les informations utilisées pour la génération proviennent des connaissances internes du modèle (appelées "connaissances paramétriques") ou du contexte fourni en entrée à un LLM (informations fournies au modèle avant la réponse). Une deuxième partie sera consacrée aux méthodes permettant de localiser les informations contextuelles utilisées pour la génération du modèle ; ces approches, appelées méthodes d'attribution, attribuent des niveaux d'importance au contexte. Alors que de telles approches ont été étudiées pour des données unimodales, peu de méthodes les traitent dans un contexte multimodal.
Contexte :
La thèse se déroulera au sein du laboratoire interdisciplinaire des sciences du numérique (LISN) à Paris-Saclay. Le doctorant fera partie intégrante du Projet ANR EQUATION.