Doctorant (H/F)

Sujet de thèse :
La génération de texte a récemment attiré l'attention de la communauté de la communauté NLP, car de grands modèles de langage pré-entraînés ont démontré une excellente capacité à générer des textes longs, grammaticalement corrects et fluides. Un inconvénient important de ces modèles est que leur adaptation à une nouvelle tâche ou à une nouvelle langue nécessite souvent l'utilisation de données étiquetés qui ne sont pas forcément disponibles et dont la création serait coûteuse et difficile. Cet inconvénient est particulièrement aiguë pour la génération de texte à partir de données [NG24, SNSM+25], mais cela vaut aussi pour les tâches spécifiques à un domaine (par exemple, la santé, la finance), telles que le résumé ou la simplification.

Récemment, des techniques d'apprentissage des préférences telles que DPO (Direct Preference Optimisation, [RSM+ 24, IL24]), Group Relative Policy Optimization (GRPO) ou ORPO (Odds Ratio Preference Optimization, [HLT24]) ont été proposées pour améliorer un modèle de base en s'entraînant sur des données d'argent souvent plus faciles à créer, en particulier pour le traitement multilingue, typiquement en utilisant la traduction automatique) et en améliorant le modèle à l'aide des données de préférence. Cette approche a été appliquée avec succès dans divers domaines, y compris la traduction automatique et le résumé, afin d'améliorer la qualité du du texte en alignant les résultats du modèle sur les préférences humaines [LNN+ 23]. Cependant, l'application de l'apprentissage des préférences à la génération de KG-to-Text et à l'analyse de textes multilingues n'a pas encore été réalisée.


Sujet et programme de travail

L'objectif de cette thèse de doctorat est d'étudier comment ces nouvelles méthodes d'apprentissage des préférences peuvent être exploitées pour faciliter la génération de textes multitâches et multilingues lorsque les données d'apprentissage sont indisponibles.
Plus précisément, la thèse s'appuiera sur les travaux antérieurs du candidat [SG25] et se concentrera sur la génération de textes multilingues à partir de graphes de connaissances, pouvant s'étendre au résumé et/ou à la simplification de texte à texte si le temps le permet.

Le projet de thèse est confronté à plusieurs défis.

Premièrement, il faut identifier et comparer les méthodes de création de données d’apprentissage de niveau argent. Selon les tâches de génération, des techniques telles que la supervision à distance, la traduction automatique pour l’aspect multilingue et l’incitation LLM sont des candidats naturels. Ces différentes méthodes seront explorées et comparées à l’aide de mesures d’évaluation standard pour chacune des tâches de génération de cibles.

Deuxièmement, il faut créer des données de préférence. Comme mentionné ci-dessus, cela nécessite de pouvoir classer les sorties alternatives. À cette fin, nous utiliserons soit les mesures existantes lorsqu’elles sont
Voir plus sur le site emploi.cnrs.fr...