Exploration des grands modèles de langage avec raisonnement « Chain-of-Thought » : explicablité et biai

Sujet de thèse :
L’objectif est d’améliorer la traçabilité, la lisibilité et la fidélité explicative des réponses générées par les LLMs tout en conservant leurs performances. Cette recherche s'inscrit dans une perspective d’interprétabilité et d’ingénierie des requêtes, et débouchera sur des outils d’analyse, des protocoles de génération, et des modèles enrichis plus explicables.

Le sujet de thèse propose plusieurs enjeux de recherche. Un point critique est la traduction implicite des prompts en anglais, même lorsqu’ils sont initialement rédigés en français. Cette opération, souvent invisible à l’utilisateur, peut introduire des biais sémantiques, linguistiques et culturels (idiomatismes, reformulations, pertes de sens), des imprécisions ou des erreurs dans les résultats. D’autre part, les étapes intermédiaires de la chaîne de pensée sont rarement explicitées ou contrôlées, ce qui nuit à la transparence et à la traçabilité de l'inférence. En parallèle, l’introduction de tokens spéciaux dans les requêtes (par ex. raisonnement, étape, conclusion, lang=fr, etc.) ou dans les réponses du modèle peut servir à : structurer le raisonnement produit (début/fin, étapes intermédiaires, justification, choix de réponse), guider le comportement du modèle (forçage d'explication ou de format), améliorer l’explicabilité en facilitant l’extraction et la visualisation des parties-clés du traitement de la requête.

Objectifs principaux :
1/ Étudier les forces, les limites et les biais du CoT, en tant qu’approche multi-requêtes explorant l’espace des connaissances d’un LLM.
2/ Expliciter les différentes étapes intervenant dans le traitement d’un prompt complexe : Traduction implicite (et ses biais), Nombre et nature des étapes de décomposition, Usage de la paraphrase ou des reformulations intermédiaires.
3/ Développer des mécanismes permettant de guider, annoter ou contrôler ces étapes, par l’introduction de tokens spéciaux, d’annotations linguistiques, ou de prompts structurés.
4/ Évaluer l’impact de ces éléments sur : la qualité du résultat final, le coût computationnel, l’explicabilité perçue et mesurable du raisonnement.
5/ Proposer des variantes de du CoT plus robustes, multilingues, et plus transparentes.

Méthodologie :
Phase 1 : Revue de littérature sur le CoT, les prompts structurés, les biais de traduction implicite, et les méthodes d’explicabilité.
Phase 2 : Conception de variantes guidées du CoT : prompts hiérarchiques, décompositions explicites, paraphrases contrôlées.
Phase 3 : Intégration dans des architectures existantes et ouvertes (LLaMA, DeepSeek, ...) et instrumentation du traitement du prompt pour tracer les étapes internes.
Phase 4 : Évaluation expérimentale sur des tâches de QA complexe et de raisonnement (GSM8K, HotpotQA, CosmosQA), avec comparaison à des baselines standard et analyse qualitative des biais linguistiques introduits.
Phase 5 : Propositio
Voir plus sur le site emploi.cnrs.fr...