Évaluation et adaptation émotionnelle de LLMs vocaux pour la robotique d’assistance aux personnes âgées

Sujet de thèse :
Contexte : Dans le cadre de la chaire ANR HUMAAINE : HUMAN-MACHINE AFFECTIVE INTERACTION & ETHICS au LISN-CNRS, nous avons développé des recherches sur l’interaction orale avec des robots sociaux. 5 thèses ont déjà été soutenues sur des systèmes de détections des émotions (Feng, 2025 ; Deschamps-berger, 2024a ; Ali mehenni, 2023) et des études sur le nudge affectif (Kalashnikova, 2024 ; Kobylyanskaya, 2024). Dans le cadre de cette chaire, nous avons la possibilité d’utiliser des robots pour jouer une interaction émotionnelle.
Des premières analyses ont montré l’intérêt des Large Language Models (LLM) (Vaswani et al., 2017), acoustiques (wav2vec) et textuels (Flaubert) en multimodalité pour la modélisation émotionnelle (Deschamps-berger et al., 2024b). L’émergence des LLMs a conduit à la construction de systèmes de dialogue parle tel GPT-4o qui reconnait et imite la parole humaine.
Beaucoup d’entre nous prêtent à ces dispositifs d’IA des capacités qu’ils n’ont pas : avoir des connaissances, des affects voire des valeurs morales. Nous sommes très vulnérables devant ces IA sujettes aux hallucinations. ChatGPT, qui n’est pas explicitement construit pour être émotionnellement intelligent, emploie tout de même des patterns émotionnels présents dans les données (Fang et al., 2025). Désormais les LLMs sont largement répandus dans les systèmes d’interaction avec des utilisateurs. Parmi eux, quelques approches sont dites “speech-to-speech” comme MOSHI (Defossez et al., 2025). Moshi est un système capable d’interagir à l’oral qui a été directement “fine-tuné” sur des interactions émotionnelles (Defossez et al., 2022, 2024) plutôt que de se limiter à une représentation des émotions implicites formées à partir des corpus d’apprentissage traditionnels.

Description : Le sujet de thèse porte sur l’obtention d’un meilleur contrôle sur l’aspect émotionnel des réponses données par des systèmes LLM et sur leurs déviances possibles (hallucination, toxicité, ...). Notamment, pour une application de robot assistant pour les personnes âgées, il est fondamental d’adapter et de contrôler ce type de système afin de mieux maitriser les réponses de l’agent. De nouvelles mesures sur les dimensions éthiques et d'explicabilité ainsi que des benchmarks seront développés.
La thèse se concentrera principalement sur l’hybridation de LLMs speech-to-speech avec des méthodes classiques. Une expérience sera menée avec une hybridation entre LLMs et des modèles de détection des émotions. En complément, nous souhaitons expérimenter des méthodes de fine-tuning et de RAGs (Lewis et al., 2021 ; Huang et al., 2024, 2025) pour améliorer le contrôle et la représentation des émotions de ces LLMs. L'adaptation des modèles LLM speech to speech aux émotions sera évaluée auprès de personnes âgées. Les résultats attendus sont des apports méthodologiques et de bonnes pratiques pour un meilleur design de ces dispositifs d'interact
Voir plus sur le site emploi.cnrs.fr...