(H/F) Offre Post-doctorant - Apprentissage Interactif du Contrôle Gestuel de l'Intonation

Missions :
Dans les interactions orales, la prosodie de la parole, qui englobe l’intonation et le rythme, constitue un canal de communication qui transmet à la fois des informations relatives à la structure du discours (par exemple, les limites syntaxiques, l’accentuation contrastive) et des éléments d’expressivité (par exemple, des attitudes ou des émotions). Chez les patients atteints de troubles laryngés, la perte du contrôle de l'intonation a un impact considérable sur l'intelligibilité de leur parole et sur leurs interactions sociales. Les solutions de substitution vocale adaptées visent à reconstruire le signal vocal dégradé en allant chercher l'information d'intonation à travers d'autres canaux que le signal acoustique. Par exemple, des études antérieures ont montré que les participants peuvent contrôler très précisément l'intonation d'une phrase en dessinant un contour donné sur une tablette graphique. Néanmoins, cela s’avère très difficile lors du contrôle de schémas d’intonation expressifs, et lorsque le contrôle est effectué spontanément (sans aucune référence) en synchronisation avec l’articulation. Parallèlement, un axe de recherche consacré à la mise en correspondance de gestes et de sons a développé des techniques avancées de Mapping par démonstration, un paradigme centré sur l’utilisateur dans lequel les individus effectuent des gestes types de leur choix tout en démontrant le son souhaité. Le système apprend et généralise ensuite ces associations, permettant un contrôle personnalisé et adaptatif de la génération audio en temps réel.
Objectifs
Nous proposons dans ce projet de Post-Doctorat d'utiliser les techniques de Mapping par Démonstration pour le control gestuel de variations expressives d'intonation lors d'une reconstruction en temps-réel de la parole. Les deux points suivants seront étudiés :
1. Apprentissage interactif du contrôle de l'intonation : il s'agit de mettre en œuvre des techniques de Mapping par Démonstration à l'aide de la bibliothèque MuBu, afin d'apprendre des gestes personalisés à chaque utilisateur pour le contrôle de schémas d'intonation expressive typiques, extraits d'un ensemble de données expressives. La première étape portera sur le contrôle de la temporalité : la temporalité du geste servira de commande pour synchroniser la courbe d'intonation avec la phrase articulée par l'utilisateur. La deuxième étape intègrera un contrôle de variantes des courbes d'intonation prédéfinies, par la variabilité du geste. Diverses interfaces d'acquisition des gestes de la main seront explorées, notamment les mouvements en 2D (par ex. tablette) et en 3D (par ex. accéléromètre).
2. Évaluation dans le cadre d'une étude comportementale : il s'agira de concevoir des protocoles expérimentaux visant à évaluer les performances du système. Cela portera notamment sur (1) la facilité d’apprentissage de nouveaux gestes par Mapping par Démonstration ; (2) la qualité du contrôle apr
Voir plus sur le site emploi.cnrs.fr...