Doctorant (H/F) - Communicative acts and interactions modeling

Sujet de thèse :
La majorité des interactions humaines se déroulent sous forme de conversations orales. Si ce mode d’interaction semble naturel et facile pour les humains, il demeure un défi pour les modèles de traitement du langage parlé, car la parole conversationnelle soulève plusieurs enjeux majeurs :

L’information non verbale peut être essentielle à la compréhension d’un message. Par exemple, un visage souriant et une voix joyeuse peuvent aider à détecter l’ironie ou l’humour dans un message.
L’ancrage visuel entre les participants est souvent nécessaire dans une conversation pour intégrer la posture et les gestes du corps ainsi que les références au monde environnant. Par exemple, un locuteur peut parler d’un objet posé sur une table et s’y référer en disant cet objet tout en le désignant de la main.
L’ancrage sémantique entre les participants est essentiel pour établir une connaissance partagée et permettre une communication fluide. Cela inclut la connaissance du monde (connaissances générales et de bon sens), la connaissance du domaine et la connaissance du contexte (qui peut évoluer au cours de la conversation). Par exemple, une conversation entre un enfant et un adulte n’aura pas les mêmes caractéristiques qu’un échange entre adultes.
Si les grands modèles de langage (LLMs) ont transformé le domaine du traitement automatique du langage naturel (TALN) en permettant de traiter une large gamme de tâches applicatives grâce à un simple prompt, la gestion des conversations reste un défi. Le traitement des conversations se limite souvent à inclure la transcription brute dans le contexte du prompt. Prendre simplement la transcription d’une conversation comme entrée textuelle d’un modèle génératif pour des tâches en aval, comme le résumé ou la réponse à des questions, peut donner des résultats utiles, mais reste limité : le résumé ne retranscrira que le contenu verbal de la conversation, sans prendre en compte les autres dimensions mentionnées ci-dessus.

Afin de répondre à ces défis, le projet MINERAL ambitionne de générer des transcriptions enrichies sous la forme d’un script conversationnel. Ce script décrira la conversation de manière exhaustive, en intégrant les dimensions linguistiques, paralinguistiques, discursives et pragmatiques sous forme de langage naturel. Une telle représentation est particulièrement précieuse dans les scénarios où la dynamique et la structure des interactions sont primordiales, lorsque les schémas d’échange et le déroulement de la conversation sont aussi informatifs que le contenu verbal lui-même.

Nous soutenons qu’il est nécessaire de prendre en compte les trois défis mentionnés précédemment pour atteindre un niveau de compréhension de la parole conversationnelle suffisant afin de développer des applications pratiques. Nous pensons que la génération de scripts de conversation, qui seraient idéalement autosuffisants pour rejouer la conversation, a une valeur int
Voir plus sur le site emploi.cnrs.fr...