(H/F) : Offre de thèse : Environnement de modélisation physique et de simulation temps réel geste-son-i

Sujet de thèse :
La thèse ambitionne de fonder une nouvelle génération d’environnements pour la création, basée sur les principes de la modélisation et de la simulation physique modulaire masses-interactions temps réel, pour ouvrir la possibilité de modèles temps réel nativement multi-sensoriels : interaction gestuelle, y compris avec retour d’effort, son, image.
Contexte et objectif
Les domaines de l’informatique graphique, de l’informatique sonore et musicale, de l’haptique, des réalités virtuelles ont abouti à la constitution de connaissances et de technologies matures. Toutefois, chacun de ces domaines cible majoritairement une modalité sensori-motrice : vison, ou audition, ou interaction gestuelle. Une problématique contemporaine est d’étudier les voies qui permettront à la machine numérique d’adresser le système sensorimoteur humain dans son ensemble : l'action gestuelle et la perception haptique, le son et l'image.
La thèse s’appuie sur le constat qu’une propriété essentielle commune aux objets visibles, audibles et manipulables tient à leur physicalité : Les oscillations acoustiques, les comportements mécaniques durant la manipulation et les mouvements perçus par l’œil sont tous cohérents, car liés aux propriétés physiques, uniques, de l’objet physique. Pour générer des comportements visuels, sonores et/ou haptiques en cohérence multi-sensori-motrice, le positionnement original adopté sera de s’appuyer, au cœur des simulacres, sur le principe de la modélisation et de la simulation physique.
L’objectif est alors de fonder une nouvelle génération d’environnement logiciel de création par la modélisation et la simulation physique temps réel, pour ouvrir à la possibilité de modèles nativement multi-sensoriels et, possiblement, à l’exploration d’un nouvel art multisensoriel encore en devenir.

Axes de recherche
On s’appuiera sur les acquis du programme de recherche conduit sur la plateforme Art Science Technologie à Grenoble INP, fconcrétisés par les modeleurs-simulateurs GENESIS [https://doi.org/10.1007/978-3-319-58316-7_8] et MIMESIS [https://hal.science/hal-00910631v1], dédiés respectivement à la synthèse de son et la synthèse d'images en mouvements par modèles physiques, ainsi que par une architecture matérielle/logicielle de simulation temps réel synchrone.
Les deux logiciels modeleurs devront être incrémentés ensemble par une étude commune sur les systèmes d'interactions gestuelles à retour d'effort, en particulier en ce qui concerne les morphologies mécaniques de manipulation (1D, 2D, 3D, Claviers, Sticks, etc.). Un cadre formel commun devra être étudié pour que ceux-ci puissent être utilisés indifféremment par tous type d'utilisateurs.
Il s'agira d'incrémenter les capacités temps réel de ces différents étages de simulation : architecture matérielle et logicielle de calcul temps réel synchrone haute performance, protocoles de communication pour les signaux gestuels, sonores et visuels,
Voir plus sur le site emploi.cnrs.fr...