Doctorant contractuel - ERC G3S (H/F)

Présentation du projet G3S
L’apprentissage automatique est particulièrement bien adapté au traitement de problèmes mal définis, où la complexité exclut les solutions directes ; il est donc d’une importance capitale dans le domaine de la création musicale, où les connaissances compositionnelles sont loin d’être explicites. Jusqu’à présent, la génération d’espaces sonores a souvent été négligée dans l’application de l’IA à la musique et au son, alors que l’audio spatial 3D fait l’objet d’importants développements industriels et standardisations.
Le projet ERC Advanced Grant G3S (Generative Spatial Synthesis of Sound and Music), conçu par et pour des musiciens et des créateurs de sons, va explorer des approches génératives de la spatialisation à base d’apprentissage machine. Ainsi, il tendra à sortir des standards qui formatent nos manières de créer ou percevoir la spatialité, en s’ouvrant à l’ensemble des manières et procédés de l’audio spatial. Il se positionne de manière originale à l’intersection rarement explorée de la spatialisation et de l’IA, cette dernière envisagée de manière frugale, locale et open source, et dans le cadre d’un réseau collaboratif international de recherche et de création.
À partir d’un vaste ensemble de pièces musicales variées proposant une construction de l’espace sonore, dont nous récupèrerons les moteurs sonores (représentés par les opérations sur le signal), leurs enregistrements multicanaux et les descriptions sémantiques de la spatialité, nous entraînerons des modèles d’apprentissage de faible dimensionnalité, combinant des techniques neurales existantes. Ces modèles permettront de générer des espaces sonores et de les explorer par des demandes utilisateurs soit fonctionnelles (décrivant les traitements souhaités) soit d’imitation d’un résultat audio, soit sémantiques (décrivant l’espace souhaité). Les moteurs spatiaux sélectionnés par l’utilisateur pourront être exportés sous forme de plugins.
Pendant cinq ans, le projet G3S mettra en œuvre et articulera quatre grands objectifs de recherche : 1) la conception d’une représentation opératoire unifiée des moteurs de spatialisation existants 2) la proposition d’un thesaurus et de mesures quantitatives permettant de décrire la spatialité du son 3) la génération d’espaces sonores à partir d’apprentissage machine 4) la conception d’interfaces utilisateurs pour explorer l’audio spatial. Nous produirons des environnements open source, compatibles avec les standards audio et partagés avec la communauté de l’informatique musicale ; nous les validerons par des commandes à des compositrices et compositeurs, des créations, des ateliers et des concerts.
Détail des missions
Vous serez Intégré.e à l’équipe du projet (3 post-doctorants, 4 doctorants) sous la responsabilité scientifique du P.I. Prof. Alain Bonardi ; votre thèse sera dirigée par Alain Bonardi et co-dirigée par André Villa, Maître de Conférences au Département Musique de l’université Paris 8 ;