(H/F) Offre de thèse : Fusion multi-capteurs orientée tâche basée sur une approche différentiable : app

Sujet de thèse :
La télédétection a démontré un potentiel considérable pour caractériser les propriétés chimiques et physiques de la surface terrestre, y compris des zones côtières. Plusieurs systèmes sont équipés de multiples capteurs d'imagerie aux spécifications complémentaires en termes de résolution (par exemple, Pléiades, PRISMA et Sentinel-2). La fusion d'images est une étape nécessaire pour obtenir une image présentant une résolution spatiale et spectrale optimale. La plupart des algorithmes de fusion d'images visent à générer une image à haute résolution (spatiale et spectrale) qui sera ensuite utilisée pour d'autres tâches en aval (par exemple, détection d'objets, classification de l'occupation du sol, détection de changements…). La plupart des algorithmes de fusion proposés dans la littérature reposent sur des hypothèses indépendantes de la tâche pour trouver le produit de fusion optimal, en utilisant des fonctionnelles énergétiques explicites ou en les apprenant implicitement à partir des données. Les protocoles de validation s'appuient généralement sur des stratégies permettant de pallier l'absence d'image de référence à la résolution cible, en utilisant des mesures standard de qualité d'image à basse résolution. Il existe une littérature abondante sur ces mesures, dont la plupart reposent sur l'hypothèse d'invariance d'échelle du processus de fusion, une hypothèse discutable.De plus, la corrélation entre ces métriques d'image et la tâche en aval n'a pas été étudiée en profondeur.
L'objectif de cette thèse est de proposer une approche alternative au processus de fusion d'images en considérant les différentes étapes de la chaîne de traitement – ​​incluant l'acquisition d'images, la fusion elle-même, les tâches en aval et les métriques de validation – comme des processus ajustables incluant des paramètres apprenantes, dont les formes précises peuvent être optimisées en fonction d'un objectif spécifique.Cette approche vise non seulement à fournir une comparaison raisonnée entre les algorithmes de fusion, mais aussi à améliorer la qualité des performances des tâches en aval, en optimisant les éléments précédents de la chaîne de traitement. Ces paramètres peuvent être optimisés à l'aide de mesures conventionnelles de qualité d'image et/ou d'indicateurs basés sur les tâches. Cette vision unifiée de l'ensemble de la chaîne de traitement, telle un jumeau numérique de l'acquisition et du traitement opérationnels, est rendue possible par la démocratisation récente des outils de différenciation automatique (Pytorch, Tensorflow, JuliaDiff, JAX), et a été récemment utilisée dans de nombreux domaines scientifiques (voir par exemple l'initiative CLIMA pour la modélisation du climat global). L'un des objectifs de cette thèse est d'unifier la caractérisation des spécifications des capteurs, la conception des algorithmes de fusion et leur application aux tâches en aval, afin de caractériser l'impact d
Voir plus sur le site emploi.cnrs.fr...