(H/F) : Thèse sur le sujet " Fusion d’images multi-modales"

Sujet de thèse :
Le projet AI-HERBAGE du PEPR AGROÉCOLOGIE & NUMÉRIQUE (https://www.pepr-agroeconum.fr/les-projets-finances/traitement-de-donnees-et-modelisation/laureats-aap/ai-herbage) a pour objectif de fournir des algorithmes permettant d’améliorer la gestion des pâturages à partir d’observations pouvant être issues de capteurs divers. Les principales sources de données pour le monitoring de la végétation seront issues d’imageries aériennes et satellitaires. Ces données pouvant être très hétérogènes en termes de résolution spectrale, temporelle et spatiale, mais aussi en termes de géométrie d’acquisition, de bruit, de réponse radiométrique. Une des principales tâches du projet sera de fusionner les différentes sources de données afin d’avoir une information la plus complète possible sur l’état de la végétation, en termes de résolution spectrale et spatiale ainsi que d’avoir la capacité d’observer les variations temporelles.
Plusieurs défis se posent pour la fusion des images issues de capteurs hétérogènes :
• Les images aériennes et satellitaires sont prises avec des points de vue différents, il est donc nécessaire de recaler les images les unes par rapport aux autres et si on tient compte du relief il est aussi nécessaire de recaler les images au niveau des pixels eux-mêmes. Du fait de l’hétérogénéité des sources, les techniques de recalage classiques (denses ou à partir de points d’intérêt) risquent d’échouer. Une intérêt potentielle sera donc de développer ou d’adapter des modèles de recalage capables de prendre en compte les différences de modalité, résolution, et potentiellement de fine-tuner des modèles existant avec des scènes de végétations (modèles spécialisée au niveau de capteurs et d’objets d’intérêt).
• Les conditions de prises de vue étant différentes entre les différents capteurs, ou même entre deux prises de vues d’un même capteur (e.g., à cause de variations d’illumination, d’effets atmosphèriques...), il est nécessaire de corriger et d’unifier les réponses spectrales des différentes prises de vue. Comme l’utilisation de références calibrées est difficile sur le terrain, des approches d’auto-calibration, de calibrations croisée (cross-calibration) entre capteurs pourront être étudiées.
• Enfin la différence de résolution spatiale et spectrale des différentes images nécessite d’inférer des données d’interpolation afin d’avoir une résolution optimale. A part de l’application d’estimer une image super-résolue, il est possible d’aborder le problème d’estimation directe de variable de végétation, telles que des indices de végétation, couverture végétale, etc…
• Pratiquement, les données réelles sont souvent bruitées et ont rarement de données ground-truth ou parfaitement propres et alignées. Il est possible d’intégrer des approches self- ou semi-supervisées. Il est aussi possible de regarder la collaboration entre débruitage, recalage, et fusion, plutôt que traiter chaque module
Voir plus sur le site emploi.cnrs.fr...