Doctorant en réseaux neuronaux ultra-basse précision pour la vision événementielle embarquée H/F

Sujet de thèse :
Cette thèse vise à concevoir une nouvelle génération de réseaux de neurones binarisés ou fortement quantifiés pour le traitement de données issues de caméras à événements sur plateformes embarquées. Contrairement aux caméras conventionnelles, les caméras événementielles produisent des flux asynchrones et parcimonieux décrivant les variations locales de luminance, offrant une latence minime robuste aux mouvements très rapides et une grande dynamique. Ces propriétés sont particulièrement adaptées à la robotique, aux drones, aux véhicules autonomes et aux systèmes de perception basse consommation.

L’objectif de la thèse est de dépasser l’approche consistant à convertir les événements en pseudo-images traitées par des réseaux classiques. Il s’agira de co-concevoir les représentations événementielles, les architectures neuronales ultra-basse précision, binarisés (BNN) ou quantifiés (QNN), les stratégies d’apprentissage et les contraintes de déploiement matériel. Les modèles étudiés combineront potentiellement couches binaires, quantification mixte, mémoire temporelle, récurrence légère, attention parcimonieuse, focalisation dynamique et inférence partielle.

Les contributions attendues pourront porter sur :
- l’étude des représentations événementielles compatibles avec la binarisation ;
- la conception de blocs BNN/QNN adaptés aux flux asynchrones ;
- le développement de méthodes d’entraînement robustes par distillation, quantization-aware training et apprentissage progressif ;
- l’évaluation conjointe en précision, latence, mémoire, énergie et robustesse ;
- la validation sur benchmarks publics et plateformes robotiques embarquées.

Les architectures proposées seront évaluées sur des jeux de données de référence en vision événementielle, notamment pour la classification, la reconnaissance de gestes, la détection d’objets, le suivi ou la perception robotique. Une attention particulière sera portée aux benchmarks réalistes comme Gen1 Automotive Detection, MVSEC ou DSEC, ainsi qu’à la comparaison avec des modèles événementiels récents non quantifiés.

Cette thèse contribuera ainsi à rapprocher la vision neuromorphique, l’apprentissage profond frugal et l’intelligence artificielle embarquée, avec pour ambition de produire des modèles capables d’exploiter la nature asynchrone des événements tout en respectant des contraintes strictes de temps réel et de consommation énergétique.

References:

Vision événementielle, neuromorphique, frugalité et edge AI

- Gallego, G. et al. Event-based Vision: A Survey, IEEE TPAMI, 2022.
- Zheng, X. et al. Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks, 2024.
- Rebecq, H. et al. Events-to-Video: Bringing Modern Computer Vision to Event Cameras, CVPR 2019.
- Gehrig, M., Scaramuzza, D. Recurrent Vision Transformers for Object Detection with Event Cameras, CVPR 2023.
- Peng, Y. et al. GET: Group Event Transformer for Ev
Voir plus sur le site emploi.cnrs.fr...