IDIV CN / AP - DTNUM Pôle données et IA Ingénieur LLM Ops - H/F

Savoirs-faire :Diplômé(e) d'un Bac+5 en école d'ingénieur ou équivalent universitaire, vous justifiez d'une expérience significative dans la mise en production et l'exploitation de systèmes logiciels, ML ou IA.Vous disposez d'une très bonne compréhension du fonctionnement des LLM et de leur inférence : tokenisation, génération autorégressive, attention, KV cache, batching, parallélisme et contraintes mémoire GPU.Vous avez déjà travaillé sur des systèmes en production et êtes attentif(ve) à leur fiabilité, leur observabilité, leurs performances et leur maintenabilité.Vous êtes capable d'investiguer un problème de manière autonome, depuis le comportement d'un modèle jusqu'aux couches système, réseau, conteneurisation ou GPU.Vous êtes à l'aise dans un environnement où les technologies évoluent rapidement et savez expérimenter, mesurer et remettre en question les choix existants.Vous maîtrisez suffisamment l'anglais pour lire la documentation technique, suivre les projets open source et échanger avec leurs communautés.Une participation à des projets ou des contributions à la communauté open source seront particulièrement appréciées.
Compétences techniques :
• vLLM : expertise attendue. Très bonne compréhension de son architecture, de sa configuration, de ses mécanismes de scheduling, de gestion mémoire et de parallélisation ainsi que des principaux leviers d'optimisation de l'inférence.
• Bonne connaissance de l'écosystème des LLM Open Weight et des outils associés, notamment Hugging Face.
• Solides compétences en Python.
• Très bonne maîtrise des environnements Linux.
• Expérience de Kubernetes, de la conteneurisation et du déploiement de services en production.
• Connaissance des problématiques liées aux GPU, à CUDA et aux mécanismes de communication et de parallélisation utilisés pour l'inférence distribuée.• Expérience des problématiques d'observabilité, de monitoring et de diagnostic de services distribués.
• Connaissance des mécanismes d'exposition de modèles sous forme d'API et des architectures de gateway associées.
• Bonne connaissance des technologies d'agents IA techniques, aussi bien du point de vue utilisateur que de leur déploiement et de leur exploitation.
• Une expérience des environnements GitOps, CI/CD, Helm, Argo CD, Prometheus/Grafana ou technologies équivalentes est un plus.

Savoir-être :Sens du travail en équipe, autonomie, rigueur et capacité d'analyse.Curiosité technique et capacité à apprendre rapidement dans un domaine en évolution permanente.Goût pour l'expérimentation, la mesure et l'optimisation.Qualités relationnelles et pédagogiques permettant d'accompagner des équipes aux niveaux de maîtrise variés.Sens des responsabilités et de la fiabilité nécessaires au travail sur des systèmes de production critiques et des systèmes d'information sécurisés.Esprit de partage, intérêt pour l'open source et sens du service public.