Post-doctorante ou Post-doctorant : Pour une IA soutenable : étude du coût calcul de l'apprentissage H/F

Au sein de Mines Saint-Étienne, c’est l’Institut Fayol et le département Informatique et systèmes intelligents (ISI), rattaché au Laboratoire d’informatique, de modélisation et d’optimisation des systèmes (LIMOS, UMR 6158), qui portent la thématique de l’IA soutenable, sous l’angle du coût calcul de l’apprentissage et de l’analyse d’impact environnemental d’un système d’IA.

Descriptif du service

Enjeux scientifiques :
Les modèles de langage et autres modèles fondationnels basés sur des réseaux de neurones profonds sont devenus incontournables en quelques années. Cependant, dès l’introduction de l’architecture Transformer dans la littérature s’est posée la question du coût calcul de ces modèles. Leur grande capacité à généraliser tient principalement au fait qu’ils possèdent un très grand nombre de paramètres configurables, comparés à leurs prédécesseurs. Or, on peut observer empiriquement que les progrès effectués depuis 2012 en apprentissage statistique s’accompagnent d’une croissance exponentielle du coût calcul nécessaire au développement d’un modèle.
L’adoption croissante des réseaux de neurones dans les systèmes d’information pose le problème de la maîtrise du coût calcul de l’IA et son incidence sur l’impact environnemental du numérique. Maîtriser le coût calcul de l’IA appelle en retour à développer des indicateurs solides pour prendre des décisions en amont de la conception d’un système d’information. L’éco-conception logicielle impose par exemple de justifier qu’une solution coûteuse remplit un besoin précis et n’est pas substituable.
Or, actuellement, il existe peu d’indicateurs a priori du coût calcul d’un modèle d’apprentissage. De nombreux paramètres entrent en jeu, comme la quantité de données d’entraînement, la complexité du modèle ou les caractéristiques matérielles de la plateforme sur laquelle le modèle est évalué.