Data Platform Developer

Nous sommes à la recherche d’une personne visionnaire et dotée de solides compétences techniques pour occuper le poste de développeur.se sénior de plateforme de données d’apprentissage automatique. Dans ce rôle, vous serez responsable d’architecturer, de mettre en œuvre, de faire évoluer et d'entretenir le moteur de données qui alimente nos modèles de pointe de nouvelle génération.

Dans ce poste à fort impact, vous assurerez la jonction entre la recherche de pointe en intelligence artificielle et l'ingénierie haute performance, en traitant la plateforme de données comme un produit interne dont les chercheurs.es sont les principaux clients. Vous ferez la gestion de pipelines de traitement de données automatisés à l'échelle du pétaoctet et veillerez à ce que chaque résultat soit efficace, fiable et entièrement traçable. Notre environnement technique n’est pas figé et évoluera au rythme de la croissance de nos projets. Nous recherchons une personne capable de le faire évoluer, non seulement en suivant les tendances de l'industrie, mais aussi en remettant en question l'existant et en prenant des décisions durables, en étroite collaboration avec nos équipes de recherche et de produits.

Responsabilités principales

• Optimiser et automatiser la chaîne de traitement des données pour gérer des pétaoctets de données et en assurer le bon fonctionnement.

• Concevoir la couche d'exécution pour les différentes étapes des pipelines selon leur profil de calcul, en associant chaque étape au moteur approprié et en maintenant le pipeline à pleine capacité du début à la fin.

• Garantir l'utilisation efficace des ressources informatiques, y compris l'accès aux processeurs graphiques (GPU) pour les tâches de traitement de données exigeantes en puissance de calcul.

• Assurer la fiabilité des pipelines à grande échelle grâce à une reprise sur panne fluide, une capacité de redémarrage et une observabilité permettant d'attribuer les goulots d'étranglement et les coûts à l'étape responsable.

• Garantir que tous les jeux de données, y compris les sorties intermédiaires de chaque étape de transformation, soient versionnés, reproductibles et entièrement traçables afin de répondre aux besoins expérimentaux précis et dynamiques, et qu'ils soient accompagnés de fiches techniques (datasheets) conformément aux politiques internes de gouvernance des données.

• Collaborer avec l'équipe de recherche pour veiller à ce que les jeux de données produits s'intègrent de manière transparente aux pipelines d'entraînement.

Compétences et qualifications requis

• Diplôme universitaire de premier cycle (baccalauréat) dans un domaine pertinent (p. ex., informatique, génie informatique, génie logiciel) obligatoire.