Distributed Machine Learning Engineer

Nous recherchons un.e ingénieur.e sénior en apprentissage automatique distribué (distributed ML) pour rejoindre notre équipe travaillant sur un agenda de recherche novateur en sécurité de l'IA. Dans ce rôle, vous travaillerez en étroite collaboration avec des chercheur.se.s en apprentissage automatique pour résoudre des problèmes complexes d'entraînement et d'inférence utilisant des modèles de très grande taille.

Responsabilités Clés

• Collaborer avec les chercheurs.se.s pour accélérer la recherche, l'entraînement et l'inférence des modèles, et faciliter l'utilisation de modèles à grande échelle dans des environnements de calcul distribué.
• Investiguer les goulots d'étranglement de performance, profiler le code des expériences de recherche, déboguer les problèmes signalés et optimiser l'utilisation des ressources de calcul.
• Développer des outils et des bibliothèques logicielles pour simplifier et orchestrer l'utilisation des ressources de calcul distribué pour les expériences de recherche.
• Établir, documenter et maintenir les meilleures pratiques pour les flux de travail de développement de modèles ML distribués à grande échelle.

Compétences et Qualifications

• Un diplôme dans un domaine pertinent de l'informatique (par exemple, informatique, génie informatique, génie logiciel) est requis. Un diplôme d'études supérieures (maîtrise ou doctorat) lié à l'apprentissage automatique ou aux systèmes ML distribués est préférable, mais n'est pas obligatoire si le candidat démontre des capacités et une expérience exceptionnelles.
• Plus de 3 ans d'expérience dans la conception et la mise en œuvre de “frameworks” d'entraînement ML distribué, avec une expérience récente dans l'utilisation, par exemple, de Megatron, DeepSpeed, HuggingFace Accelerate, FSDP, vLLM et/ou verl.
• Capacité à collaborer efficacement avec des équipes interfonctionnelles, à documenter les meilleures pratiques et à se tenir au courant des dernières avancées en ML et en développement de logiciels.
• Expérience avec les plateformes “cloud” (par exemple, AWS, GCP, Azure) et les gestionnaires de charge de travail (par exemple, Ray, SLURM).
• Expérience avec les outils de profilage GPU (par exemple, PyTorch profiler, PyProf, NVIDIA Nsight).
• Familiarité avec les outils de conteneurisation (par exemple, gRPC, Docker, Kubernetes).
• Familiarité avec les infrastructures et plateformes de données (par exemple, bases de données vectorielles).
• Expérience avérée de contribution à des projets de recherche de haute qualité en apprentissage profond.

Le titre d'Ingénieur est utilisé à des fins de référence et peut ou non être le titre officiel du candidat en fonction de la juridiction.