Research Internship

Publication date : Oct 06, 2026, 10:23AM

Contract duration :

Les grands modèles de langage (LLM) résolvent chaque jour des tâches semblables pour de nombreux utilisateurs. Pourtant, les poids d’un modèle restent fixes au cours de ces nombreuses utilisations et l’expérience accumulée n’est donc pas intégrée à ses futures inférences. Le but du stage est alors d’étudier le mécanisme dit de mémoire qui vise à aider le modèle à capitaliser sur ces expériences, c’est-à-dire à réutiliser des méthodes de résolution, des enchaînements d’actions, des connaissances factuelles ou des structures de problèmes rencontrés au fil des demandes. L’ambition est alors double : mieux réussir les tâches nouvelles et réduire, lorsque c’est pertinent, le calcul nécessaire à leur résolution.

Le stage portera sur les mémoires neuronales intégrées aux mécanismes internes du Transformer, plutôt que sur des mémoires textuelles ou des bases de connaissances externes. Pour cela, plusieurs pistes existent déjà dans la littérature [1], par exemple fondées sur la recherche de paires clé-valeur dans l’attention [2], le remplacement de certaines couches internes par des couches mémoire parcimonieuses [3], ou l’intégration d’une mémoire neuronale mise à jour pendant l’utilisation du modèle [4].

Sur le plan applicatif, l’un des enjeux est l’applicabilité de la mémoire à un service utilisé par plusieurs personnes. Ceci soulève en particulier le risque d’interférences entre sessions ou de révélation d’informations privées. Des travaux étudient déjà le contrôle du partage entre utilisateurs [5] mais son intégration à une mémoire neuronale interne reste à explorer. Le stage cherchera donc à déterminer quelles expériences mémoriser, quand les rappeler et comment gérer l’oubli pour améliorer les réponses sans alourdir le calcul.

Vous analyserez la littérature scientifique sur le sujet de la mémoire pour les agents et pour les architectures transformers.
Vous étudierez les méthodes majeures, les environnements de test publics associés et les mettrez en œuvre.
Vous proposerez des pistes d’amélioration de ces méthodes existantes.
Vous analyserez les performances sous des angles variés comme la qualité des réponses, leur coût en inférence, la latence de génération, ou encore la persistance et l’oubli dans le temps.
Vous présenterez vos résultats, leurs limites et les pistes de recherche, idéalement dans le cadre d’une soumission à une conférence internationale.
Références

[1] Omidi et al., « Memory-augmented transformers: A systematic review from neuroscience principles to enhanced model architectures ». arXiv preprint arXiv:2508.10824, 2025.
[2] Wu et al., « Memorizing Transformers », ICLR, 2022.
[3] Berges et al., « Memory Layers at Scale », ICML, 2025.
[4] Behrouz et al., « Titans: Learning to Memorize at Test Time », NeurIPS, 2025.
[5] Rezazadehet al.,« Collaborative Memory: Multi-User Memory Sharing in LLM Agents with Dynamic Access Control », arXiv:2505.18279, 2025.

• Vous êtes en dernière année de master ou d’école d’ingénieur
• Vous avez une excellente formation en apprentissage automatique avec une connaissance des modèles Transformers
• Vous avez un solide bagage mathématique, notamment en algèbre linéaire, probabilités et optimisation
• Vous savez implémenter et entraîner des modèles avec Python et PyTorch
• Vous êtes à l’aise avec l’environnement Linux
• Vous êtes curieux.se et et aimez formuler des hypothèses vérifiables
• Vous travaillez avec autonomie, documentez vos choix et communiquez clairement en français ou en anglais.

Ce sujet de stage est au cœur du sujet actuellement stratégique de l’IA agentique car il permet d’envisager des services sur le long terme avec une capacité d’adaptation continue de systèmes déployés. Hébergé dans l’environnement pointu des laboratoires de recherche d'Orange, il ouvre ainsi beaucoup de perspectives de carrière.

Vous serez intégré.e au sein de deux équipes de recherche à la pointe de l’innovation et de l’expertise sur le traitement automatique des langues et l’apprentissage statistique. Vous y bénéficierez d’un environnement stimulant : présence de nombreux chercheurs, doctorants et data scientists ; interconnexions avec les problématiques applicatives du groupe ; disponibilité de grandes infrastructures de calcul.

Desired start date : Mar 01, 2027, 12:00AM

At Orange, only your skills matter.

Regardless of your age, gender, background, origin, religion, sexual orientation, disability, neurodiversity, or appearance, we actively encourage diversity within our teams, as it is a collective strength and a driver of innovation.
Orange is a disability-inclusive employer: please feel free to let us know about any specific needs you may have.