Compilation just-in-time pour l’inférence et l’entraînement de grands modèles à graphes dynamiques sur tous types d’appareils - QC-836

Project type: Research
Desired discipline(s): Engineering - computer / electrical, Engineering, Computer science, Mathematical Sciences, Mathematics
Company: Tracel Technologies Inc.
Project Length: 6 months to 1 year
Preferred start date: 09/01/2025
Language requirement: Bilingual
Location(s): Québec, QC, Canada; Montréal, QC, Canada; Sherbrooke, QC, Canada
No. of positions: 2
Desired education level: Master'sPhDPostdoctoral fellow
Open to applicants registered at an institution outside of Canada: No

About the company: 

Chez Tracel, nous relevons le défi de la portabilité et de l’efficacité des modèles d’IA sur toutes les plateformes, afin de simplifier leur déploiement et de libérer les équipes des contraintes matérielles. Nous croyons que la puissance de calcul est au cœur de l’évolution de l’IA, en permettant des modèles plus intelligents et plus adaptables. Grâce à des outils open source, nous construisons une base commune qui soutient l’innovation et la montée en échelle de l’IA.

Describe the project.: 

Concevoir et optimiser des techniques avancées de compilation et de gestion de la mémoire afin de réduire le temps d’inférence et l’empreinte mémoire des grands modèles, tant en entraînement distribué qu’en inférence locale, sur une large gamme d’appareils. Cela inclut notamment la fusion de kernels, le partitionnement de modèles (model sharding), la quantification dynamique par blocs, et la mise en cache des compilations.

Required expertise/skills: 

Connaissances: Théorie des compilateurs, théorie des graphes, théorie de l’information, analyse de complexité algorithmique
Excellente compétence en programmation et algorithmique, maîtrise de Git
Atouts: maîtrise du langage de programmation Rust