Compilation just-in-time pour l’inférence et l’entraînement de grands modèles à graphes dynamiques sur tous types d’appareils - QC-836

Genre de projet: Recherche
Discipline(s) souhaitée(s): Génie - informatique / électrique, Génie, Informatique, Sciences mathématiques, Mathématiques
Entreprise: Tracel Technologies Inc.
Durée du projet: 6 mois à 1 an
Date souhaitée de début: Dès que possible
Langue exigée: Bilingue
Emplacement(s): Québec, QC, Canada; Montréal, QC, Canada; Sherbrooke, QC, Canada
Nombre de postes: 2
Niveau de scolarité désiré: MaîtriseDoctoratRecherche postdoctorale
Ouvert aux candidatures de personnes inscrites à un établissement à l’extérieur du Canada: No

Au sujet de l’entreprise: 

Chez Tracel, nous relevons le défi de la portabilité et de l’efficacité des modèles d’IA sur toutes les plateformes, afin de simplifier leur déploiement et de libérer les équipes des contraintes matérielles. Nous croyons que la puissance de calcul est au cœur de l’évolution de l’IA, en permettant des modèles plus intelligents et plus adaptables. Grâce à des outils open source, nous construisons une base commune qui soutient l’innovation et la montée en échelle de l’IA.

Veuillez décrire le projet.: 

Concevoir et optimiser des techniques avancées de compilation et de gestion de la mémoire afin de réduire le temps d’inférence et l’empreinte mémoire des grands modèles, tant en entraînement distribué qu’en inférence locale, sur une large gamme d’appareils. Cela inclut notamment la fusion de kernels, le partitionnement de modèles (model sharding), la quantification dynamique par blocs, et la mise en cache des compilations.

Expertise ou compétences exigées: 

Connaissances: Théorie des compilateurs, théorie des graphes, théorie de l’information, analyse de complexité algorithmique
Excellente compétence en programmation et algorithmique, maîtrise de Git
Atouts: maîtrise du langage de programmation Rust