Knowledge Graph Distillation - QC-795 / Distillation graphique des connaissances - QC-795

Project type: Research
Desired discipline(s): Engineering - computer / electrical, Engineering, Computer science, Mathematical Sciences, Mathematics
Company: Mastercard
Project Length: 6 months to 1 year
Preferred start date: 01/01/2025
Language requirement: English
Location(s): Montreal, QC, Canada
No. of positions: 1
Desired education level: Undergraduate/BachelorMaster'sPhDPostdoctoral fellowRecent graduate
Open to applicants registered at an institution outside of Canada: No

About the company: 

We work to connect and power an inclusive, digital economy that benefits everyone, everywhere by making transactions safe, simple, smart and accessible. Using secure data and networks, partnerships and passion, our innovations and solutions help individuals, financial institutions, governments and businesses realize their greatest potential. Our decency quotient, or DQ, drives our culture and everything we do inside and outside of our company. We cultivate a culture of inclusion for all employees that respects their individual strengths, views, and experiences. 

Notre mission consiste à connecter et alimenter une économie numérique inclusive, qui bénéficie à chacun et partout, en permettant des transactions sûres, simples, intelligentes et accessibles. Nous nous appuyons sur des données et des réseaux sécurisés, nos partenariats et notre passion, nos innovations et nos solutions pour donner aux particuliers, aux institutions financières, aux gouvernements et aux entreprises les moyens de réaliser tout leur potentiel. Notre quotient de décence (QD) façonne notre culture et chacune de nos activités, au sein de notre entreprise comme en externe. Nous cultivons une culture d'inclusion pour tous les employés, qui respecte les forces, les points de vue et les expériences de chacun. 

Describe the project.: 

Introduction

Knowledge graphs have proven immensely useful in fields such as retail, entertainment, finance, and healthcare. By coupling knowledge graphs with machine learning, it is possible to utilize natural language processing and other node/edge-related attributes to build extensive representations of nodes, edges, and labels. These representations can then be employed to learn meaningful patterns of interaction among users. In the financial sector, these representations are particularly valuable for tasks such as detecting fraudulent entities, identifying anomalous communities, and predicting links between entities, communities, or merchants.

Mastercard, one of the world’s largest multinational financial services corporations, operates AI Garage, a technology hub within Mastercard India Services Pvt. Ltd. AI Garage focuses on driving safer, simpler, and smarter digital transactions for Mastercard. This project aims to enhance transaction safety for Mastercard’s customers by leveraging the properties of knowledge graphs and graph neural networks. Specifically, the project will develop a novel distillation method to transfer information from knowledge graphs to Graph Neural Networks (GNN) with minimal information loss. The goal is to generate embeddings using GNNs while retaining the expressiveness of knowledge graph embeddings. These embeddings will be utilized for various downstream tasks, such as node prediction and predicting hidden links between entities. Ultimately, this work will enable financial institutions to identify fraudulent entities and anomalous communities, making digital transactions safer.

Problems

In recent times, major developments in digital economy platforms have made transactions simple, smart, and accessible to most of the world’s population. However, as e-commerce advances, fraud behaviours are becoming more prominent and currently have been classified as one of the biggest threats to the billion-dollar e-commerce business [1]. Detecting fraud behaviours on e-commerce platforms and identifying anomalous entities is of the utmost importance to make transactions safe and trustable. Converting transaction data from financial institutions into highly informational knowledge graphs (KG) can pave the way for representation learning using machine learning and deep learning approaches. By learning optimal representations or features from knowledge graphs, it is possible to train machine learning algorithms to detect fraudulent transactions and predict links between fraud entities.

Knowledge graph representation learning (KRL), also known as knowledge graph embedding (KGE), has been a major area of research over the past decade. Multi-relational knowledge graphs, where each edge has a label and direction, represent knowledge in a structured manner through triples in the form of head, relation,and tail[2]. KRL aims to learn meaningful representations for these entities and relations, ensuring that the embeddings capture the domain's semantics optimally. Previous approaches to generating embeddings for KG include translation-based methods such as TransE[3] and its variants (TransH[4], TransM[5], TransR[6], GTrans[7], TransGH[8]). These models have utilized distance-based scoring functions to embed nodes into lower-dimensional spaces. Semantic matching methods like RESCAL[9] and TuckER[10] have also been used for KG completion, employing similarity-based scoring functions for better representations of nodes and edges.

However, both translation-based and semantic matching methods face limitations in producing optimal representations and managing computational complexity[11]. Recently, graph neural networks (GNNs) have been incorporated to achieve better representations of nodes and edges. Various relation-aware GNNs, such as RAGAT [12] (relational attention), COMPGCN[13] (entity-relation composition operations), K-GEL[14] (dual weighted graph convolutions), relation-aware attention GNN[15] (relation-aware masked attention mechanism), and SE-GCN[16] (semantic evidence), have shown superior performance in downstream tasks like link prediction and node classification. Despite their effectiveness, these relation-specific GNNs are memory-intensive and time-consuming to train, making them impractical for large, constantly growing transactional data.

Objectives

  1. Propose a novel framework to distil knowledge from relation-aware knowledge graph models to standard or relation-unaware Graph Neural Networks.
  2. Develop a novel GNN architecture capable of handling the distilled knowledge from knowledge graph models.
  3. Utilize the developed GNN architecture for tasks such as node classification and link prediction.
  4. Test and validate the proposed architecture and framework on various available open-source databases.
  5. Compare the results with state-of-the-art methods.
  6. Formulate and submit a research paper based on the findings to a reputed conference or journal.

Introduction

Les graphes de connaissances se sont révélés extrêmement utiles dans des domaines tels que la vente au détail, le divertissement, la finance et les soins de santé. En associant les graphes de connaissances à l’apprentissage automatique, il est possible d’utiliser le traitement du langage naturel et d’autres attributs liés aux nœuds/arêtes pour construire des représentations étendues des nœuds, des arêtes et des étiquettes. Ces représentations peuvent ensuite être utilisées pour apprendre des modèles significatifs d’interaction entre les utilisateurs. Dans le secteur financier, ces représentations sont particulièrement utiles pour détecter les entités frauduleuses, identifier les communautés anormales et prédire les liens entre les entités, les communautés ou les commerçants.

Mastercard, l’une des plus grandes sociétés multinationales de services financiers au monde, exploite AI Garage, un pôle technologique au sein de Mastercard India Services Pvt. Ltd. AI Garage se concentre sur la réalisation de transactions numériques plus sûres, plus simples et plus intelligentes pour Mastercard. Ce projet vise à améliorer la sécurité des transactions pour les clients de Mastercard en exploitant les propriétés des graphes de connaissances et des réseaux neuronaux de graphes. Plus précisément, le projet développera une nouvelle méthode de distillation pour transférer les informations des graphes de connaissances vers les réseaux neuronaux graphiques (GNN) avec une perte d’information minimale. L’objectif est de générer des enchâssements à l’aide de GNN tout en conservant l’expressivité des enchâssements de graphes de connaissances. Ces encastrements seront utilisés pour diverses tâches en aval, telles que la prédiction des nœuds et la prédiction des liens cachés entre les entités. À terme, ces travaux permettront aux institutions financières d’identifier les entités frauduleuses et les communautés anormales, rendant ainsi les transactions numériques plus sûres.

Problèmes

Ces derniers temps, l’évolution des plateformes de l’économie numérique a rendu les transactions simples, intelligentes et accessibles à la majeure partie de la population mondiale. Cependant, à mesure que le commerce électronique progresse, les comportements frauduleux deviennent de plus en plus fréquents et sont actuellement considérés comme l’une des plus grandes menaces pour le commerce électronique, qui pèse des milliards de dollars [1]. La détection des comportements frauduleux sur les plateformes de commerce électronique et l’identification des entités anormales sont de la plus haute importance pour rendre les transactions sûres et fiables. La conversion des données de transaction des institutions financières en graphes de connaissances hautement informatifs (KG) peut ouvrir la voie à l’apprentissage de la représentation à l’aide d’approches d’apprentissage automatique et d’apprentissage profond. En apprenant des représentations ou des caractéristiques optimales à partir des graphes de connaissances, il est possible de former des algorithmes d’apprentissage automatique pour détecter les transactions frauduleuses et prédire les liens entre les entités frauduleuses.

L’apprentissage de la représentation des graphes de connaissances (KRL), également connu sous le nom d’intégration des graphes de connaissances (KGE), a été un domaine de recherche majeur au cours de la dernière décennie. Les graphes de connaissances multirelationnels, où chaque arête possède une étiquette et une direction, représentent les connaissances de manière structurée par le biais de triples sous la forme d’une tête, d’une relation et d’une queue[2]. Le KRL vise à apprendre des représentations significatives de ces entités et relations, en veillant à ce que les encastrements capturent la sémantique du domaine de manière optimale. Les approches antérieures de génération d’enchâssements pour KG comprennent des méthodes basées sur la traduction telles que TransE[3] et ses variantes (TransH[4], TransM[5], TransR[6], GTrans[7], TransGH[8]). Ces modèles utilisent des fonctions de notation basées sur la distance pour intégrer les nœuds dans des espaces de moindre dimension. Des méthodes d’appariement sémantique telles que RESCAL[9] et TuckER[10] ont également été utilisées pour compléter les KG, en employant des fonctions de notation basées sur la similarité pour une meilleure représentation des nœuds et des arêtes.

Toutefois, les méthodes d’appariement sémantique et basées sur la traduction se heurtent à des limites dans la production de représentations optimales et dans la gestion de la complexité informatique[11]. Récemment, les réseaux neuronaux de graphes (GNN) ont été incorporés pour obtenir de meilleures représentations des nœuds et des arêtes. Divers GNN tenant compte des relations, tels que RAGAT [12] (attention relationnelle), COMPGCN [13] (opérations de composition entité-relation), K-GEL [14] (convolutions de graphe doublement pondérées), relation-aware attention GNN [15] (mécanisme d’attention masquée tenant compte des relations) et SE-GCN [16] (preuves sémantiques), ont montré des performances supérieures dans des tâches en aval telles que la prédiction de liens et la classification de nœuds. Malgré leur efficacité, ces GNN spécifiques aux relations sont gourmands en mémoire et longs à former, ce qui les rend peu pratiques pour les données transactionnelles volumineuses et en croissance constante.

Objectifs

  1. Proposer un nouveau cadre pour distiller les connaissances à partir de modèles de graphes de connaissances conscients des relations vers des réseaux neuronaux graphiques standard ou non conscients des relations.
  2. Développer une nouvelle architecture GNN capable de traiter les connaissances distillées à partir de modèles de graphes de connaissances.
  3. Utiliser l’architecture GNN développée pour des tâches telles que la classification des nœuds et la prédiction des liens.
  4. Tester et valider l’architecture et le cadre proposés sur diverses bases de données open-source disponibles.
  5. Comparer les résultats avec les méthodes les plus récentes.
  6. Formuler et soumettre un document de recherche basé sur les résultats à une conférence ou une revue réputée.

Required expertise/skills: 

 

  • Good theoretical and practical familiarity of Deep Learn Models.
  • Decent understanding of Graph Neural Networks formulations.
  • Good understanding of Machine Learning theory.
  • Decent understanding of probability theory and statistics.
  • Experience in Knowledge Graphs is a plus.
  • Good experience with packages such as Pytorch and Tensorflow.
  • Bonne connaissance théorique et pratique des modèles de Deep Learn.
  • Bonne compréhension des formulations des réseaux de graphes et de neurones.
  • Bonne compréhension de la théorie de l’apprentissage automatique.
  • Une bonne compréhension de la théorie des probabilités et des statistiques.
  • Une expérience dans les graphes de connaissances est un plus.
  • Bonne expérience avec des packages tels que Pytorch et Tensorflow.

Express interest