28.04.2022

Blog

Boostrs

Revenir en arrière

Mapping basé sur les compétences : dans quelle mesure est-il efficace ?

Le mapping basé sur les compétences consiste à faire appel à la technologie pour associer une ou plusieurs compétences à un contenu. Il s’agit d’une étape préliminaire indispensable avant de pouvoir relier n’importe quels objets RH entre eux. Mais dans quelle mesure cette approche basée sur l’intelligence artificielle est-elle efficace ? Certains contenus permettent-ils d’obtenir des résultats plus précis que d’autres ? Explications.

 

 

Comment mesurer l’efficacité du mapping basé sur les compétences ? 

 

Pour quantifier les performances du mapping basé sur les compétences – comme celles de tout système s’appuyant sur l’IA – il faut disposer de « données d’entraînement ». Ces données correspondent à des paires entrée-sortie « vérifiées » (souvent annotées à la main par des humains) servant de références pour les algorithmes.

 

À titre d’exemple, dans le cas du mapping de contenus de formation basé sur les compétences, ces données d’entraînement peuvent être générées manuellement grâce aux intitulés et aux descriptifs des formations. Ces informations sont généralement suffisantes pour permettre à un humain d’indiquer quelles compétences ou connaissances sont couvertes par les contenus de formation et, inversement, celles qui ne le sont pas.

 

La liste obtenue, indiquant si les compétences et les connaissances se rapportent ou non aux contenus de formation, sert ensuite de référence pour entraîner l’algorithme de mapping à reconnaître les similarités et non similarités entre les compétences et les contenus de formation.

 

Par la suite, il est possible de mesurer l’efficacité de la technologie de mapping en comparant les résultats obtenus par l’algorithme avec la liste annotée manuellement.

 

À lire aussi : Mapper et matcher les métiers et les compétences : les opportunités insoupçonnées

 

 

Quels éléments influent sur le niveau de précision du mapping basé sur les compétences ?

 

Le nombre de compétences demandées à l’algorithme, le type de contenu, la quantité de texte fournie et la langue ont un impact sur le niveau de précision du mapping basé sur les compétences. Voici pourquoi.

 

Le nombre de compétences demandées

 

Le niveau de précision de l’algorithme de mapping dépend du nombre de compétences qui lui est demandé : plus le nombre de compétences demandées est élevé, plus la précision diminue.

 

Ainsi, lorsque l’on cherche à obtenir une seule compétence, le niveau de précision des résultats est très élevé. Puis à mesure que le nombre de compétences demandées augmente, les résultats perdent en précision.

 

Ce constat n’est pas surprenant, il est même tout à fait logique car plus le nombre de compétences demandées est élevé, moins celles-ci sont spécifiques au sujet ou au domaine concerné.

 

À lire aussi : Pourquoi et comment mettre en place une approche par compétences au sein de son organisation ?

 

 

→ Le type de contenu

 

Le niveau de précision du mapping basé sur les compétences varie selon les types de contenus analysés : plus il y a de contenus et de compétences rapportés à chaque type de contenu dans les données d’entraînement, et plus les contenus font référence à des compétences techniques spécifiques, plus les résultats obtenus sont précis.

 

Ainsi, si l’on reprend le cas des contenus de formation, le niveau de précision du mapping fluctue selon les domaines. Par exemple, le mapping des contenus de formation liés aux logiciels informatiques offre des résultats très précis : les compétences techniques auxquelles ils font référence sont généralement exprimées de façon très explicites, il y a peu d’autres manières de le faire, et ces contenus sont très nombreux.

 

À l’inverse, le mapping des contenus de formation relatifs aux domaines de la santé et du bien-être donnent lieu à des résultats moins précis : ils se rapportent généralement à des compétences plus génériques et des soft-skills qui peuvent être exprimées de façons très variées, et les contenus de formation relatifs à ces domaines sont moins nombreux.

 

À lire aussi : Votre offre de formation est-elle pertinente ?

 

 

La quantité de texte fournie

 

Le niveau de précision du mapping basé sur les compétences est en partie conditionné par la quantité de texte fournie : un nombre minimum de mots est nécessaire pour obtenir des résultats pertinents.

 

Dans le cadre de la formation à nouveau, ce niveau de précision augmente progressivement de 1 à environ 20 mots. Puis, passé 30 mots, il se stabilise et n’augmente plus, même lorsque les éléments fournis contiennent des centaines de mots. Les intitulés et descriptifs de formation doivent donc comporter a minima entre 20 et 30 mots pour permettre d’obtenir un mapping performant.

 

Néanmoins, quelle que soit la quantité de mots fournis, il est important de garder à l’esprit que moins les mots utilisés sont « communs », moins ils ont de chance d’être dans les données d’entraînement, et donc plus la probabilité qu’une compétence ne soit pas reconnue est élevée.

 

→ La langue

 

Le niveau de précision du mapping basé sur les compétences est impacté par la langue : plus la langue est représentée dans les données d’entraînement, plus le modèle permet d’obtenir des résultats précis dans cette langue.

 

À titre d’exemple, le modèle linguistique BERT (développé par Google), a été entraîné sur de grands corpus de textes tels que Wikipédia. Ces sources d’entrée sont majoritairement rédigées en anglais, par conséquent, c’est dans cette langue que le modèle offre les résultats les plus précis.

 

Pour en savoir plus sur les performances du mapping et du matching, découvrez notre livre blanc : « Skill-driven matching : 10 questions que vous vous posez peut-être sur le matching apprenants / contenus de formation »

Vous souhaitez en savoir plus sur l’extraction des compétences ?

Découvrez l'approche de Boostrs

Crédits illustration : https://www.istockphoto.com/fr/portfolio/Irina_Strelnikova