Durée: 12 mois
Rubrique: Ingénieur IA
Un modèle de langage vectoriel est une technique utilisée en traitement automatique des langues (NLP pour Natural Language Processing) qui repose sur la représentation des mots sous forme de vecteurs dans un espace multidimensionnel. Ces vecteurs sont également appelés embeddings. L'idée centrale est de capturer les nuances et la sémantique des mots de manière à ce que des mots similaires aient une représentation vectorielle proche dans cet espace.
Les mots sont d'abord convertis en vecteurs numériques à travers des techniques comme le onehot encoding ou des méthodes plus sophistiquées comme Word2Vec et GloVe. Le onehot encoding est une représentation très basique où chaque mot est transformé en un vecteur dont une seule dimension est activée (vaut "1") et toutes les autres valent "0". Cependant, cette méthode ne capture pas la sémantique des mots.
L'avantage principal des représentations vectorielles avancées est qu'elles permettent de capturer des relations sémantiques et contextuelles entre les mots. Par exemple, les mots "roi" et "reine" vont se trouver proches dans l'espace vectoriel et la différence entre leur vecteur pourrait capturer des nuances comme le genre.
Les modèles de langage vectoriel sont largement utilisés dans diverses applications du NLP, telles que :
Les modèles de langage vectoriel sont ainsi à la base de nombreuses avancées récentes en intelligence artificielle et en traitement du langage naturel.