Les tâches du Traitement Automatique des Langues

Le TAL est un regroupement d‘opérations qui consistent à traiter des données principalement textuelles au travers de diverses activités. A l’aide de ces traitements informatiques, il est possible de transformer l’information non-structurée en données explicites ou de générer du texte à partir d’informations. Dans cet article, je dresse une liste de ces différentes tâches.

Photo by Dmitry Ratushny on Unsplash

Introduction

On ne nait pas avec la capacité de tenir une conversation, on l’acquière auprès de sa famille, ses proches, ses professeurs... On apprend à l’école, et tout au long de notre vie, le vocabulaire et la grammaire qui gouvernent l’écriture et le parlé. Le langage naturel s’oppose au langage informatique du fait de son absence de structure logique explicite, de sa richesse et des règles (souvent complexes et ambiguës) qui le gouvernent. Comme les ordinateurs ne comprennent pas encore nativement notre langage, un ensemble d’activités ont été créées pour permettre de faire le lien entre les deux mondes : celui de l’humain et celui de la machine.

L’information est généralement disponible dans 3 représentations :

• La représentation structurée avec une labellisation explicite de l’information comme relative à un formulaire, présente dans une table d’une base de données ou dans un graphe.
• La représentation semi-structurée avec un contextualisation explicite de haut niveau de l’information tel que les données d’une facture, d’une commande qui vont toujours contenir les mêmes informations.
• La représentation non-structurée qui va nécessiter les travaux d’extraction indiqués ici pour transformer l’information en données explicites. Ces données ont une qualité rédactionnelle variée et mélangent des informations dans différents types comme des noms de personne, des lieux, des dates, etc. L’objectif principal va être de détecter la structure des éléments textuels avec l’identification des propriétés de ces éléments et les relations qui les lient entre eux.

L’analyse de la langue s’effectue à deux niveaux : l’analyse lexicale qui se base sur le traitement des unités individuelles comme les graphèmes (lettre ou groupe de lettres transcrivant un phonème comme par exemple “au”, “eau” ou “o”), les phonèmes (segments sonores comme par exemple le son [o]), et les morphèmes (segments d’un mot comme par exemple le préfixe ou le suffixe) ; et l’analyse sémantique qui s’attache au sens des mots et des phrases au complet.

Longtemps basés sur des règles explicites, le TAL profite aujourd’hui pleinement des fonctionnalités d’apprentissage automatique des règles apportées par l’apprentissage machine. Cet apprentissage est apporté par les travaux de labellisation effectués par les experts en langage ou du domaine métier concerné. Détaillons maintenant les principaux traitements du TAL.

Précision : cette organisation des tâches du TAL est personnelle.

Les tâches du NLP : les grandes catégories (schéma de l’auteur)

Les tâches du NLP : caractéristiques linguistiques de base (schéma de l’auteur)

Les tâches du NLP : caractéristiques linguistiques avancées (schéma de l’auteur)

Les tâches du NLP : gestion de la voix et reconnaissance optique (schéma de l’auteur)

Les tâches du NLP : classification de texte (schéma de l’auteur)

Les tâches du NLP : génération du langage (schéma de l’auteur)

Les tâches du NLP : autres tâches (schéma de l’auteur)

Caractéristiques linguistiques de base

Cette première catégorie regroupe des tâches “basiques” de traitement que sont :

• L’identification de la langue. Cette tâche consiste à détecter la langue utilisée dans un texte. Elle permet de définir les modèles à appliquer pour réaliser les autres activités.
• La séparation des phrases (appelé également désambiguïsation des limites de la phrase), des mots ou des groupes de mots. De nombreuses tâches du TALN ont besoin de travailler au niveau de la phrase ou du mot d’où l’importance de ce traitement. Cette activité est donc primordiale dans une chaîne de traitement du texte.
• La stemmatisation et la lemmatisation. La stemmatisation consiste à extraire la racine du mot. La lemmatisation permet de réduire un mot à sa forme canonique (le lemme). On parle également de forme “dictionnaire”.
• Les plongements lexicaux des mots et des phrases, et par extension des paragraphes et des documents qui transforment l’élément en un vecteur de nombres. La vectorisation est actuellement une opération fondamentale permettent de réaliser des recherches de similarités, des regroupements (clusterisation), des classifications, etc.

Caractéristiques linguistiques avancées

Cette deuxième catégorie regroupe des tâches notamment sémantiques de traitement que sont :

• L’extraction des entités nommées. Certains mots ou groupement de mots peuvent être regroupés par catégories qu’on appelle entités. Il n’existe pas de normes à proprement parler mais on trouve généralement : organisation, lieu (adresse, ville, etc.), et personne [ENAMEX] ; monnaie et pourcentage [NUMEX] ; temps et date [TIMEX] ; véhicule… Généralement, des catégories spécifiques au domaine traité sont ajoutées aux catégories prédéfinies. La détermination de la liaison des entités consiste à associer un identifiant unique à une entité. L’extraction de relations est la tâche consistant à prédire les attributs et les relations des entités dans une phrase. Il est également possible de trouver d’autres catégories d’extraction : extraction des caractéristiques, des mots-clés, des concepts…
• L’analyse morphosyntaxique appelée également étiquetage grammatical. Cette activité consiste à associer les informations grammaticales (nom, verbe, article, adjectif, adverbe, etc.) aux mots de la phrase.
• L’analyse syntaxique superficielle ou extraction de termes, appelée également “découpage”, identifie des intervalles continus de tokens qui forment des unités syntaxiques correspondant aux notions du domaine traité. Cette activité identifie d’abord les parties constitutives des phrases (noms, verbes, adjectifs, adverbes, etc.) et les relie ensuite à des unités d’ordre supérieur ayant des significations grammaticales distinctes (groupes nominaux, groupes verbaux…)
• L’analyse syntaxique consiste à générer l’arbre syntaxique (appelé également arbre de dérivation) contenant la structure, les dépendances et la catégorisation des unités lexicales d’une phrase. L’arbre à racine représente la structure d’une phrase selon une grammaire non contextuelle.
• L’extraction des relations sémantiques est la tâche consistant à prédire les attributs et les relations des entités et des groupes de mots dans une phrase. L’intérêt pour les grammaires des dépendances a augmenté ces dernières années, entraînant dans son sillage une amélioration de la qualité des extractions et donc le regain d’intérêt pour cette technique. De nombreux types de dépendances existent à ce jour, ce qui ne rend pas simple la compréhension des activités liées et quel typologie d’arbre utiliser : syntaxique, sémantique, morphologique, prosodique…
• La désambiguïsation lexicale d’un mot qui consiste à déterminer le sens d’un mot dans le contexte d’une phrase.
• La résolution des coréférences consiste à déterminer la chose ou la personne qui se rapporte à une ou plusieurs expressions. Cette détermination peut se faire dans le contexte d’une phrase, d’un paragraphe ou d’un document.
• La détection de la négation vise à identifier les indices de négation dans un texte.

Traitement de la voix

La gestion de la voix occupe une place particulière dans le paysage du traitement du langage du fait de la différence encore plus forte entre le langage écrit et l’utilisation des fréquences sonores pour convoyer la voix.

Le traitement de la voix couvre de nombreuses activités :

• L’identification de la langue parlée. Cette activité consiste à identifier la langue utilisée par le locuteur. Elle est préalable à la sélection du modèle de langue.
• La reconnaissance de la voix en texte consiste à transformer la voix en texte ou en intentions. Ce traitement inclut plusieurs traitements de la langue.
• La reconnaissance des émotions dans la voix consiste à reconnaître les émotions dans la parole, indépendamment du contenu sémantique.
• L’identification du locuteur est l’identification d’une personne à partir des caractéristiques de la voix. Il s’agit de répondre à la question : “Qui parle ?”
• La vérification du locuteur consiste à contrôler que le locuteur est bien la personne qui est attendue. Il s’agit de répondre à la question : Est-ce X qui parle ?”
• Le clonage du locuteur vise à répliquer une voix pour permettre de générer n’importe quelle phrase.
• La séparation des voix dans une conversation consiste à séparer plusieurs voix parlant simultanément dans un seul microphone.
• La synthèse de la voix à partir du texte consiste à générer de la voix à partir d’un texte. Le lien vers mon article sur l’état de l’art de la synthèse vocale est donné ci-dessous.

[embed]L’état de l’art de la synthèse vocale à fin mai 2021 Présentation de l’état de l’art de la recherche sur la synthèse vocale à fin mai 2021 avec un focus sur les…pemey.medium.com

Reconnaissance optique

La reconnaissance optique consiste à détecter de l’écriture dans une image et de transformer les informations en texte. Cette écriture peut provenir de caractères d’imprimerie ou issue de l’écriture à la main.

• La reconnaissance optique des caractères (appelée également OCR pour Optical Character Recognition en anglais) consistant à transformer une image contenant de l’information imprimée, ou dactylographiée, en texte.
• La reconnaissance de l’écriture manuscrite consistant à détecter et transformer les motifs du texte écrit en texte informatique.

Classification du texte

L’objectif de ces activités est de réussir à détecter le sujet, le domaine d’une phrase ou d’un document.

• La classification de la phrase ou du document cherche à identifier la ou les classes associées à l’intention de celle-ci ou de celui-ci.
• La modélisation du sujet consiste à trouver le sujet, le thème d’un texte, d’un article ou d’un ou des documents.
• La détection du sarcasme ou de l’ironie.
• L’analyse des sentiments / émotions. Il s’agit de déterminer si un texte inclut des sentiments ou des émotions. Un lien vers mon article sur l’analyse des sentiments / émotions est donné ci-dessous.

[embed]Votre chatbot est-il sensible ? Les solutions d’assistance conversationnelle incluent de plus en plus une fonctionnalité d’analyse des sentiments…pemey.medium.com

• L’extraction de l’opinion se rapproche de la détection des sentiments mais consiste notamment à détecter le sujet de l’opinion.
• Le regroupement sémantique (appelé en anglais clusterization) consiste à réaliser sans supervision la génération d’ensembles de mots, phrases… ayant la même signification sémantique.

Génération du langage

Cette catégorie regroupe de très nombreux services permettant de produire du texte à partir des informations mises à disposition. Ces activités ont été mis en avant récemment avec la production de modèles statistiques de plusieurs milliards de paramètres et entraînés sur des tailles de corpus proche du téraoctet.

• La modélisation du langage consiste à créer un modèle statistique qui modélise la distribution des séquences de mots de la langue. Un tel modèle permet notamment de prédire le prochain mot ou caractère d’un document. Cette modélisation du langage est utilisée dans d’autres tâches de génération du langage.
• La génération de texte. Cette discipline multiple consiste à générer un texte correctement formé, à partir d’un contenu. Dans cette activité, on trouve la génération de la description de données à partir de tokens (e.g. des entités) ou de tables ; la génération des dialogues orientés tâches ou objectifs, voire la génération de l’ensemble du dialogue de bout-en-bout ; la génération d’histoires, d’articles. Le paraphrase est une opération qui permet de créer de nouvelles phrases à partir d’une phrase souche. Cette technique permet notamment d’augmenter un corpus existant. La génération de code informatique est également un axe de travail important.
• La correction de textes consiste à réaliser des opérations d’ajouts de ponctuations (par exemple à la sortie d’une transformation de la voix en texte) comme les virgules ou les points, ou de corriger les fautes d’orthographes ou de conjugaison.
• L’augmentation, substitution et la réduction. L’augmentation de texte consiste à transformer une phrase en ajoutant des éléments ou en substituant des éléments avec d’autres éléments similaires. La réduction consiste à supprimer des informations non essentielles vis-à-vis d’un objectif. La normalisation est une opération qui consiste à transformer les nombres, dates, acronymes et les abréviations en texte clair.
• Le résumé automatique de texte condensant un texte en un ensemble réduit de phrases, soit par extraction des phrases les plus représentatives, soit en générant un nouveau texte par abstraction.
• La traduction automatique utilise un ensemble de techniques pour traduire un texte ou un discours d’une langue à une autre.
• La réponse aux questions comprend de nombreuses sous-activités. On trouve les systèmes de questions-réponses sur domaine-ouvert (généralement Wikipédia) ou livre-fermé ; les réponses extraites automatiquement de graphes de connaissances ; la génération de questions à partir de la réponse (i.e. jeu Jeopardy) ; l’évaluation de la qualité des questions ; l’inférence en langage naturel consistant à déterminer si une “hypothèse” est vraie (implication), fausse (contradiction) ou indéterminée (neutre) à partir d’une “prémisse”.

Autres tâches…

De nombreuses autres activités existent mais sont moins répandues, plus complexes à appliquer, voire plus confidentielles car moins présentes dans les plateformes TAL.

Par exemple :

• La résolution de l’anaphore est une tâche permettant de relier une anaphore avec le mot auquel elle est associée.
• Le sens commun consiste à utiliser des modèles de « bon sens » ou la connaissance du monde pour faire des inférences.
• La réduction de dimension sert à réduire la taille du vecteur du mot ou de la phrase dans une version condensée de l’information.
• L’adaptation du domaine utilise des techniques d’adaptation de domaine neuronal non supervisé ne nécessitant pas de données de domaine cible étiquetées.
• Evaluation de la qualité des questions vise à élaborer des algorithmes de réponse aux questions subjectives afin de vérifier si une question est de haute qualité, ou si elle doit être modifiée ou signalée.
• La modélisation de langage masqué est un exemple de modélisation de langage d’auto-encodage où un ou plusieurs mots dans une phrase sont masqués et le modèle prédit ces mots en fonction des autres mots de la phrase.
• L’analyse des éléments manquants vise à déterminer les éléments manquants d’un texte. Ces éléments sont un ensemble de phénomènes qui concernent des choses qui sont voulues, mais qui ne sont pas explicitement mentionnées dans le texte. Il existe différents types d’éléments manquants comme par exemple l’ellipse, l’anaphore de liaison, etc.
• L’étiquetage sémantique des rôles (également appelé analyse sémantique superficielle) est le processus qui attribue des étiquettes aux mots ou aux phrases dans une phrase qui indique leur rôle sémantique dans la phrase, comme celui d’un agent , objectif, ou résultat.
• Chaînage lexical des phrases, prédiction de la prochaine phrase, etc.

Perspectives

Le TAL est constitué de nombreuses tâches de traitement automatique des langues qui permettent d’explorer et d’extraire des informations de contenus non-structurés. Ce domaine a été boosté ces dernières années par l’apport de technologies de l’apprentissage machine qui ont permis d’atteindre des niveaux de qualité parfois supérieur à l’humain. C’est l’assemblage de plusieurs tâches qui vont permettre d’arriver à des résultats extraordinaires.

Une activité n’est pas citée ci-dessus car il ne s’agit pas, à proprement parler, d’une tâche du TAL. Cette activité couvre l’ensemble des activités puisqu’elle consiste à réaliser une activité de vérification/comparaison des résultats. Il s’agit de vérifier la performance des algorithmes au travers d’un corpus spécialisés dans la tâche à réaliser. Cette vérification est fondamentale puisqu’elle va permettre d’obtenir un score en utilisant un référentiel commun pour l’évaluation des traitements. Cette activité est néanmoins contestée par le fait que les algorithmes sont ainsi optimisés pour obtenir le meilleur score possible sur le corpus sélectionné comme référentiel et ont des difficultés à généraliser.