Traitement du langage naturel - Introduction
La langue est une méthode de communication à l'aide de laquelle nous pouvons parler, lire et écrire. Par exemple, nous pensons, nous prenons des décisions, des plans et plus en langage naturel; précisément, en mots. Cependant, la grande question à laquelle nous sommes confrontés à l'ère de l'IA est de savoir si nous pouvons communiquer de la même manière avec les ordinateurs. En d'autres termes, les êtres humains peuvent-ils communiquer avec les ordinateurs dans leur langage naturel? C'est un défi pour nous de développer des applications PNL car les ordinateurs ont besoin de données structurées, mais la parole humaine est non structurée et souvent de nature ambiguë.
En ce sens, nous pouvons dire que le traitement du langage naturel (PNL) est le sous-domaine de l'informatique, en particulier l'intelligence artificielle (IA) qui se préoccupe de permettre aux ordinateurs de comprendre et de traiter le langage humain. Techniquement, la tâche principale de la PNL serait de programmer des ordinateurs pour analyser et traiter une énorme quantité de données en langage naturel.
Histoire de la PNL
Nous avons divisé l'histoire de la PNL en quatre phases. Les phases ont des préoccupations et des styles distincts.
Première phase (phase de traduction automatique) - de la fin des années 40 à la fin des années 60
Le travail effectué dans cette phase s'est concentré principalement sur la traduction automatique (MT). Cette phase a été une période d'enthousiasme et d'optimisme.
Voyons maintenant tout ce que la première phase contenait -
La recherche sur la PNL a commencé au début des années 1950 après l'enquête de Booth & Richens et le mémorandum de Weaver sur la traduction automatique en 1949.
1954 a été l'année où une expérience limitée sur la traduction automatique du russe vers l'anglais a été démontrée dans l'expérience Georgetown-IBM.
La même année, la publication de la revue MT (Machine Translation) a commencé.
La première conférence internationale sur la traduction automatique (MT) a eu lieu en 1952 et la deuxième en 1956.
En 1961, les travaux présentés à la Conférence internationale de Teddington sur la traduction automatique des langues et l'analyse des langues appliquées ont été le point culminant de cette phase.
Deuxième phase (phase influencée par l'IA) - De la fin des années 1960 à la fin des années 1970
Dans cette phase, le travail effectué était principalement lié à la connaissance du monde et à son rôle dans la construction et la manipulation des représentations du sens. C'est pourquoi, cette phase est également appelée phase aromatisée à l'IA.
La phase avait en elle, ce qui suit -
Au début de 1961, les travaux ont commencé sur les problèmes de traitement et de construction de données ou de base de connaissances. Ce travail a été influencé par l'IA.
La même année, un système de questions-réponses BASEBALL a également été développé. L'entrée dans ce système était restreinte et le traitement linguistique impliqué était simple.
Un système très avancé a été décrit dans Minsky (1968). Ce système, comparé au système de réponse aux questions BASEBALL, a été reconnu et fourni pour le besoin d'inférence sur la base de connaissances pour interpréter et répondre à l'entrée de la langue.
Troisième phase (phase grammatico-logique) - de la fin des années 1970 à la fin des années 1980
Cette phase peut être décrite comme la phase grammatico-logique. En raison de l'échec de la construction de systèmes pratiques lors de la dernière phase, les chercheurs se sont tournés vers l'utilisation de la logique pour la représentation des connaissances et le raisonnement en IA.
La troisième phase comportait ce qui suit -
L'approche grammatico-logique, vers la fin de la décennie, nous a aidés avec de puissants processeurs de phrases à usage général comme le Core Language Engine et la Discourse Representation Theory de SRI, qui offraient un moyen d'aborder un discours plus étendu.
Dans cette phase, nous avons obtenu des ressources pratiques et des outils tels que des parseurs, par exemple Alvey Natural Language Tools ainsi que des systèmes plus opérationnels et commerciaux, par exemple pour les requêtes de base de données.
Les travaux sur le lexique dans les années 1980 ont également orienté vers une approche grammatico-logique.
Quatrième phase (phase lexicale et corpus) - Les années 1990
Nous pouvons décrire cela comme une phase lexicale & corpus. La phase avait une approche lexicalisée de la grammaire qui est apparue à la fin des années 1980 et est devenue une influence croissante. Il y a eu une révolution dans le traitement du langage naturel au cours de cette décennie avec l'introduction d'algorithmes d'apprentissage automatique pour le traitement du langage.
Etude des langues humaines
La langue est un élément crucial pour la vie humaine et aussi l'aspect le plus fondamental de notre comportement. Nous pouvons en faire l'expérience principalement sous deux formes - écrite et orale. Sous forme écrite, c'est un moyen de transmettre nos connaissances d'une génération à l'autre. Dans la forme orale, c'est le principal moyen pour les êtres humains de se coordonner les uns avec les autres dans leur comportement au jour le jour. La langue est étudiée dans diverses disciplines académiques. Chaque discipline vient avec son propre ensemble de problèmes et un ensemble de solutions pour y remédier.
Considérez le tableau suivant pour comprendre cela -
| La discipline | Problèmes | Outils |
|---|---|---|
Linguistes |
Comment des phrases et des phrases peuvent-elles être formées avec des mots? Qu'est-ce qui limite le sens possible d'une phrase? |
Intuitions sur la forme et la signification. Modèle mathématique de structure. Par exemple, la sémantique théorique des modèles, la théorie du langage formel. |
Psycholinguistes |
Comment les êtres humains peuvent identifier la structure des phrases? Comment identifier le sens des mots? Quand la compréhension a-t-elle lieu? |
Techniques expérimentales principalement pour mesurer la performance des êtres humains. Analyse statistique des observations. |
Les philosophes |
Comment les mots et les phrases acquièrent-ils le sens? Comment les objets sont-ils identifiés par les mots? Ce qui signifie? |
Argumentation en langage naturel en utilisant l'intuition. Modèles mathématiques comme la logique et la théorie des modèles. |
Linguistes informatiques |
Comment identifier la structure d'une phrase Comment modéliser la connaissance et le raisonnement? Comment pouvons-nous utiliser la langue pour accomplir des tâches spécifiques? |
Algorithmes Structures de données Modèles formels de représentation et de raisonnement. Techniques d'IA comme les méthodes de recherche et de représentation. |
Ambiguïté et incertitude dans la langue
L'ambiguïté, généralement utilisée dans le traitement du langage naturel, peut être désignée comme la capacité d'être compris de plusieurs manières. En termes simples, on peut dire que l'ambiguïté est la capacité d'être compris de plus d'une manière. Le langage naturel est très ambigu. La PNL présente les types d'ambiguïtés suivants -
Ambiguïté lexicale
L'ambiguïté d'un seul mot est appelée ambiguïté lexicale. Par exemple, traiter le motsilver comme nom, adjectif ou verbe.
Ambiguïté syntaxique
Ce genre d'ambiguïté se produit lorsqu'une phrase est analysée de différentes manières. Par exemple, la phrase «L'homme a vu la fille avec le télescope». Il est ambigu de savoir si l'homme a vu la fille portant un télescope ou s'il l'a vue à travers son télescope.
Ambiguïté sémantique
Ce genre d'ambiguïté se produit lorsque le sens des mots eux-mêmes peut être mal interprété. En d'autres termes, l'ambiguïté sémantique se produit lorsqu'une phrase contient un mot ou une phrase ambiguë. Par exemple, la phrase «La voiture a heurté le poteau pendant qu'elle se déplaçait» a une ambiguïté sémantique car les interprétations peuvent être «La voiture, en se déplaçant, a heurté le poteau» et «La voiture a heurté le poteau pendant que le poteau se déplaçait».
Ambiguïté anaphorique
Ce type d'ambiguïté est dû à l'utilisation d'entités anaphore dans le discours. Par exemple, le cheval a gravi la colline. C'était très raide. Il s'est vite fatigué. Ici, la référence anaphorique du «il» dans deux situations crée une ambiguïté.
Ambiguïté pragmatique
Ce genre d'ambiguïté fait référence à la situation où le contexte d'une phrase lui donne de multiples interprétations. En termes simples, nous pouvons dire qu'une ambiguïté pragmatique survient lorsque l'énoncé n'est pas spécifique. Par exemple, la phrase «Je t'aime aussi» peut avoir plusieurs interprétations comme je t'aime (tout comme tu m'aimes), je t'aime (tout comme quelqu'un d'autre dose).
Phases PNL
Le diagramme suivant montre les phases ou étapes logiques du traitement du langage naturel -
Traitement morphologique
C'est la première phase de la PNL. Le but de cette phase est de diviser les morceaux de langue d'entrée en ensembles de jetons correspondant aux paragraphes, phrases et mots. Par exemple, un mot comme“uneasy” peut être divisé en deux jetons de sous-mot comme “un-easy”.
Analyse de la syntaxe
C'est la deuxième phase de la PNL. Le but de cette phase est double: vérifier qu'une phrase est bien formée ou non et la décomposer en une structure qui montre les relations syntaxiques entre les différents mots. Par exemple, la phrase comme“The school goes to the boy” serait rejeté par un analyseur de syntaxe ou un analyseur syntaxique.
Analyse sémantique
C'est la troisième phase de la PNL. Le but de cette phase est de tirer une signification exacte, ou vous pouvez dire la signification du dictionnaire à partir du texte. La signification du texte est vérifiée. Par exemple, un analyseur sémantique rejetterait une phrase telle que «Hot ice-cream».
Analyse pragmatique
C'est la quatrième phase de la PNL. L'analyse pragmatique ajuste simplement les objets / événements réels, qui existent dans un contexte donné avec des références d'objet obtenues lors de la dernière phase (analyse sémantique). Par exemple, la phrase «Mettre la banane dans le panier sur l'étagère» peut avoir deux interprétations sémantiques et l'analyseur pragmatique choisira entre ces deux possibilités.