AI avec Python - Traitement du langage naturel

Le traitement du langage naturel (PNL) fait référence à une méthode de communication par IA avec des systèmes intelligents utilisant un langage naturel comme l'anglais.

Le traitement du langage naturel est nécessaire lorsque vous souhaitez qu'un système intelligent tel qu'un robot fonctionne selon vos instructions, lorsque vous souhaitez entendre la décision d'un système expert clinique basé sur le dialogue, etc.

Le domaine de la PNL consiste à faire en sorte que les ordinateurs exécutent des tâches utiles avec les langages naturels que les humains utilisent. L'entrée et la sortie d'un système NLP peuvent être -

  • Speech
  • Texte écrit

Composantes de la PNL

Dans cette section, nous découvrirons les différents composants de la PNL. Il y a deux composants de la PNL. Les composants sont décrits ci-dessous -

Compréhension du langage naturel (NLU)

Cela implique les tâches suivantes -

  • Cartographie de l'entrée donnée en langage naturel en représentations utiles.

  • Analyser différents aspects de la langue.

Génération du langage naturel (NLG)

C'est le processus de production d'expressions et de phrases significatives sous forme de langage naturel à partir d'une représentation interne. Cela implique -

  • Text planning - Cela inclut la récupération du contenu pertinent de la base de connaissances.

  • Sentence planning - Cela comprend le choix des mots requis, la formation de phrases significatives, la définition du ton de la phrase.

  • Text Realization - Il s'agit de mapper le plan de phrase en structure de phrase.

Difficultés en NLU

Le NLU est très riche en forme et en structure; cependant, il est ambigu. Il peut y avoir différents niveaux d'ambiguïté -

Ambiguïté lexicale

C'est à un niveau très primitif tel que le niveau des mots. Par exemple, traiter le mot «planche» comme un nom ou un verbe?

Ambiguïté au niveau de la syntaxe

Une phrase peut être analysée de différentes manières. Par exemple, "Il a soulevé le scarabée avec un bonnet rouge." - A-t-il utilisé une casquette pour soulever le scarabée ou il a soulevé un scarabée qui avait une casquette rouge?

Ambiguïté référentielle

Se référant à quelque chose utilisant des pronoms. Par exemple, Rima est allée à Gauri. Elle a dit: «Je suis fatiguée.» - Qui est exactement fatigué?

Terminologie PNL

Voyons maintenant quelques termes importants de la terminologie PNL.

  • Phonology - C'est l'étude de l'organisation systématique du son.

  • Morphology - C'est une étude de la construction de mots à partir d'unités primitives significatives.

  • Morpheme - C'est une unité primitive de sens dans une langue.

  • Syntax- Il se réfère à l'arrangement des mots pour faire une phrase. Il s'agit également de déterminer le rôle structurel des mots dans la phrase et dans les phrases.

  • Semantics - Il s'intéresse à la signification des mots et à la manière de combiner les mots en phrases et phrases significatives.

  • Pragmatics - Il traite de l'utilisation et de la compréhension des phrases dans différentes situations et de la manière dont l'interprétation de la phrase est affectée.

  • Discourse - Il traite de la façon dont la phrase immédiatement précédente peut affecter l'interprétation de la phrase suivante.

  • World Knowledge - Il comprend les connaissances générales sur le monde.

Étapes de la PNL

Cette section présente les différentes étapes de la PNL.

Analyse lexicale

Il s'agit d'identifier et d'analyser la structure des mots. Lexique d'une langue désigne l'ensemble des mots et des phrases d'une langue. L'analyse lexicale divise l'ensemble du txt en paragraphes, phrases et mots.

Analyse syntaxique (analyse syntaxique)

Cela implique l'analyse des mots dans la phrase pour la grammaire et l'organisation des mots d'une manière qui montre la relation entre les mots. La phrase telle que «L'école va au garçon» est rejetée par l'analyseur syntaxique anglais.

Analyse sémantique

Il tire la signification exacte ou la signification du dictionnaire du texte. La signification du texte est vérifiée. Cela se fait en mappant des structures syntaxiques et des objets dans le domaine de la tâche. L'analyseur sémantique ne tient pas compte des phrases telles que «crème glacée chaude».

Intégration du discours

Le sens de toute phrase dépend du sens de la phrase juste avant elle. En outre, il apporte également le sens de la phrase immédiatement suivante.

Analyse pragmatique

Pendant ce temps, ce qui a été dit est réinterprété sur ce que cela signifiait réellement. Il s'agit de dériver les aspects de la langue qui nécessitent une connaissance du monde réel.