Traitement du discours en langage naturel

Le problème le plus difficile de l'IA est de traiter le langage naturel par des ordinateurs ou en d'autres termes le traitement du langage naturel est le problème le plus difficile de l'intelligence artificielle. Si nous parlons des problèmes majeurs de la PNL, alors l'un des problèmes majeurs de la PNL est le traitement du discours - construire des théories et des modèles sur la façon dont les énoncés collent ensemble pour formercoherent discourse. En fait, la langue se compose toujours de groupes de phrases colocalisés, structurés et cohérents plutôt que de phrases isolées et sans rapport comme les films. Ces groupes cohérents de phrases sont appelés discours.

Concept de cohérence

La cohérence et la structure du discours sont interconnectées de plusieurs manières. La cohérence, avec la propriété d'un bon texte, est utilisée pour évaluer la qualité de sortie du système de génération de langage naturel. La question qui se pose ici est: qu'est-ce que cela signifie pour un texte d'être cohérent? Supposons que nous ayons recueilli une phrase de chaque page du journal, alors sera-ce un discours? Bien sûr que non. C'est parce que ces phrases ne présentent pas de cohérence. Le discours cohérent doit posséder les propriétés suivantes -

Relation de cohérence entre les énoncés

Le discours serait cohérent s'il avait des liens significatifs entre ses énoncés. Cette propriété est appelée relation de cohérence. Par exemple, une sorte d'explication doit être là pour justifier le lien entre les énoncés.

Relation entre entités

Une autre propriété qui rend un discours cohérent est qu'il doit y avoir un certain type de relation avec les entités. Ce type de cohérence est appelé cohérence basée sur les entités.

Structure du discours

Une question importante concernant le discours est de savoir quel type de structure le discours doit avoir. La réponse à cette question dépend de la segmentation que nous avons appliquée au discours. Les segmentations de discours peuvent être définies comme déterminant les types de structures pour un grand discours. Il est assez difficile de mettre en œuvre la segmentation du discours, mais c'est très important pourinformation retrieval, text summarization and information extraction type d'applications.

Algorithmes pour la segmentation du discours

Dans cette section, nous découvrirons les algorithmes de segmentation du discours. Les algorithmes sont décrits ci-dessous -

Segmentation de discours non supervisée

La classe de segmentation de discours non supervisée est souvent représentée comme une segmentation linéaire. Nous pouvons comprendre la tâche de la segmentation linéaire à l'aide d'un exemple. Dans l'exemple, il y a une tâche de segmentation du texte en unités à plusieurs paragraphes; les unités représentent le passage du texte original. Ces algorithmes dépendent de la cohésion qui peut être définie comme l'utilisation de certains dispositifs linguistiques pour lier les unités textuelles entre elles. D'autre part, la cohésion du lexique est la cohésion qui est indiquée par la relation entre deux ou plusieurs mots dans deux unités comme l'utilisation de synonymes.

Segmentation du discours supervisé

La méthode précédente n'a pas de limites de segment étiquetées à la main. D'autre part, la segmentation supervisée du discours doit avoir des données de formation étiquetées par des limites. Il est très facile d'acquérir le même. Dans la segmentation supervisée du discours, les marqueurs de discours ou les mots indicateurs jouent un rôle important. Le marqueur de discours ou mot de repère est un mot ou une phrase qui sert à signaler la structure du discours. Ces marqueurs de discours sont spécifiques à un domaine.

Cohérence du texte

La répétition lexicale est une manière de trouver la structure dans un discours, mais elle ne satisfait pas l'exigence d'être un discours cohérent. Pour aboutir au discours cohérent, il faut se concentrer sur les relations de cohérence en particulier. Comme nous le savons, la relation de cohérence définit la connexion possible entre les énoncés dans un discours. Hebb a proposé ce type de relations comme suit -

Nous prenons deux mandats S0 et S1 pour représenter la signification des deux phrases liées -

Résultat

Il en déduit que l'État revendiqué par terme S0 pourrait provoquer l'état revendiqué par S1. Par exemple, deux déclarations montrent le résultat de la relation: Ram a été pris dans le feu. Sa peau brûlait.

Explication

Il en déduit que l'État revendiqué par S1 pourrait provoquer l'état revendiqué par S0. Par exemple, deux déclarations montrent la relation - Ram s'est battu avec l'ami de Shyam. Il était ivre.

Parallèle

Il déduit p (a1, a2,…) de l'assertion de S0 et p (b1, b2,…) de l'assertion S1. Ici ai et bi sont similaires pour tout i. Par exemple, deux déclarations sont parallèles - Ram voulait une voiture. Shyam voulait de l'argent.

Élaboration

Il déduit la même proposition P des deux assertions - S0 et S1Par exemple, deux déclarations montrent l'élaboration de la relation: Ram était de Chandigarh. Shyam était du Kerala.

Occasion

Cela se produit lorsqu'un changement d'état peut être déduit de l'affirmation de S0, dont l'état final peut être déduit de S1et vice versa. Par exemple, les deux déclarations montrent l'occasion de la relation: Ram a pris le livre. Il l'a donné à Shyam.

Construire une structure de discours hiérarchique

La cohérence de tout le discours peut également être considérée par la structure hiérarchique entre les relations de cohérence. Par exemple, le passage suivant peut être représenté sous forme de structure hiérarchique -

  • S1 - Ram est allé à la banque pour déposer de l'argent.

  • S2 - Il a ensuite pris un train pour la boutique de vêtements de Shyam.

  • S3 - Il voulait acheter des vêtements.

  • S4 - Il n'a pas de vêtements neufs pour la fête.

  • S5 - Il voulait également parler à Shyam de sa santé

Résolution de référence

L'interprétation des phrases de n'importe quel discours est une autre tâche importante et pour y parvenir, nous devons savoir de qui ou de quelle entité on parle. Ici, la référence d'interprétation est l'élément clé.Referencepeut être définie comme l'expression linguistique pour désigner une entité ou un individu. Par exemple, dans le passage, Ram , le directeur de la banque ABC , a vu son ami Shyam dans un magasin. Il est allé à sa rencontre, les expressions linguistiques comme Ram, His, He font référence.

Sur la même note, reference resolution peut être définie comme la tâche de déterminer quelles entités sont désignées par quelle expression linguistique.

Terminologie utilisée dans la résolution de référence

Nous utilisons les terminologies suivantes dans la résolution de référence -

  • Referring expression- L'expression en langage naturel qui est utilisée pour effectuer une référence est appelée une expression de référence. Par exemple, le passage utilisé ci-dessus est une expression de référence.

  • Referent- C'est l'entité qui est référée. Par exemple, dans le dernier exemple donné, Ram est un référent.

  • Corefer- Lorsque deux expressions sont utilisées pour désigner la même entité, elles sont appelées corefers. Par exemple,Ram et he sont des corefers.

  • Antecedent- Le terme a la licence d'utiliser un autre terme. Par exemple,Ram est l'antécédent de la référence he.

  • Anaphora & Anaphoric- Il peut être défini comme la référence à une entité qui a été précédemment introduite dans la phrase. Et, l'expression référente est appelée anaphorique.

  • Discourse model - Le modèle qui contient les représentations des entités auxquelles il a été fait référence dans le discours et la relation dans laquelle elles sont engagées.

Types d'expressions référentes

Voyons maintenant les différents types d'expressions référentes. Les cinq types d'expressions de référence sont décrits ci-dessous -

Phrases nominales indéfinies

Ce type de référence représente les entités qui sont nouvelles pour l'auditeur dans le contexte du discours. Par exemple - dans la phrase Ram était allé un jour pour lui apporter de la nourriture - certains sont une référence indéfinie.

Phrases nominales définies

À l'opposé de ce qui précède, un tel type de référence représente les entités qui ne sont pas nouvelles ou identifiables pour l'auditeur dans le contexte du discours. Par exemple, dans la phrase - j'avais l'habitude de lire le Times of India - le Times of India est une référence définitive.

Pronoms

C'est une forme de référence définitive. Par exemple, Ram a ri aussi fort qu'il le pouvait. Le mothe représente l'expression de référence de pronom.

Démonstratifs

Ceux-ci démontrent et se comportent différemment des pronoms définis simples. Par exemple, ceci et cela sont des pronoms démonstratifs.

Noms

C'est le type d'expression référent le plus simple. Cela peut également être le nom d'une personne, d'une organisation et d'un emplacement. Par exemple, dans les exemples ci-dessus, Ram est l'expression d'arbitrage de nom.

Tâches de résolution de référence

Les deux tâches de résolution de référence sont décrites ci-dessous.

Résolution de coréférence

C'est la tâche de trouver des expressions de référence dans un texte qui font référence à la même entité. En termes simples, c'est la tâche de trouver des expressions corefer. Un ensemble d'expressions coreferring est appelé chaîne de coréférence. Par exemple - He, Chief Manager et His - ce sont des expressions de référence dans le premier passage donné à titre d'exemple.

Contrainte sur la résolution de coréférence

En anglais, le principal problème de la résolution de coréférence est le pronom it. La raison derrière cela est que le pronom il a de nombreuses utilisations. Par exemple, il peut se référer un peu comme lui et elle. Le pronom il fait également référence aux choses qui ne se réfèrent pas à des choses spécifiques. Par exemple, il pleut. C'est vraiment bon.

Résolution de l'anaphore pronominale

Contrairement à la résolution de coréférence, la résolution de l'anaphore pronominale peut être définie comme la tâche de trouver l'antécédent d'un seul pronom. Par exemple, le pronom est le sien et la tâche de la résolution de l'anaphore pronominale est de trouver le mot Ram parce que Ram est l'antécédent.