Partie du balisage de la parole (PoS)

Le balisage est une sorte de classification qui peut être définie comme l'attribution automatique d'une description aux jetons. Ici, le descripteur est appelé tag, ce qui peut représenter l'une des informations sémantiques, partie du discours, etc.

Maintenant, si nous parlons de balisage de partie de parole (PoS), alors il peut être défini comme le processus d'attribution d'une des parties du discours au mot donné. Il est généralement appelé étiquetage POS. En termes simples, nous pouvons dire que le marquage POS est une tâche d'étiqueter chaque mot d'une phrase avec sa partie de discours appropriée. Nous savons déjà que les parties du discours comprennent les noms, les verbes, les adverbes, les adjectifs, les pronoms, la conjonction et leurs sous-catégories.

La plupart des étiquetages de point de vente relèvent du marquage de point de vente de base de règles, du marquage stochastique de point de vente et du marquage basé sur la transformation.

Balisage POS basé sur des règles

L'une des plus anciennes techniques d'étiquetage est l'étiquetage POS basé sur des règles. Les baliseurs basés sur des règles utilisent un dictionnaire ou un lexique pour obtenir des balises possibles pour baliser chaque mot. Si le mot a plusieurs balises possibles, les balises basées sur des règles utilisent des règles écrites à la main pour identifier la balise correcte. La suppression de l'ambiguïté peut également être effectuée dans le marquage basé sur des règles en analysant les caractéristiques linguistiques d'un mot ainsi que ses mots précédents et suivants. Par exemple, supposons que si le mot précédent d'un mot est article, le mot doit être un nom.

Comme son nom l'indique, toutes les informations de ce type dans le marquage de point de vente basé sur des règles sont codées sous la forme de règles. Ces règles peuvent être soit -

  • Règles de modèle de contexte

  • Ou, en tant qu'expression régulière compilée en automates à états finis, intersectée avec une représentation de phrase lexiquement ambiguë.

Nous pouvons également comprendre le balisage POS basé sur des règles par son architecture en deux étapes -

  • First stage - Dans un premier temps, il utilise un dictionnaire pour attribuer à chaque mot une liste de parties potentielles du discours.

  • Second stage - Dans la deuxième étape, il utilise de grandes listes de règles d'homonymie manuscrites pour trier la liste en une seule partie de discours pour chaque mot.

Propriétés du balisage POS basé sur des règles

Les étiqueteurs POS basés sur des règles possèdent les propriétés suivantes -

  • Ces tagueurs sont des tagueurs axés sur les connaissances.

  • Les règles du balisage POS basé sur des règles sont créées manuellement.

  • Les informations sont codées sous forme de règles.

  • Nous avons un nombre limité de règles d'environ 1000.

  • Le lissage et la modélisation du langage sont définis explicitement dans les balises basées sur des règles.

Étiquetage stochastique des points de vente

Une autre technique de marquage est le marquage stochastique POS. Maintenant, la question qui se pose ici est de savoir quel modèle peut être stochastique. Le modèle qui inclut la fréquence ou la probabilité (statistiques) peut être appelé stochastique. N'importe quel nombre d'approches différentes du problème du marquage d'une partie de la parole peut être appelé tagger stochastique.

Le baliseur stochastique le plus simple applique les approches suivantes pour le balisage POS -

Approche de la fréquence des mots

Dans cette approche, les marqueurs stochastiques éliminent l'ambiguïté des mots en fonction de la probabilité qu'un mot apparaisse avec une étiquette particulière. On peut également dire que la balise la plus fréquemment rencontrée avec le mot dans l'ensemble d'apprentissage est celle attribuée à une instance ambiguë de ce mot. Le principal problème avec cette approche est qu'elle peut produire une séquence de balises inadmissible.

Probabilités de séquence d'étiquettes

C'est une autre approche du marquage stochastique, où le marqueur calcule la probabilité qu'une séquence donnée de balises se produise. Elle est également appelée approche n-gramme. On l'appelle ainsi car la meilleure balise pour un mot donné est déterminée par la probabilité à laquelle elle se produit avec les n balises précédentes.

Propriétés du balisage POST stochastique

Les étiqueteurs stochastiques POS possèdent les propriétés suivantes -

  • Ce marquage POS est basé sur la probabilité que le tag se produise.

  • Il nécessite un corpus de formation

  • Il n'y aurait aucune probabilité pour les mots qui n'existent pas dans le corpus.

  • Il utilise différents corpus de test (autres que le corpus de formation).

  • C'est le balisage POS le plus simple car il choisit les balises les plus fréquentes associées à un mot dans le corpus de formation.

Balisage basé sur la transformation

Le balisage basé sur la transformation est également appelé balisage Brill. Il s'agit d'une instance de l'apprentissage basé sur la transformation (TBL), qui est un algorithme basé sur des règles pour le marquage automatique des points de vente sur le texte donné. TBL, nous permet d'avoir des connaissances linguistiques sous une forme lisible, transforme un état en un autre état en utilisant des règles de transformation.

Il s'inspire à la fois des taggers expliqués précédemment - basés sur des règles et stochastiques. Si nous voyons une similitude entre le tagger basé sur des règles et le tagger de transformation, alors comme basé sur des règles, il est également basé sur les règles qui spécifient quelles balises doivent être attribuées à quels mots. D'un autre côté, si nous voyons une similitude entre le tagger stochastique et de transformation, alors comme le stochastique, c'est une technique d'apprentissage automatique dans laquelle les règles sont automatiquement induites à partir de données.

Fonctionnement de l'apprentissage basé sur la transformation (TBL)

Afin de comprendre le fonctionnement et le concept des tagueurs basés sur la transformation, nous devons comprendre le fonctionnement de l'apprentissage basé sur la transformation. Considérez les étapes suivantes pour comprendre le fonctionnement de TBL -

  • Start with the solution - Le TBL commence généralement par une solution au problème et fonctionne par cycles.

  • Most beneficial transformation chosen - Dans chaque cycle, TBL choisira la transformation la plus avantageuse.

  • Apply to the problem - La transformation choisie à la dernière étape sera appliquée au problème.

L'algorithme s'arrêtera lorsque la transformation sélectionnée à l'étape 2 n'ajoutera plus de valeur ou qu'il n'y aura plus de transformations à sélectionner. Ce type d'apprentissage est le mieux adapté aux tâches de classification.

Avantages de l'apprentissage basé sur la transformation (TBL)

Les avantages de TBL sont les suivants -

  • Nous apprenons un petit ensemble de règles simples et ces règles sont suffisantes pour le marquage.

  • Le développement ainsi que le débogage sont très faciles dans TBL car les règles apprises sont faciles à comprendre.

  • La complexité du marquage est réduite car dans TBL, il existe un entrelacement de règles apprises par machine et générées par l'homme.

  • Le tagger basé sur la transformation est beaucoup plus rapide que le tagger de modèle Markov.

Inconvénients de l'apprentissage basé sur la transformation (TBL)

Les inconvénients de TBL sont les suivants -

  • L'apprentissage basé sur la transformation (TBL) ne fournit pas de probabilités d'étiquettes.

  • En TBL, le temps de formation est très long surtout sur les gros corpus.

Balisage PDV du modèle de Markov caché (HMM)

Avant de creuser profondément dans le marquage HMM POS, nous devons comprendre le concept de modèle de Markov caché (HMM).

Modèle de Markov caché

Un modèle HMM peut être défini comme le modèle stochastique à double intégration, où le processus stochastique sous-jacent est caché. Ce processus stochastique caché ne peut être observé qu'à travers un autre ensemble de processus stochastiques qui produit la séquence d'observations.

Exemple

Par exemple, une séquence d'expériences de lancer de pièces cachées est effectuée et nous ne voyons que la séquence d'observation constituée de têtes et de queues. Les détails réels du processus - le nombre de pièces utilisées, l'ordre dans lequel elles sont sélectionnées - nous sont cachés. En observant cette séquence de têtes et de queues, nous pouvons construire plusieurs HMM pour expliquer la séquence. Voici une forme de modèle de Markov caché pour ce problème -

Nous avons supposé qu'il y avait deux états dans le HMM et que chacun des états correspond à la sélection de différentes pièces biaisées. La matrice suivante donne les probabilités de transition d'état -

$$ A = \ begin {bmatrix} a11 & a12 \\ a21 & a22 \ end {bmatrix} $$

Ici,

  • aij = probabilité de transition d'un état à un autre de i à j.

  • a11 + a12= 1 et un 21 + un 22 = 1

  • P1 = probabilité de têtes de la première pièce, c'est-à-dire le biais de la première pièce.

  • P2 = probabilité de têtes de la deuxième pièce, c'est-à-dire le biais de la deuxième pièce.

Nous pouvons également créer un modèle HMM en supposant qu'il y a 3 pièces ou plus.

De cette façon, nous pouvons caractériser HMM par les éléments suivants -

  • N, le nombre d'états dans le modèle (dans l'exemple ci-dessus N = 2, seulement deux états).

  • M, le nombre d'observations distinctes qui peuvent apparaître avec chaque état dans l'exemple ci-dessus M = 2, c'est-à-dire H ou T).

  • A, la distribution de probabilité de transition d'état - la matrice A dans l'exemple ci-dessus.

  • P, la distribution de probabilité des symboles observables dans chaque état (dans notre exemple P1 et P2).

  • I, la distribution de l'état initial.

Utilisation de HMM pour l'étiquetage des points de vente

Le processus d'étiquetage POS est le processus de recherche de la séquence d'étiquettes qui est la plus susceptible d'avoir généré une séquence de mots donnée. Nous pouvons modéliser ce processus POS en utilisant un modèle de Markov caché (HMM), oùtags sont les hidden states qui a produit le observable output, c'est-à-dire, le words.

Mathématiquement, dans le marquage POS, nous sommes toujours intéressés à trouver une séquence de balises (C) qui maximise -

P (C|W)

Où,

C = C 1 , C 2 , C 3 ... C T

W = W 1 , W 2 , W 3 , W T

D'un autre côté, le fait est que nous avons besoin de beaucoup de données statistiques pour estimer raisonnablement ce genre de séquences. Cependant, pour simplifier le problème, nous pouvons appliquer certaines transformations mathématiques ainsi que certaines hypothèses.

L'utilisation de HMM pour faire un étiquetage POS est un cas particulier d'interférence bayésienne. Par conséquent, nous commencerons par reformuler le problème en utilisant la règle de Bayes, qui dit que la probabilité conditionnelle mentionnée ci-dessus est égale à -

(PROB (C1,..., CT) * PROB (W1,..., WT | C1,..., CT)) / PROB (W1,..., WT)

On peut éliminer le dénominateur dans tous ces cas car on s'intéresse à trouver la séquence C qui maximise la valeur ci-dessus. Cela n'affectera pas notre réponse. Maintenant, notre problème se réduit à trouver la séquence C qui maximise -

PROB (C1,..., CT) * PROB (W1,..., WT | C1,..., CT) (1)

Même après avoir réduit le problème dans l'expression ci-dessus, cela nécessiterait une grande quantité de données. Nous pouvons faire des hypothèses d'indépendance raisonnables sur les deux probabilités dans l'expression ci-dessus pour surmonter le problème.

Première hypothèse

La probabilité d'une balise dépend de la précédente (modèle bigramme) ou des deux précédents (modèle trigramme) ou des n balises précédentes (modèle n-gramme) qui, mathématiquement, peuvent être expliquées comme suit -

PROB (C1,..., CT) = Πi=1..T PROB (Ci|Ci-n+1…Ci-1) (n-gram model)

PROB (C1,..., CT) = Πi=1..T PROB (Ci|Ci-1) (bigram model)

Le début d'une phrase peut être pris en compte en supposant une probabilité initiale pour chaque étiquette.

PROB (C1|C0) = PROB initial (C1)

Deuxième hypothèse

La deuxième probabilité de l'équation (1) ci-dessus peut être approximée en supposant qu'un mot apparaît dans une catégorie indépendante des mots des catégories précédentes ou suivantes qui peuvent être expliquées mathématiquement comme suit -

PROB (W1,..., WT | C1,..., CT) = Πi=1..T PROB (Wi|Ci)

Maintenant, sur la base des deux hypothèses ci-dessus, notre objectif se réduit à trouver une séquence C qui maximise

Πi=1...T PROB(Ci|Ci-1) * PROB(Wi|Ci)

Maintenant, la question qui se pose ici est de savoir si la conversion du problème sous la forme ci-dessus nous a vraiment aidés. La réponse est - oui, c'est le cas. Si nous avons un grand corpus étiqueté, alors les deux probabilités dans la formule ci-dessus peuvent être calculées comme -

PROB (Ci=VERB|Ci-1=NOUN) = (# of instances where Verb follows Noun) / (# of instances where Noun appears) (2)

PROB (Wi|Ci) = (# of instances where Wi appears in Ci) /(# of instances where Ci appears) (3)