PNL - Recherche d'informations

La recherche d'informations (IR) peut être définie comme un programme logiciel qui traite de l'organisation, du stockage, de la récupération et de l'évaluation des informations à partir de référentiels de documents, en particulier des informations textuelles. Le système aide les utilisateurs à trouver les informations dont ils ont besoin, mais il ne renvoie pas explicitement les réponses aux questions. Il informe de l'existence et de l'emplacement des documents pouvant contenir les informations requises. Les documents qui satisfont aux exigences de l'utilisateur sont appelés documents pertinents. Un système IR parfait ne récupérera que les documents pertinents.

À l'aide du diagramme suivant, nous pouvons comprendre le processus de recherche d'informations (IR) -

Il ressort clairement du schéma ci-dessus qu'un utilisateur qui a besoin d'informations devra formuler une requête sous forme de requête en langage naturel. Ensuite, le système IR répondra en récupérant la sortie pertinente, sous forme de documents, sur les informations requises.

Problème classique dans le système de recherche d'informations (IR)

L'objectif principal de la recherche IR est de développer un modèle de récupération d'informations à partir des référentiels de documents. Ici, nous allons discuter d'un problème classique, nomméad-hoc retrieval problem, lié au système IR.

Dans la récupération ad hoc, l'utilisateur doit saisir une requête en langage naturel qui décrit les informations requises. Ensuite, le système IR renverra les documents requis liés aux informations souhaitées. Par exemple, supposons que nous recherchons quelque chose sur Internet et que cela donne des pages exactes qui sont pertinentes selon nos besoins, mais il peut y avoir aussi des pages non pertinentes. Cela est dû au problème de récupération ad hoc.

Aspects de la récupération ad hoc

Voici quelques aspects de l'extraction ad hoc qui sont abordés dans la recherche IR -

  • Comment les utilisateurs, à l'aide de commentaires sur la pertinence, peuvent-ils améliorer la formulation originale d'une requête?

  • Comment implémenter la fusion de bases de données, c'est-à-dire comment les résultats de différentes bases de données texte peuvent être fusionnés en un seul jeu de résultats?

  • Comment gérer des données partiellement corrompues? Quels modèles sont appropriés pour la même chose?

Modèle de recherche d'informations (IR)

Mathématiquement, les modèles sont utilisés dans de nombreux domaines scientifiques ayant pour objectif de comprendre certains phénomènes dans le monde réel. Un modèle de recherche d'informations prédit et explique ce qu'un utilisateur trouvera en rapport avec la requête donnée. Le modèle IR est essentiellement un modèle qui définit les aspects mentionnés ci-dessus de la procédure de récupération et se compose des éléments suivants:

  • Un modèle pour les documents.

  • Un modèle pour les requêtes.

  • Une fonction de correspondance qui compare les requêtes aux documents.

Mathématiquement, un modèle d'extraction se compose de -

D - Représentation pour documents.

R - Représentation pour les requêtes.

F - Le cadre de modélisation pour D, Q ainsi que la relation entre eux.

R (q,di)- Une fonction de similarité qui ordonne les documents par rapport à la requête. Il est également appelé classement.

Types de modèle de recherche d'informations (IR)

Un modèle de modèle d'information (IR) peut être classé dans les trois modèles suivants -

Modèle IR classique

C'est le modèle IR le plus simple et le plus facile à mettre en œuvre. Ce modèle est basé sur des connaissances mathématiques qui ont également été facilement reconnues et comprises. Boolean, Vector et Probabilistic sont les trois modèles IR classiques.

Modèle IR non classique

Il est complètement opposé au modèle IR classique. Ce type de modèle IR est basé sur des principes autres que la similitude, la probabilité et les opérations booléennes. Le modèle de logique d'information, le modèle de théorie de situation et les modèles d'interaction sont les exemples de modèle IR non classique.

Modèle IR alternatif

Il s'agit de l'amélioration du modèle IR classique utilisant certaines techniques spécifiques de certains autres domaines. Le modèle de cluster, le modèle flou et les modèles d'indexation sémantique latente (LSI) sont l'exemple d'un modèle IR alternatif.

Caractéristiques de conception des systèmes de recherche d'informations (IR)

Découvrons maintenant les caractéristiques de conception des systèmes IR -

Index inversé

La structure de données principale de la plupart des systèmes IR se présente sous la forme d'index inversé. Nous pouvons définir un index inversé comme une structure de données qui répertorie, pour chaque mot, tous les documents qui le contiennent et la fréquence des occurrences dans le document. Il facilite la recherche de «hits» d'un mot de requête.

Arrêter l'élimination des mots

Les mots vides sont les mots à haute fréquence jugés peu utiles pour la recherche. Ils ont moins de poids sémantiques. Tous ces types de mots sont dans une liste appelée liste d'arrêt. Par exemple, les articles «a», «an», «the» et des prépositions comme «in», «of», «for», «at» etc. sont des exemples de mots vides. La taille de l'index inversé peut être considérablement réduite par la liste d'arrêt. Conformément à la loi de Zipf, une liste d'arrêt couvrant quelques dizaines de mots réduit la taille de l'index inversé de près de moitié. D'autre part, parfois l'élimination du mot d'arrêt peut entraîner l'élimination du terme utile pour la recherche. Par exemple, si nous éliminons l'alphabet «A» de «Vitamine A», cela n'aura aucune signification.

Tige

La tige, la forme simplifiée de l'analyse morphologique, est le processus heuristique d'extraction de la forme de base des mots en coupant les extrémités des mots. Par exemple, les mots rire, rire, rire se résumeraient au mot racine rire.

Dans nos sections suivantes, nous discuterons de certains modèles IR importants et utiles.

Le modèle booléen

Il s'agit du plus ancien modèle de recherche d'informations (IR). Le modèle est basé sur la théorie des ensembles et l'algèbre booléenne, où les documents sont des ensembles de termes et les requêtes sont des expressions booléennes sur des termes. Le modèle booléen peut être défini comme -

  • D- Un ensemble de mots, c'est-à-dire les termes d'indexation présents dans un document. Ici, chaque terme est soit présent (1) soit absent (0).

  • Q - Une expression booléenne, où les termes sont les termes d'index et les opérateurs sont des produits logiques - ET, somme logique - OU et différence logique - NON

  • F - Algèbre booléenne sur des ensembles de termes ainsi que sur des ensembles de documents

    Si nous parlons de la rétroaction de pertinence, alors dans le modèle IR booléen, la prédiction de pertinence peut être définie comme suit -

  • R - Un document est prédit comme pertinent pour l'expression de requête si et seulement s'il satisfait l'expression de requête comme -

((˅) ˄ ˄ ˜ ℎ)

Nous pouvons expliquer ce modèle par un terme de requête comme une définition sans ambiguïté d'un ensemble de documents.

Par exemple, le terme de requête “economic” définit l'ensemble des documents indexés avec le terme “economic”.

Maintenant, quel serait le résultat après avoir combiné des termes avec l'opérateur booléen AND? Il définira un ensemble de documents qui est plus petit ou égal aux ensembles de documents de l'un des termes individuels. Par exemple, la requête avec des termes“social” et “economic”produira l'ensemble de documents de documents indexés avec les deux termes. En d'autres termes, ensemble de documents avec l'intersection des deux ensembles.

Maintenant, quel serait le résultat après avoir combiné des termes avec l'opérateur booléen OR? Il définira un ensemble de documents plus grand ou égal aux ensembles de documents de l'un des termes individuels. Par exemple, la requête avec des termes“social” ou “economic” produira l'ensemble de documents de documents indexés avec le terme “social” ou “economic”. En d'autres termes, ensemble de documents avec l'union des deux ensembles.

Avantages du mode booléen

Les avantages du modèle booléen sont les suivants -

  • Le modèle le plus simple, basé sur des ensembles.

  • Facile à comprendre et à mettre en œuvre.

  • Il ne récupère que les correspondances exactes

  • Cela donne à l'utilisateur un sentiment de contrôle sur le système.

Inconvénients du modèle booléen

Les inconvénients du modèle booléen sont les suivants -

  • La fonction de similarité du modèle est booléenne. Par conséquent, il n'y aurait aucune correspondance partielle. Cela peut être ennuyeux pour les utilisateurs.

  • Dans ce modèle, l'utilisation de l'opérateur booléen a beaucoup plus d'influence qu'un mot critique.

  • Le langage de requête est expressif, mais il est également compliqué.

  • Aucun classement pour les documents récupérés.

Modèle d'espace vectoriel

En raison des inconvénients ci-dessus du modèle booléen, Gerard Salton et ses collègues ont suggéré un modèle basé sur le critère de similitude de Luhn. Le critère de similitude formulé par Luhn stipule que «plus deux représentations s'accordent dans des éléments donnés et leur distribution, plus la probabilité qu'ils représentent des informations similaires est élevée».

Tenez compte des points importants suivants pour en savoir plus sur le modèle d'espace vectoriel:

  • Les représentations d'index (documents) et les requêtes sont considérées comme des vecteurs intégrés dans un espace euclidien de grande dimension.

  • La mesure de similarité d'un vecteur de document avec un vecteur de requête est généralement le cosinus de l'angle entre eux.

Formule de mesure de similarité cosinus

Le cosinus est un produit scalaire normalisé, qui peut être calculé à l'aide de la formule suivante -

$$ Score \ lgroup \ vec {d} \ vec {q} \ rgroup = \ frac {\ sum_ {k = 1} ^ m d_ {k} \ :. q_ {k}} {\ sqrt {\ sum_ {k = 1} ^ m \ lgroup d_ {k} \ rgroup ^ 2} \:. \ Sqrt {\ sum_ {k = 1} ^ m} m \ lgroup q_ {k} \ rgroup ^ 2} $$

$$ Score \ lgroup \ vec {d} \ vec {q} \ rgroup = 1 \: quand \: d = q $$

$$ Score \ lgroup \ vec {d} \ vec {q} \ rgroup = 0 \: when \: d \: and \: q \: share \: no \: items $$

Représentation de l'espace vectoriel avec requête et document

La requête et les documents sont représentés par un espace vectoriel bidimensionnel. Les termes sontcar et insurance. Il y a une requête et trois documents dans l'espace vectoriel.

Le document le mieux classé en réponse aux termes voiture et assurance sera le document d2 parce que l'angle entre q et d2est le plus petit. La raison derrière cela est que les concepts de voiture et d'assurance sont saillants en d 2 et ont donc des poids élevés. D'un autre côté,d1 et d3 mentionner également les deux termes, mais dans chaque cas, l'un d'eux n'est pas un terme d'importance centrale dans le document.

Pondération des termes

La pondération des termes désigne les poids sur les termes dans l'espace vectoriel. Plus le poids du terme est élevé, plus l'impact du terme sur le cosinus sera plus grand. Plus de pondérations devraient être attribuées aux termes les plus importants du modèle. Maintenant, la question qui se pose ici est de savoir comment modéliser cela.

Une façon de faire est de compter les mots dans un document comme son poids de terme. Cependant, pensez-vous que ce serait une méthode efficace?

Une autre méthode, plus efficace, consiste à utiliser term frequency (tfij), document frequency (dfi) et collection frequency (cfi).

Fréquence des termes (tf ij )

Il peut être défini comme le nombre d'occurrences de wi dans dj. Les informations capturées par la fréquence des termes indiquent à quel point un mot est saillant dans le document donné ou en d'autres termes, nous pouvons dire que plus la fréquence du terme est élevée, plus ce mot est une bonne description du contenu de ce document.

Fréquence des documents (df i )

Il peut être défini comme le nombre total de documents de la collection dans lesquels w i apparaît. C'est un indicateur du caractère informatif. Les mots sémantiquement focalisés apparaîtront plusieurs fois dans le document contrairement aux mots sémantiquement non focalisés.

Fréquence de collecte (cf i )

Il peut être défini comme le nombre total d'occurrences de wi dans la collection.

Mathématiquement, $ df_ {i} \ leq cf_ {i} \: et \: \ sum_ {j} tf_ {ij} = cf_ {i} $

Formes de pondération fréquentielle des documents

Découvrons maintenant les différentes formes de pondération fréquentielle des documents. Les formulaires sont décrits ci-dessous -

Facteur de fréquence du terme

Ceci est également classé comme le terme facteur de fréquence, ce qui signifie que si un terme t apparaît souvent dans un document puis une requête contenant tdevrait récupérer ce document. Nous pouvons combiner des motsterm frequency (tfij) et document frequency (dfi) en un seul poids comme suit -

$$ weight \ left (i, j \ right) = \ begin {cases} (1 + log (tf_ {ij})) log \ frac {N} {df_ {i}} \: if \: tf_ {i, j} \: \ geq1 \\ 0 \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \ : \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: \: if \: tf_ {i, j} \: = 0 \ end {cas } $$

Ici N est le nombre total de documents.

Fréquence inverse des documents (idf)

Il s'agit d'une autre forme de pondération fréquentielle des documents et souvent appelée pondération idf ou pondération fréquentielle inverse des documents. Le point important de la pondération idf est que la rareté du terme dans la collection est une mesure de son importance et que son importance est inversement proportionnelle à la fréquence d'occurrence.

Mathématiquement,

$$ idf_ {t} = log \ left (1+ \ frac {N} {n_ {t}} \ right) $$

$$ idf_ {t} = log \ left (\ frac {N-n_ {t}} {n_ {t}} \ right) $$

Ici,

N = documents de la collection

n t = documents contenant le terme t

Amélioration des requêtes utilisateur

L'objectif principal de tout système de recherche d'informations doit être l'exactitude - pour produire des documents pertinents selon les exigences de l'utilisateur. Cependant, la question qui se pose ici est de savoir comment pouvons-nous améliorer la sortie en améliorant le style de formation des requêtes de l'utilisateur. Certes, la sortie de tout système IR dépend de la requête de l'utilisateur et une requête bien formatée produira des résultats plus précis. L'utilisateur peut améliorer sa requête à l'aide derelevance feedback, un aspect important de tout modèle IR.

Commentaires sur la pertinence

Les commentaires sur la pertinence prennent la sortie initialement renvoyée par la requête donnée. Cette sortie initiale peut être utilisée pour collecter des informations utilisateur et pour savoir si cette sortie est pertinente pour effectuer une nouvelle requête ou non. Les retours peuvent être classés comme suit -

Commentaires explicites

Il peut être défini comme le retour d'information obtenu des évaluateurs pertinents. Ces évaluateurs indiqueront également la pertinence d'un document extrait de la requête. Afin d'améliorer les performances de récupération des requêtes, les informations de retour sur la pertinence doivent être interpolées avec la requête d'origine.

Les évaluateurs ou autres utilisateurs du système peuvent indiquer explicitement la pertinence en utilisant les systèmes de pertinence suivants:

  • Binary relevance system - Ce système de retour d'information sur la pertinence indique qu'un document est soit pertinent (1) soit non pertinent (0) pour une requête donnée.

  • Graded relevance system- Le système de retour d'information sur la pertinence notée indique la pertinence d'un document, pour une requête donnée, sur la base d'une notation à l'aide de chiffres, de lettres ou de descriptions. La description peut être telle que «non pertinent», «assez pertinent», «très pertinent» ou «pertinent».

Rétroaction implicite

C'est la rétroaction qui est déduite du comportement de l'utilisateur. Le comportement inclut la durée du temps que l'utilisateur a passé à visualiser un document, le document sélectionné pour la visualisation et celui qui ne l'est pas, les actions de navigation et de défilement des pages, etc. L'un des meilleurs exemples de commentaires implicites estdwell time, qui mesure le temps qu'un utilisateur passe à afficher la page liée dans un résultat de recherche.

Pseudo rétroaction

Il est également appelé feedback aveugle. Il fournit une méthode d'analyse locale automatique. La partie manuelle du retour de pertinence est automatisée à l'aide du retour de pseudo pertinence afin que l'utilisateur obtienne des performances de récupération améliorées sans interaction étendue. Le principal avantage de ce système de rétroaction est qu'il ne nécessite pas d'évaluateurs comme dans le système de rétroaction explicite de pertinence.

Considérez les étapes suivantes pour mettre en œuvre ces commentaires -

  • Step 1- Tout d'abord, le résultat renvoyé par la requête initiale doit être considéré comme un résultat pertinent. La plage des résultats pertinents doit être comprise entre les 10 et 50 premiers résultats.

  • Step 2 - Sélectionnez maintenant les 20-30 premiers termes parmi les documents en utilisant par exemple le poids de la fréquence des termes (tf) -inverse de la fréquence des documents (idf).

  • Step 3- Ajoutez ces termes à la requête et faites correspondre les documents renvoyés. Puis renvoyez les documents les plus pertinents.