Weka - Prétraitement des données

Les données collectées sur le terrain contiennent de nombreux éléments indésirables qui conduisent à une analyse erronée. Par exemple, les données peuvent contenir des champs nuls, elles peuvent contenir des colonnes qui ne sont pas pertinentes pour l'analyse en cours, etc. Ainsi, les données doivent être prétraitées pour répondre aux exigences du type d'analyse que vous recherchez. Ceci est fait dans le module de prétraitement.

Pour démontrer les fonctionnalités disponibles en prétraitement, nous utiliserons le Weather base de données fournie dans l'installation.

En utilisant le Open file ... option sous le Preprocess tag sélectionnez le weather-nominal.arff fichier.

Lorsque vous ouvrez le fichier, votre écran ressemble à celui illustré ici -

Cet écran nous dit plusieurs choses sur les données chargées, qui sont abordées plus loin dans ce chapitre.

Comprendre les données

Regardons d'abord le surligné Current relationsous-fenêtre. Il affiche le nom de la base de données actuellement chargée. Vous pouvez déduire deux points à partir de cette sous-fenêtre -

  • Il y a 14 instances - le nombre de lignes dans le tableau.

  • Le tableau contient 5 attributs - les champs, qui sont traités dans les sections à venir.

Sur le côté gauche, remarquez le Attributes sous-fenêtre qui affiche les différents champs de la base de données.

le weatherLa base de données contient cinq champs - perspectives, température, humidité, vent et jeu. Lorsque vous sélectionnez un attribut dans cette liste en cliquant dessus, des détails supplémentaires sur l'attribut lui-même sont affichés sur le côté droit.

Sélectionnons d'abord l'attribut température. Lorsque vous cliquez dessus, vous verrez l'écran suivant -

dans le Selected Attribute sous-fenêtre, vous pouvez observer ce qui suit -

  • Le nom et le type de l'attribut sont affichés.

  • Le type pour le temperature l'attribut est Nominal.

  • Le nombre de Missing valeurs est zéro.

  • Il existe trois valeurs distinctes sans valeur unique.

  • Le tableau sous ces informations montre les valeurs nominales pour ce champ comme chaud, doux et froid.

  • Il montre également le nombre et le poids en termes de pourcentage pour chaque valeur nominale.

Au bas de la fenêtre, vous voyez la représentation visuelle du class valeurs.

Si vous cliquez sur le Visualize All bouton, vous pourrez voir toutes les fonctionnalités dans une seule fenêtre comme indiqué ici -

Suppression d'attributs

Souvent, les données que vous souhaitez utiliser pour la création de modèles sont fournies avec de nombreux champs non pertinents. Par exemple, la base de données clients peut contenir son numéro de mobile qui est pertinent pour l'analyse de sa cote de crédit.

Pour supprimer les attributs, sélectionnez-les et cliquez sur le Remove bouton en bas.

Les attributs sélectionnés seraient supprimés de la base de données. Après avoir prétraité complètement les données, vous pouvez les enregistrer pour la création de modèles.

Ensuite, vous apprendrez à prétraiter les données en appliquant des filtres sur ces données.

Appliquer des filtres

Certaines des techniques d'apprentissage automatique telles que l'exploration de règles d'association nécessitent des données catégorielles. Pour illustrer l'utilisation des filtres, nous utiliseronsweather-numeric.arff base de données qui contient deux numeric les attributs - temperature et humidity.

Nous allons les convertir en nominalen appliquant un filtre sur nos données brutes. Clique sur leChoose bouton dans le Filter sous-fenêtre et sélectionnez le filtre suivant -

weka→filters→supervised→attribute→Discretize

Clique sur le Apply et examinez le temperature et / ou humidityattribut. Vous remarquerez que ceux-ci sont passés du type numérique au type nominal.

Examinons maintenant un autre filtre. Supposons que vous souhaitiez sélectionner les meilleurs attributs pour décider duplay. Sélectionnez et appliquez le filtre suivant -

weka→filters→supervised→attribute→AttributeSelection

Vous remarquerez qu'il supprime les attributs de température et d'humidité de la base de données.

Une fois que vous êtes satisfait du prétraitement de vos données, enregistrez les données en cliquant sur le bouton Save... bouton. Vous utiliserez ce fichier enregistré pour la construction du modèle.

Dans le chapitre suivant, nous explorerons la construction de modèles à l'aide de plusieurs algorithmes de ML prédéfinis.