MapReduce - Administration Hadoop
Ce chapitre explique l'administration Hadoop qui inclut à la fois l'administration HDFS et MapReduce.
L'administration HDFS comprend la surveillance de la structure des fichiers HDFS, des emplacements et des fichiers mis à jour.
L'administration de MapReduce comprend la surveillance de la liste des applications, la configuration des nœuds, l'état des applications, etc.
Surveillance HDFS
HDFS (Hadoop Distributed File System) contient les répertoires utilisateur, les fichiers d'entrée et les fichiers de sortie. Utilisez les commandes MapReduce,put et get, pour le stockage et la récupération.
Après avoir démarré le framework Hadoop (démons) en passant la commande «start-all.sh» sur «/ $ HADOOP_HOME / sbin», transmettez l'URL suivante au navigateur «http: // localhost: 50070». Vous devriez voir l'écran suivant sur votre navigateur.
La capture d'écran suivante montre comment parcourir le HDFS de navigation.
La capture d'écran suivante montre la structure des fichiers de HDFS. Il montre les fichiers dans le répertoire «/ user / hadoop».
La capture d'écran suivante montre les informations Datanode dans un cluster. Ici vous pouvez trouver un nœud avec ses configurations et capacités.
Surveillance des travaux MapReduce
Une application MapReduce est un ensemble de travaux (travail de mappage, combinateur, partitionneur et travail de réduction). Il est obligatoire de surveiller et de maintenir les éléments suivants -
- Configuration du datanode là où l'application convient.
- Le nombre de datanodes et de ressources utilisées par application.
Pour surveiller toutes ces choses, il est impératif que nous ayons une interface utilisateur. Après avoir démarré le framework Hadoop en passant la commande «start-all.sh» sur «/ $ HADOOP_HOME / sbin», transmettez l'URL suivante au navigateur «http: // localhost: 8080». Vous devriez voir l'écran suivant sur votre navigateur.
Dans la capture d'écran ci-dessus, le pointeur de la main se trouve sur l'ID de l'application. Cliquez simplement dessus pour trouver l'écran suivant sur votre navigateur. Il décrit ce qui suit -
Sur quel utilisateur l'application actuelle s'exécute
Le nom de l'application
Type de cette application
Statut actuel, statut final
Heure de démarrage de l'application, écoulée (temps de fin), si elle est terminée au moment de la surveillance
L'historique de cette application, c'est-à-dire les informations du journal
Et enfin, les informations sur les nœuds, c'est-à-dire les nœuds qui ont participé à l'exécution de l'application.
La capture d'écran suivante montre les détails d'une application particulière -
La capture d'écran suivante décrit les informations sur les nœuds en cours d'exécution. Ici, la capture d'écran ne contient qu'un seul nœud. Un pointeur de main affiche l'adresse de l'hôte local du nœud en cours d'exécution.
