Hadoop - Opérations HDFS

Démarrage de HDFS

Au départ, vous devez formater le système de fichiers HDFS configuré, ouvrir namenode (serveur HDFS) et exécuter la commande suivante.

$ hadoop namenode -format

Après avoir formaté le HDFS, démarrez le système de fichiers distribué. La commande suivante démarrera le namenode ainsi que les nœuds de données en tant que cluster.

$ start-dfs.sh

Liste des fichiers dans HDFS

Après avoir chargé les informations dans le serveur, nous pouvons trouver la liste des fichiers dans un répertoire, l'état d'un fichier, en utilisant ‘ls’. Voici la syntaxe dels que vous pouvez passer à un répertoire ou à un nom de fichier comme argument.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Insertion de données dans HDFS

Supposons que nous ayons des données dans le fichier appelé file.txt dans le système local qui doivent être enregistrées dans le système de fichiers hdfs. Suivez les étapes ci-dessous pour insérer le fichier requis dans le système de fichiers Hadoop.

Étape 1

Vous devez créer un répertoire d'entrée.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

Étape 2

Transférez et stockez un fichier de données des systèmes locaux vers le système de fichiers Hadoop à l'aide de la commande put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

Étape 3

Vous pouvez vérifier le fichier à l'aide de la commande ls.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

Récupération de données depuis HDFS

Supposons que nous ayons un fichier en HDFS appelé outfile. Vous trouverez ci-dessous une démonstration simple pour récupérer le fichier requis à partir du système de fichiers Hadoop.

Étape 1

Au départ, affichez les données de HDFS en utilisant cat commander.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

Étape 2

Récupérez le fichier de HDFS vers le système de fichiers local en utilisant get commander.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

Arrêt du HDFS

Vous pouvez arrêter le HDFS à l'aide de la commande suivante.

$ stop-dfs.sh