Apache Flume - Environnement

Nous avons déjà discuté de l'architecture de Flume dans le chapitre précédent. Dans ce chapitre, voyons comment télécharger et configurer Apache Flume.

Avant de continuer, vous devez disposer d'un environnement Java dans votre système. Donc, tout d'abord, assurez-vous que Java est installé sur votre système. Pour quelques exemples de ce didacticiel, nous avons utilisé Hadoop HDFS (comme récepteur). Par conséquent, nous vous recommandons d'installer Hadoop avec Java. Pour collecter plus d'informations, suivez le lien -

Installation de Flume

Tout d'abord, téléchargez la dernière version du logiciel Apache Flume depuis le site Web https://flume.apache.org/.

Étape 1

Ouvrez le site Web. Clique sur ledownloadlien sur le côté gauche de la page d'accueil. Cela vous mènera à la page de téléchargement d'Apache Flume.

Étape 2

Dans la page de téléchargement, vous pouvez voir les liens vers les fichiers binaires et sources d'Apache Flume. Cliquez sur le lien apache-flume-1.6.0-bin.tar.gz

Vous serez redirigé vers une liste de miroirs où vous pourrez démarrer votre téléchargement en cliquant sur l'un de ces miroirs. De la même manière, vous pouvez télécharger le code source d'Apache Flume en cliquant sur apache-flume-1.6.0-src.tar.gz .

Étape 3

Créez un répertoire avec le nom Flume dans le même répertoire où les répertoires d'installation de Hadoop, HBaseet d'autres logiciels ont été installés (si vous en avez déjà installé) comme indiqué ci-dessous.

$ mkdir Flume

Étape 4

Extrayez les fichiers tar téléchargés comme indiqué ci-dessous.

$ cd Downloads/ 
$ tar zxvf apache-flume-1.6.0-bin.tar.gz  
$ tar zxvf apache-flume-1.6.0-src.tar.gz

Étape 5

Déplacer le contenu d'apache-flume-1.6.0-bin.tar fichier au Flumerépertoire créé précédemment comme indiqué ci-dessous. (Supposons que nous ayons créé le répertoire Flume dans l'utilisateur local nommé Hadoop.)

$ mv apache-flume-1.6.0-bin.tar/* /home/Hadoop/Flume/

Configurer Flume

Pour configurer Flume, nous devons modifier trois fichiers à savoir, flume-env.sh, flumeconf.properties, et bash.rc.

Définition du chemin / chemin de classe

dans le .bashrc , définissez le dossier de départ, le chemin et le chemin de classe pour Flume comme indiqué ci-dessous.

dossier conf

Si vous ouvrez le conf dossier d'Apache Flume, vous aurez les quatre fichiers suivants -

  • flume-conf.properties.template,
  • flume-env.sh.template,
  • flume-env.ps1.template, et
  • log4j.properties.

Maintenant renommer

  • flume-conf.properties.template classer comme flume-conf.properties et

  • flume-env.sh.template comme flume-env.sh

flume-env.sh

Ouvert flume-env.sh fichier et définissez le JAVA_Home dans le dossier où Java a été installé sur votre système.

Vérification de l'installation

Vérifiez l'installation d'Apache Flume en parcourant le bin dossier et en tapant la commande suivante.

$ ./flume-ng

Si vous avez correctement installé Flume, vous obtiendrez une invite d'aide de Flume comme indiqué ci-dessous.