Spark - Installation

Spark est le sous-projet de Hadoop. Par conséquent, il est préférable d'installer Spark dans un système basé sur Linux. Les étapes suivantes montrent comment installer Apache Spark.

Étape 1: vérification de l'installation de Java

L'installation de Java est l'une des choses obligatoires lors de l'installation de Spark. Essayez la commande suivante pour vérifier la version JAVA.

$java -version

Si Java est déjà installé sur votre système, vous obtenez la réponse suivante -

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

Si Java n'est pas installé sur votre système, installez Java avant de passer à l'étape suivante.

Étape 2: vérification de l'installation de Scala

Vous devez utiliser le langage Scala pour implémenter Spark. Alors vérifions l'installation de Scala en utilisant la commande suivante.

$scala -version

Si Scala est déjà installé sur votre système, vous obtenez la réponse suivante -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Si Scala n'est pas installé sur votre système, passez à l'étape suivante pour l'installation de Scala.

Étape 3: Téléchargement de Scala

Téléchargez la dernière version de Scala en visitant le lien suivant Télécharger Scala . Pour ce tutoriel, nous utilisons la version scala-2.11.6. Après le téléchargement, vous trouverez le fichier tar Scala dans le dossier de téléchargement.

Étape 4: Installation de Scala

Suivez les étapes ci-dessous pour installer Scala.

Extrayez le fichier tar Scala

Tapez la commande suivante pour extraire le fichier tar Scala.

$ tar xvf scala-2.11.6.tgz

Déplacer les fichiers du logiciel Scala

Utilisez les commandes suivantes pour déplacer les fichiers du logiciel Scala vers le répertoire respectif (/usr/local/scala).

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv scala-2.11.6 /usr/local/scala
# exit

Définir PATH pour Scala

Utilisez la commande suivante pour définir PATH pour Scala.

$ export PATH = $PATH:/usr/local/scala/bin

Vérification de l'installation de Scala

Après l'installation, il est préférable de le vérifier. Utilisez la commande suivante pour vérifier l'installation de Scala.

$scala -version

Si Scala est déjà installé sur votre système, vous obtenez la réponse suivante -

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Étape 5: Téléchargement d'Apache Spark

Téléchargez la dernière version de Spark en visitant le lien suivant Télécharger Spark . Pour ce tutoriel, nous utilisonsspark-1.3.1-bin-hadoop2.6version. Après l'avoir téléchargé, vous trouverez le fichier tar Spark dans le dossier de téléchargement.

Étape 6: Installation de Spark

Suivez les étapes ci-dessous pour installer Spark.

Extraction du goudron d'étincelle

La commande suivante pour extraire le fichier tar spark.

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Déplacement des fichiers logiciels Spark

Les commandes suivantes pour déplacer les fichiers du logiciel Spark vers le répertoire respectif (/usr/local/spark).

$ su –
Password:
# cd /home/Hadoop/Downloads/
# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark
# exit

Configuration de l'environnement pour Spark

Ajoutez la ligne suivante à ~/.bashrcfichier. Cela signifie ajouter l'emplacement, où se trouve le fichier du logiciel Spark à la variable PATH.

export PATH = $PATH:/usr/local/spark/bin

Utilisez la commande suivante pour rechercher le fichier ~ / .bashrc.

$ source ~/.bashrc

Étape 7: vérification de l'installation de Spark

Écrivez la commande suivante pour ouvrir le shell Spark.

$spark-shell

Si Spark est installé avec succès, vous trouverez la sortie suivante.

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
    ____             __
   / __/__ ___ _____/ /__
   _\ \/ _ \/ _ `/ __/ '_/
   /___/ .__/\_,_/_/ /_/\_\ version 1.4.0
      /_/
		
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>