Apache Pig - Gestion de la compression

Nous pouvons charger et stocker des données compressées dans Apache Pig en utilisant les fonctions BinStorage() et TextLoader().

Exemple

Supposons que nous ayons un fichier nommé employee.txt.zip dans le répertoire HDFS /pigdata/. Ensuite, nous pouvons charger le fichier compressé dans pig comme indiqué ci-dessous.

Using PigStorage: 
 
grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING PigStorage(','); 
 
Using TextLoader:
  
grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING TextLoader;

De la même manière, nous pouvons stocker les fichiers compressés dans pig comme indiqué ci-dessous.

Using PigStorage:
  
grunt> store data INTO 'hdfs://localhost:9000/pig_Output/data.bz' USING PigStorage(',');