Apache Pig - Opérateur syndical

le UNIONL'opérateur de Pig Latin est utilisé pour fusionner le contenu de deux relations. Pour effectuer l'opération UNION sur deux relations, leurs colonnes et domaines doivent être identiques.

Syntaxe

Ci-dessous, la syntaxe du UNION opérateur.

grunt> Relation_name3 = UNION Relation_name1, Relation_name2;

Exemple

Supposons que nous ayons deux fichiers à savoir student_data1.txt et student_data2.txt dans le /pig_data/ répertoire de HDFS comme indiqué ci-dessous.

Student_data1.txt

001,Rajiv,Reddy,9848022337,Hyderabad
002,siddarth,Battacharya,9848022338,Kolkata
003,Rajesh,Khanna,9848022339,Delhi
004,Preethi,Agarwal,9848022330,Pune
005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar
006,Archana,Mishra,9848022335,Chennai.

Student_data2.txt

7,Komal,Nayak,9848022334,trivendram.
8,Bharathi,Nambiayar,9848022333,Chennai.

Et nous avons chargé ces deux fichiers dans Pig avec les relations student1 et student2 comme indiqué ci-dessous.

grunt> student1 = LOAD 'hdfs://localhost:9000/pig_data/student_data1.txt' USING PigStorage(',') 
   as (id:int, firstname:chararray, lastname:chararray, phone:chararray, city:chararray); 
 
grunt> student2 = LOAD 'hdfs://localhost:9000/pig_data/student_data2.txt' USING PigStorage(',') 
   as (id:int, firstname:chararray, lastname:chararray, phone:chararray, city:chararray);

Fusionnons maintenant le contenu de ces deux relations en utilisant le UNION opérateur comme indiqué ci-dessous.

grunt> student = UNION student1, student2;

Vérification

Vérifier la relation student en utilisant le DUMP opérateur comme indiqué ci-dessous.

grunt> Dump student;

Production

Il affichera la sortie suivante, affichant le contenu de la relation student.

(1,Rajiv,Reddy,9848022337,Hyderabad) (2,siddarth,Battacharya,9848022338,Kolkata)
(3,Rajesh,Khanna,9848022339,Delhi)
(4,Preethi,Agarwal,9848022330,Pune) 
(5,Trupthi,Mohanthy,9848022336,Bhuwaneshwar)
(6,Archana,Mishra,9848022335,Chennai) 
(7,Komal,Nayak,9848022334,trivendram) 
(8,Bharathi,Nambiayar,9848022333,Chennai)