Apache Flink - Flink vs Spark vs Hadoop
Voici un tableau complet, qui montre la comparaison entre les trois frameworks Big Data les plus populaires: Apache Flink, Apache Spark et Apache Hadoop.
| Apache Hadoop | Apache Spark | Apache Flink | |
|---|---|---|---|
Year of Origin |
2005 | 2009 | 2009 |
Place of Origin |
MapReduce (Google) Hadoop (Yahoo) | Université de Californie, Berkeley | Université technique de Berlin |
Data Processing Engine |
Lot | Lot | Courant |
Processing Speed |
Plus lent que Spark et Flink | 100x plus rapide que Hadoop | Plus rapide qu'une étincelle |
Programming Languages |
Java, C, C ++, Ruby, Groovy, Perl, Python | Java, Scala, python et R | Java et Scala |
Programming Model |
MapReduce | Ensembles de données distribués résilients (RDD) | Flux de données cycliques |
Data Transfer |
Lot | Lot | Pipeline et lot |
Memory Management |
Basé sur le disque | Géré par JVM | Géré actif |
Latency |
Faible | Moyen | Faible |
Throughput |
Moyen | Haute | Haute |
Optimization |
Manuel | Manuel | Automatique |
API |
Niveau faible | Haut niveau | Haut niveau |
Streaming Support |
N / A | Spark Streaming | Flink Streaming |
SQL Support |
Ruche, Impala | SparkSQL | API de table et SQL |
Graph Support |
N / A | GraphX | Gelly |
Machine Learning Support |
N / A | SparkML | FlinkML |