Hadoop - Solutions Big Data

Approche traditionnelle

Dans cette approche, une entreprise disposera d'un ordinateur pour stocker et traiter le Big Data. Pour le stockage, les programmeurs prendront l'aide de leur choix de fournisseurs de bases de données tels qu'Oracle, IBM, etc. Dans cette approche, l'utilisateur interagit avec l'application, qui à son tour gère la partie du stockage et de l'analyse des données.

Limitation

Cette approche fonctionne bien avec les applications qui traitent des données moins volumineuses qui peuvent être hébergées par des serveurs de base de données standard, ou jusqu'à la limite du processeur qui traite les données. Mais lorsqu'il s'agit de traiter d'énormes quantités de données évolutives, traiter ces données à travers un seul goulot d'étranglement est une tâche ardue.

La solution de Google

Google a résolu ce problème à l'aide d'un algorithme appelé MapReduce. Cet algorithme divise la tâche en petites parties et les attribue à de nombreux ordinateurs, et en collecte les résultats qui, une fois intégrés, forment l'ensemble de données de résultat.

Hadoop

En utilisant la solution fournie par Google, Doug Cutting et son équipe a développé un projet Open Source appelé HADOOP.

Hadoop exécute des applications à l'aide de l'algorithme MapReduce, où les données sont traitées en parallèle avec d'autres. En bref, Hadoop est utilisé pour développer des applications qui pourraient effectuer une analyse statistique complète sur d'énormes quantités de données.