Apache Flink - Traitement par lots ou en temps réel

En termes de Big Data, il existe deux types de traitement -

• Le traitement par lots
• Traitement en temps réel

Le traitement basé sur les données collectées au fil du temps est appelé traitement par lots. Par exemple, un directeur de banque souhaite traiter les données d'un mois passé (collectées au fil du temps) pour connaître le nombre de chèques qui ont été annulés au cours du dernier mois.

Le traitement basé sur des données immédiates pour un résultat instantané est appelé traitement en temps réel. Par exemple, un directeur de banque reçoit une alerte de fraude immédiatement après qu'une transaction frauduleuse (résultat instantané) s'est produite.

Le tableau ci-dessous répertorie les différences entre le traitement par lots et le traitement en temps réel -

Le traitement par lots	Traitement en temps réel
Fichiers statiques	Flux d'événements
Traités périodiquement en minute, heure, jour, etc.	Traité immédiatement nanosecondes
Données antérieures sur le stockage sur disque	En mémoire
Exemple - Génération de factures	Exemple - Alerte de transaction ATM

De nos jours, le traitement en temps réel est beaucoup utilisé dans chaque organisation. Les cas d'utilisation tels que la détection de fraude, les alertes en temps réel dans les soins de santé et les alertes d'attaque réseau nécessitent un traitement en temps réel des données instantanées; un retard même de quelques millisecondes peut avoir un impact énorme.

Un outil idéal pour de tels cas d'utilisation en temps réel serait celui qui peut entrer des données sous forme de flux et non de lots. Apache Flink est cet outil de traitement en temps réel.