Amazon Web Services - Pipeline de données

AWS Data Pipeline est un service Web conçu pour permettre aux utilisateurs d'intégrer plus facilement des données réparties sur plusieurs services AWS et de les analyser à partir d'un seul emplacement.

À l'aide d'AWS Data Pipeline, les données peuvent être consultées à partir de la source, traitées, puis les résultats peuvent être efficacement transférés vers les services AWS respectifs.

Comment configurer le pipeline de données?

Voici les étapes pour configurer le pipeline de données -

Step 1 - Créez le pipeline en suivant les étapes suivantes.

  • Connectez-vous au compte AWS.

  • Utilisez ce lien pour ouvrir la console AWS Data Pipeline - https://console.aws.amazon.com/datapipeline/

  • Sélectionnez la région dans la barre de navigation.

  • Cliquez sur le bouton Créer un nouveau pipeline.

  • Remplissez les informations requises dans les champs respectifs.

    • Dans le champ Source, choisissez Générer à l'aide d'un modèle, puis sélectionnez ce modèle - Mise en route avec ShellCommandActivity.

    • La section Paramètres s'ouvre uniquement lorsque le modèle est sélectionné. Laissez le dossier d'entrée S3 et la commande Shell s'exécuter avec leurs valeurs par défaut. Cliquez sur l'icône de dossier en regard du dossier de sortie S3 et sélectionnez les compartiments.

    • Dans Planification, laissez les valeurs par défaut.

    • Dans la configuration du pipeline, laissez la journalisation activée. Cliquez sur l'icône de dossier sous Emplacement S3 pour les journaux et sélectionnez les compartiments.

    • Dans Sécurité / Accès, laissez les valeurs des rôles IAM par défaut.

    • Cliquez sur le bouton Activer.

Comment supprimer un pipeline?

La suppression du pipeline supprimera également tous les objets associés.

Step 1 - Sélectionnez le pipeline dans la liste des pipelines.

Step 2 - Cliquez sur le bouton Actions, puis choisissez Supprimer.

Step 3- Une fenêtre d'invite de confirmation s'ouvre. Cliquez sur Supprimer.

Fonctionnalités d'AWS Data Pipeline

Simple and cost-efficient- Ses fonctionnalités de glisser-déposer facilitent la création d'un pipeline sur la console. Son créateur de pipeline visuel fournit une bibliothèque de modèles de pipeline. Ces modèles facilitent la création de pipelines pour des tâches telles que le traitement des fichiers journaux, l'archivage des données sur Amazon S3, etc.

Reliable- Son infrastructure est conçue pour les activités d'exécution tolérantes aux pannes. Si des échecs se produisent dans la logique d'activité ou les sources de données, AWS Data Pipeline relance automatiquement l'activité. Si l'échec persiste, il enverra une notification d'échec. Nous pouvons même configurer ces alertes de notification pour des situations telles que des exécutions réussies, des échecs, des retards dans les activités, etc.

Flexible - AWS Data Pipeline fournit diverses fonctionnalités telles que la planification, le suivi, la gestion des erreurs, etc.