Test ETL - Automatisation

Les tests ETL sont principalement effectués à l'aide de scripts SQL et en rassemblant les données dans des feuilles de calcul. Cette approche pour effectuer des tests ETL est très lente et longue, sujette aux erreurs et est effectuée sur des échantillons de données.

Défi technique dans les tests ETL manuels

Votre équipe de test ETL écrit des requêtes SQL pour tester les données dans un système d'entrepôt et doit les exécuter manuellement à l'aide d'un éditeur SQL, puis placer les données dans une feuille de calcul Excel et les comparer manuellement. Ce processus est long, gourmand en ressources et inefficace.

Il existe différents outils disponibles sur le marché pour automatiser ce processus. Les outils de test ETL les plus courants sont QuerySurge et Informatica Data Validation.

QuerySurge

QuerySurge est une solution de test de données conçue pour tester le Big Data, les entrepôts de données et le processus ETL. Il peut automatiser l'ensemble du processus pour vous et s'intégrer parfaitement à votre stratégie DevOps.

Les principales fonctionnalités de QuerySurge sont les suivantes:

  • Il dispose d'assistants de requête pour créer des tests QueryPairs rapidement et facilement sans que l'utilisateur n'ait à écrire de code SQL.

  • Il dispose d'une bibliothèque de conception avec des extraits de requête réutilisables. Vous pouvez également créer des QueryPairs personnalisés.

  • Il peut comparer les données des fichiers source et des magasins de données à l'entrepôt de données cible ou au magasin Big Data.

  • Il peut comparer des millions de lignes et de colonnes de données en quelques minutes.

  • Il permet à l'utilisateur de planifier des tests pour exécuter (1) immédiatement, (2) n'importe quelle date / heure, ou (3) automatiquement après la fin d'un événement.

  • Il peut produire des rapports informatifs, afficher les mises à jour et envoyer automatiquement les résultats par e-mail à votre équipe.

Pour automatiser l'ensemble du processus, votre outil ETL doit démarrer QuerySurge via l'API de ligne de commande une fois que le logiciel ETL a terminé son processus de chargement.

QuerySurge s'exécutera automatiquement et sans surveillance, exécutant tous les tests, puis envoyant un e-mail à tous les membres de l'équipe avec les résultats.

Tout comme QuerySurge, Informatica Data Validation fournit un outil de test ETL qui vous aide à accélérer et à automatiser le processus de test ETL dans l'environnement de développement et de production. Il vous permet de fournir une couverture de test complète, répétable et vérifiable en moins de temps. Il ne nécessite aucune compétence en programmation!