ETL - Rôles du testeur

Un testeur ETL est principalement responsable de la validation des sources de données, de l'extraction des données, de l'application de la logique de transformation et du chargement des données dans les tables cibles.

Les principales responsabilités d'un testeur ETL sont énumérées ci-dessous.

Vérifiez les tables dans le système source

Il implique les opérations suivantes -

  • Vérification du compte
  • Réconcilier les enregistrements avec les données source
  • Vérification du type de données
  • Assurez-vous qu'aucune donnée de spam n'est chargée
  • Supprimer les données en double
  • Vérifiez que toutes les clés sont en place

Appliquer la logique de transformation

La logique de transformation est appliquée avant le chargement des données. Il implique les opérations suivantes -

  • Vérification de la validation du seuil de données, par exemple, la valeur d'âge ne doit pas être supérieure à 100.

  • Contrôle du nombre d'enregistrements, avant et après l'application de la logique de transformation.

  • Validation du flux de données de la zone de transit vers les tables intermédiaires.

  • Vérification de la clé de substitution.

Chargement des données

Les données sont chargées de la zone de transit vers le système cible. Il implique les opérations suivantes -

  • Contrôle du nombre d'enregistrements de la table intermédiaire vers le système cible.

  • Assurez-vous que les données du champ clé ne sont pas manquantes ou nulles.

  • Vérifiez si les valeurs agrégées et les mesures calculées sont chargées dans les tables de faits.

  • Vérifiez les vues de modélisation en fonction des tables cibles.

  • Vérifiez si CDC a été appliqué sur la table de charge incrémentielle.

  • Vérification des données dans la table de dimension et vérification de la table d'historique.

  • Vérifiez les rapports BI en fonction du fait et de la table de dimension chargés et selon les résultats attendus.

Test des outils ETL

Les testeurs ETL sont également tenus de tester les outils et les cas de test. Il implique les opérations suivantes -

  • Tester l'outil ETL et ses fonctions
  • Tester le système ETL Data Warehouse
  • Créez, concevez et exécutez les plans de test et les cas de test.
  • Testez les transferts de données de fichiers plats.