Test ETL - Transformations de données
Effectuer des transformations de données est un peu complexe, car il ne peut pas être réalisé en écrivant une seule requête SQL, puis en comparant la sortie avec la cible. Pour la transformation des données de test ETL, vous devrez peut-être écrire plusieurs requêtes SQL pour chaque ligne afin de vérifier les règles de transformation.
Pour commencer, assurez-vous que les données source sont suffisantes pour tester toutes les règles de transformation. La clé pour réussir un test ETL pour les transformations de données est de sélectionner les exemples de données corrects et suffisants dans le système source pour appliquer les règles de transformation.
Les étapes clés de la transformation des données de test ETL sont répertoriées ci-dessous:
La première étape consiste à créer une liste de scénarios de données d'entrée et les résultats attendus et à les valider avec le client professionnel. Il s'agit d'une bonne approche pour la collecte des exigences lors de la conception et pourrait également être utilisée dans le cadre des tests.
L'étape suivante consiste à créer les données de test contenant tous les scénarios. Utilisez un développeur ETL pour automatiser l'ensemble du processus de remplissage des ensembles de données avec la feuille de calcul de scénario pour permettre la polyvalence et la mobilité, car les scénarios sont susceptibles de changer.
Ensuite, utilisez les résultats du profilage des données pour comparer la plage et la soumission des valeurs dans chaque champ entre les données cible et source.
Validez le traitement précis des champs générés par ETL, par exemple les clés de substitution.
La validation des types de données dans l'entrepôt est la même que celle spécifiée dans le modèle de données ou la conception.
Créez des scénarios de données entre les tables qui testent l'intégrité référentielle.
Validez les relations parent-enfant dans les données.
La dernière étape consiste à effectuer lookup transformation. Votre requête de recherche doit être directe sans aucune agrégation et ne doit renvoyer qu'une seule valeur par table source. Vous pouvez rejoindre directement la table de recherche dans le qualificatif source comme dans le test précédent. Si ce n'est pas le cas, écrivez une requête joignant la table de recherche avec la table principale de la source et comparez les données dans les colonnes correspondantes de la cible.