Entreposage de données - Processus système

Nous avons un nombre fixe d'opérations à appliquer sur les bases de données opérationnelles et nous avons des techniques bien définies telles que use normalized data, keep table small, etc. Ces techniques conviennent pour fournir une solution. Mais dans le cas des systèmes d'aide à la décision, nous ne savons pas quelle requête et quelle opération doivent être exécutées à l'avenir. Par conséquent, les techniques appliquées sur les bases de données opérationnelles ne conviennent pas aux entrepôts de données.

Dans ce chapitre, nous discuterons de la manière de créer des solutions d'entreposage de données sur les principales technologies de système ouvert comme Unix et les bases de données relationnelles.

Flux de processus dans l'entrepôt de données

Il existe quatre processus principaux qui contribuent à un entrepôt de données -

  • Extraire et charger les données.
  • Nettoyage et transformation des données.
  • Sauvegardez et archivez les données.
  • Gérer les requêtes et les diriger vers les sources de données appropriées.

Processus d'extraction et de chargement

L'extraction de données prend les données des systèmes sources. Le chargement des données prend les données extraites et les charge dans l'entrepôt de données.

Note - Avant de charger les données dans l'entrepôt de données, les informations extraites des sources externes doivent être reconstruites.

Contrôle du processus

Le contrôle du processus implique de déterminer quand démarrer l'extraction des données et le contrôle de cohérence des données. Le processus de contrôle garantit que les outils, les modules logiques et les programmes sont exécutés dans le bon ordre et au bon moment.

Quand lancer l'extraction

Les données doivent être dans un état cohérent lorsqu'elles sont extraites, c'est-à-dire que l'entrepôt de données doit représenter une version unique et cohérente des informations pour l'utilisateur.

Par exemple, dans un entrepôt de données de profilage client dans le secteur des télécommunications, il est illogique de fusionner la liste des clients à 20 heures le mercredi d'une base de données clients avec les événements d'abonnement client jusqu'à 20 heures le mardi. Cela signifierait que nous recherchons les clients pour lesquels il n'y a pas d'abonnement associé.

Chargement des données

Après avoir extrait les données, elles sont chargées dans un magasin de données temporaire où elles sont nettoyées et rendues cohérentes.

Note - Les contrôles de cohérence ne sont exécutés que lorsque toutes les sources de données ont été chargées dans le magasin de données temporaire.

Processus de nettoyage et de transformation

Une fois les données extraites et chargées dans le magasin de données temporaire, il est temps d'effectuer le nettoyage et la transformation. Voici la liste des étapes impliquées dans le nettoyage et la transformation -

  • Nettoyer et transformer les données chargées en une structure
  • Partitionner les données
  • Aggregation

Nettoyer et transformer les données chargées en une structure

Le nettoyage et la transformation des données chargées permettent d'accélérer les requêtes. Cela peut être fait en rendant les données cohérentes -

  • en lui-même.
  • avec d'autres données dans la même source de données.
  • avec les données d'autres systèmes sources.
  • avec les données existantes présentes dans l'entrepôt.

La transformation implique la conversion des données source en une structure. La structuration des données augmente les performances des requêtes et diminue le coût opérationnel. Les données contenues dans un entrepôt de données doivent être transformées pour prendre en charge les exigences de performance et contrôler les coûts opérationnels permanents.

Partitionner les données

Il optimisera les performances du matériel et simplifiera la gestion de l'entrepôt de données. Ici, nous partitionnons chaque table de faits en plusieurs partitions distinctes.

Agrégation

L'agrégation est nécessaire pour accélérer les requêtes courantes. L'agrégation repose sur le fait que la plupart des requêtes courantes analyseront un sous-ensemble ou une agrégation des données détaillées.

Sauvegarder et archiver les données

Afin de récupérer les données en cas de perte de données, de panne logicielle ou de panne matérielle, il est nécessaire de conserver des sauvegardes régulières. L'archivage consiste à supprimer les anciennes données du système dans un format qui leur permet d'être rapidement restaurées chaque fois que nécessaire.

Par exemple, dans un entrepôt de données d'analyse des ventes au détail, il peut être nécessaire de conserver les données pendant 3 ans, les données des 6 derniers mois étant conservées en ligne. Dans un tel scénario, il est souvent nécessaire de pouvoir faire des comparaisons mensuelles pour cette année et l'année dernière. Dans ce cas, nous avons besoin que certaines données soient restaurées à partir de l'archive.

Processus de gestion des requêtes

Ce processus remplit les fonctions suivantes -

  • gère les requêtes.

  • aide à accélérer le temps d'exécution des requêtes.

  • dirige les requêtes vers leurs sources de données les plus efficaces.

  • garantit que toutes les sources du système sont utilisées de la manière la plus efficace.

  • surveille les profils de requête réels.

Les informations générées dans ce processus sont utilisées par le processus de gestion de l'entrepôt pour déterminer les agrégations à générer. Ce processus ne fonctionne généralement pas pendant le chargement régulier d'informations dans l'entrepôt de données.