Apache NiFi - Provenance des données

Apache NiFi enregistre et stocke toutes les informations sur les événements qui se produisent sur les données ingérées dans le flux. Le référentiel de provenance des données stocke ces informations et fournit une interface utilisateur pour rechercher ces informations d'événement. La provenance des données est également accessible pour le niveau NiFi complet et le niveau du processeur.

Le tableau suivant répertorie les différents champs de la liste d'événements NiFi Data Provenance avec les champs suivants:

S.No. Nom de domaine La description
1 Date / heure Date et heure de l'événement.
2 Type Type d'événement comme «CRÉER».
3 FlowFileUuid UUID du fichier de flux sur lequel l'événement est exécuté.
4 Taille Taille du fichier de flux.
5 Nom du composant Nom du composant qui a exécuté l'événement.
6 Type de composant Type de composant.
sept Afficher la lignée La dernière colonne a l'icône show lineage, qui est utilisée pour voir la lignée flowfile comme indiqué dans l'image ci-dessous.

Pour obtenir plus d'informations sur l'événement, un utilisateur peut cliquer sur l'icône d'information présente dans la première colonne de l'interface de Provenance des données NiFi.

Il existe certaines propriétés dans le fichier nifi.properties, qui sont utilisées pour gérer le référentiel NiFi Data Provenance.

S.No. Nom de la propriété Valeur par défaut La description
1 nifi.provenance.repository.directory.default ./provenance_repository Pour spécifier le chemin par défaut de la provenance des données NiFi.
2 nifi.provenance.repository.max.storage.time 24 heures Pour spécifier la durée de conservation maximale de la provenance des données NiFi.
3 nifi.provenance.repository.max.storage.size 1 Go Pour spécifier le stockage maximal de la provenance des données NiFi.
4 nifi.provenance.repository.rollover.time 30 secondes Pour spécifier le temps de basculement de la provenance des données NiFi.
5 nifi.provenance.repository.rollover.size 100 Mo Pour spécifier la taille de survol de la provenance des données NiFi.
6 nifi.provenance.repository.indexed.fields EventType, FlowFileUUID, Nom de fichier, ProcessorID, Relation Pour spécifier les champs utilisés pour rechercher et indexer la provenance des données NiFi.