Logstash - Pile ELK

ELK signifie Elasticsearch, Logstash, et Kibana. Dans la pile ELK, Logstash extrait les données de journalisation ou d'autres événements à partir de différentes sources d'entrée. Il traite les événements et les stocke ultérieurement dans Elasticsearch. Kibana est une interface Web, qui accède au formulaire de données de journalisation Elasticsearch et le visualise.

Logstash et Elasticsearch

Logstash fournit un plugin Elasticsearch d'entrée et de sortie pour lire et écrire des événements de journal dans Elasticsearch. Elasticsearch comme destination de sortie est également recommandé par Elasticsearch Company en raison de sa compatibilité avec Kibana. Logstash envoie les données à Elasticsearch via le protocole http.

Elasticsearch fournit une fonction de téléchargement groupé, qui permet de télécharger les données de différentes sources ou instances Logstash vers un moteur Elasticsearch centralisé. ELK présente les avantages suivants par rapport aux autres solutions DevOps -

  • La pile ELK est plus facile à gérer et peut être mise à l'échelle pour gérer des pétaoctets d'événements.

  • L'architecture de la pile ELK est très flexible et permet une intégration avec Hadoop. Hadoop est principalement utilisé à des fins d'archivage. Logstash peut être directement connecté à Hadoop en utilisant flume et Elasticsearch fournit un connecteur nommées-hadoop pour vous connecter avec Hadoop.

  • Le coût total de possession d'ELK est bien moindre que ses alternatives.

Logstash et Kibana

Kibana n'interagit pas directement avec Logstash mais via une source de données, qui est Elasticsearch dans la pile ELK. Logstash collecte les données de chaque source et Elasticsearch les analyse à une vitesse très rapide, puis Kibana fournit des informations exploitables sur ces données.

Kibana est un outil de visualisation basé sur le Web, qui aide les développeurs et autres à analyser les variations de grandes quantités d'événements collectées par Logstash dans le moteur Elasticsearch. Cette visualisation facilite la prévision ou la visualisation des changements de tendances des erreurs ou d'autres événements importants de la source d'entrée.