Apache Kafka - Principes de base
Avant de vous plonger dans la Kafka, vous devez connaître les principales terminologies telles que les sujets, les courtiers, les producteurs et les consommateurs. Le diagramme suivant illustre les principales terminologies et le tableau décrit les composants du diagramme en détail.

Dans le diagramme ci-dessus, une rubrique est configurée en trois partitions. La partition 1 a deux facteurs de décalage 0 et 1. La partition 2 a quatre facteurs de décalage 0, 1, 2 et 3. La partition 3 a un facteur de décalage 0. L'ID de la réplique est identique à l'ID du serveur qui l'héberge.
Supposons que si le facteur de réplication de la rubrique est défini sur 3, Kafka créera 3 répliques identiques de chaque partition et les placera dans le cluster pour les rendre disponibles pour toutes ses opérations. Pour équilibrer une charge dans le cluster, chaque courtier stocke une ou plusieurs de ces partitions. Plusieurs producteurs et consommateurs peuvent publier et récupérer des messages en même temps.
S. Non | Composants et description |
---|---|
1 | Topics Un flux de messages appartenant à une catégorie particulière est appelé un sujet. Les données sont stockées dans des rubriques. Les sujets sont divisés en partitions. Pour chaque sujet, Kafka conserve un mini-mum d'une partition. Chacune de ces partitions contient des messages dans une séquence ordonnée immuable. Une partition est implémentée sous la forme d'un ensemble de fichiers segment de tailles égales. |
2 | Partition Les sujets peuvent avoir de nombreuses partitions, ce qui leur permet de gérer une quantité arbitraire de données. |
3 | Partition offset Chaque message partitionné a un identifiant de séquence unique appelé |
4 | Replicas of partition Les répliques ne sont rien d'autre que des |
5 | Brokers
|
6 | Kafka Cluster Kafka ayant plus d'un courtier est appelé cluster Kafka. Un cluster Kafka peut être étendu sans temps d'arrêt. Ces clusters sont utilisés pour gérer la persistance et la réplication des données de message. |
sept | Producers Les producteurs sont l'éditeur de messages sur un ou plusieurs sujets Kafka. Les producteurs envoient des données aux courtiers Kafka. Chaque fois qu'un producteur publie un message à un courtier, le courtier ajoute simplement le message au dernier fichier segment. En fait, le message sera ajouté à une partition. Le producteur peut également envoyer des messages à une partition de son choix. |
8 | Consumers Les consommateurs lisent les données des courtiers. Les consommateurs s'abonnent à un ou plusieurs sujets et consomment les messages publiés en extrayant les données des courtiers. |
9 | Leader
|
dix | Follower Le nœud qui suit les instructions du leader est appelé comme suiveur. Si le chef échoue, l'un des suiveurs deviendra automatiquement le nouveau chef. Un abonné agit comme un consommateur normal, extrait les messages et met à jour sa propre banque de données. |