Services Web Amazon - Kinesis

Amazon Kinesisest un service infonuagique géré et évolutif qui permet le traitement en temps réel de la diffusion en continu d'une grande quantité de données par seconde. Il est conçu pour les applications en temps réel et permet aux développeurs d'absorber n'importe quelle quantité de données provenant de plusieurs sources, en augmentant et en diminuant les capacités qui peuvent être exécutées sur des instances EC2.

Il est utilisé pour capturer, stocker et traiter les données à partir de grands flux distribués tels que les journaux d'événements et les flux de médias sociaux. Après avoir traité les données, Kinesis les distribue à plusieurs consommateurs simultanément.

Comment utiliser Amazon KCL?

Il est utilisé dans des situations où nous avons besoin de données en mouvement rapide et de leur traitement continu. Amazon Kinesis peut être utilisé dans les situations suivantes:

  • Data log and data feed intake- Nous n'avons pas besoin d'attendre pour regrouper les données, nous pouvons pousser les données vers un flux Amazon Kinesis dès que les données sont produites. Il protège également la perte de données en cas de défaillance du producteur de données. Par exemple: les journaux système et d'application peuvent être ajoutés en continu à un flux et peuvent être disponibles en quelques secondes si nécessaire.

  • Real-time graphs- Nous pouvons extraire des graphiques / métriques à l'aide du flux Amazon Kinesis pour créer des résultats de rapport. Nous n'avons pas besoin d'attendre les lots de données.

  • Real-time data analytics - Nous pouvons exécuter des analyses de données en continu en temps réel à l'aide d'Amazon Kinesis.

Limites d'Amazon Kinesis?

Voici certaines limites à garder à l'esprit lors de l'utilisation d'Amazon Kinesis Streams -

  • Les enregistrements d'un flux peuvent être accessibles jusqu'à 24 heures par défaut et peuvent être prolongés jusqu'à 7 jours en activant la conservation étendue des données.

  • La taille maximale d'un objet blob de données (la charge de données avant le codage Base64) dans un enregistrement est de 1 mégaoctet (Mo).

  • Une partition prend en charge jusqu'à 1000 enregistrements PUT par seconde.

  • Pour plus d'informations sur les limites, visitez le lien suivant - https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html

Comment utiliser Amazon Kinesis?

Voici les étapes pour utiliser Amazon Kinesis -

Step 1 - Configurez Kinesis Stream en suivant les étapes suivantes -

  • Connectez-vous au compte AWS. Sélectionnez Amazon Kinesis dans Amazon Management Console.

  • Cliquez sur Créer un flux et remplissez les champs requis tels que le nom du flux et le nombre de fragments. Cliquez sur le bouton Créer.

  • Le flux sera désormais visible dans la liste des flux.

Step 2- Configurer les utilisateurs sur le flux Kinesis. Créer de nouveaux utilisateurs et attribuer une stratégie à chaque utilisateur (nous avons discuté de la procédure ci-dessus pour créer des utilisateurs et leur attribuer une stratégie)

Step 3- Connectez votre application à Amazon Kinesis; ici, nous connectons Zoomdata à Amazon Kinesis. Voici les étapes de connexion.

  • Connectez-vous à Zoomdata en tant qu'administrateur et cliquez sur Sources dans le menu.

  • Sélectionnez l'icône Kinesis et remplissez les détails requis. Cliquez sur le bouton Suivant.

  • Sélectionnez le flux souhaité dans l'onglet Flux.

  • Dans l'onglet Champs, créez des noms d'étiquettes uniques, selon vos besoins et cliquez sur le bouton Suivant.

  • Dans l'onglet Graphiques, activez les graphiques pour les données. Personnalisez les paramètres selon vos besoins, puis cliquez sur le bouton Terminer pour enregistrer le paramètre.

Caractéristiques d'Amazon Kinesis

  • Real-time processing - Il permet de collecter et d'analyser des informations en temps réel comme les cours boursiers, sinon nous devons attendre le rapport de sortie de données.

  • Easy to use - En utilisant Amazon Kinesis, nous pouvons créer un nouveau flux, définir ses exigences et commencer à diffuser rapidement des données.

  • High throughput, elastic - Il permet de collecter et d'analyser des informations en temps réel comme les cours boursiers, sinon nous devons attendre le rapport de sortie de données.

  • Integrate with other Amazon services - Il peut être intégré à Amazon Redshift, Amazon S3 et Amazon DynamoDB.

  • Build kinesis applications- Amazon Kinesis fournit aux développeurs des bibliothèques clientes qui permettent la conception et l'exploitation d'applications de traitement de données en temps réel. Ajoutez la bibliothèque client Amazon Kinesis à l'application Java et elle vous informera lorsque de nouvelles données seront disponibles pour le traitement.

  • Cost-efficient- Amazon Kinesis est rentable pour les charges de travail de toute échelle. Payez au fur et à mesure les ressources utilisées et payez toutes les heures pour le débit requis.