Table des matières:
Définition - Que signifie Apache Kafka?
Apache Kafka est un système de messagerie open-source de publication-abonnement conçu pour fournir une gestion rapide, évolutive et tolérante aux pannes des flux de données en temps réel. Contrairement aux logiciels de messagerie d'entreprise traditionnels, Kafka est capable de gérer toutes les données circulant dans une entreprise et de le faire en temps quasi réel.
Kafka est écrit en Scala et a été développé à l'origine par LinkedIn. Depuis lors, un certain nombre d'entreprises l'ont utilisé pour créer des plateformes en temps réel.
Techopedia explique Apache Kafka
Kafka présente de nombreuses similitudes avec les journaux de transactions et gère des flux de messages dans les rubriques. Les producteurs écrivent des données sur des sujets et les consommateurs lisent à partir de ces sujets, qui sont partitionnés et répliqués sur plusieurs nœuds dans un format de système distribué. Kafka est unique en ce qu'il traite chaque partition de rubrique comme un journal et chaque message d'une partition se voit attribuer un décalage unique. Il conserve tous les messages pendant un certain temps et les consommateurs sont responsables du suivi de leur emplacement dans chaque journal. Cela diffère des systèmes précédents, où les courtiers étaient responsables de ce suivi, ce qui limitait considérablement la capacité du système à évoluer à mesure que le nombre de consommateurs augmentait. Cette structure permet à Kafka de prendre en charge de nombreux consommateurs et de conserver de grandes quantités de données avec des frais généraux très faibles.
Kafka peut être utilisé:
- En tant que courtier de messages traditionnel
- Pour le suivi de l'activité du site Web
- Pour l'agrégation de journaux
- Pour le traitement de flux de données volumineuses
Kafka peut être utilisé avec Apache Storm, Apache HBase et Apache Spark pour l'analyse et le rendu en temps réel des données en streaming.
