Apache Kafka est un système de messagerie open source, tolérant aux pannes, développé par LinkedIn. Kafka est souvent utilisé à la place des brokers de messages traditionnels en raison de ses capacités d'évolutivité et de réplication, de sa fiabilité et des meilleurs débits qu’il propose.

La conception en cluster de Kafka offre une plus grande tolérance aux pannes. Comme Kafka est un système distribué, les sujets sont partitionnés et répliqués sur plusieurs nœuds. L'outil recèle de nombreuses possibilités lorsqu'on creuse le sujet. Avec son suivi avancé des performances et ses alertes rapides en cas de problème, Kafka peut être une option très attrayante pour l'intégration des données.

Applications Manager recueille toutes les mesures de performance qui peuvent vous aider lors de la résolution de problèmes sur Kafka et vous alerte sur ceux qui nécessitent des mesures correctives.

Surveillez l’utilisation des ressources systèmes

Découvrez automatiquement les serveurs Kafka et obtenez des informations détaillées sur l'utilisation des ressources comme la mémoire, le processeur et l’espace disque au fil du temps, pour vous assurer de ne pas manquer de ressources. Assurez-vous que votre serveur Apache Kafka fonctionne comme prévu. Recevez des messages rapidement chaque fois qu'il y a des augmentations soudaines de la consommation des ressources ou des comportements inhabituels.

Gardez un œil sur l’utilisation des threads et JVM

Etant donné que Kafka s’exécute dans une machine virtuelle Java (JVM), il repose sur un processus de « ramasse-miettes » (garbage collector) Java pour libérer de la mémoire. Plus l’activité sera importante sur votre cluster Kafka, plus le ramasse-miettes sera exécuté. Surveillez la taille des tas JVM et veillez à ce que les threads ne surchargent pas la mémoire du serveur. Gardez un œil sur l'utilisation des threads avec des métriques comme le compteur de Daemon, de Peak et de Live Thread pour éviter les goulots d'étranglement dans votre système.

Comprendre les statistiques de brokers, contrôleurs et de réplication

Dans un cluster Kafka, l'un des brokers sert de contrôleur, qui est responsable de la gestion de l’état des partitions et des répliques et effectue des tâches administratives comme la réattribution des partitions. Surveillez les contrôleurs actifs pour voir quel broker était le contrôleur lorsqu’un problème est survenu, et le nombre de partitions hors ligne pour éviter les interruptions de service. Suivez les partitions non-répliquées pour observer si la réplication va aussi vite qu’elle est configurée.

Surveiller les informations du réseau et des sujets

Obtenez une image complète de l'utilisation du réseau sur votre hôte, surveillez le débit du réseau ou une agrégation des débits entrants et sortants totaux sur vos sujets et découvrez notamment où se situent les goulots d'étranglement potentiels. Prenez des décisions informées comme compresser ou non vos messages de bout en bout.

Résoudre les problèmes de performance plus rapidement

Recevez des notifications instantanées lorsque des problèmes de performances apparaissent sur les composants d'Apache Kafka. Prenez connaissance des goulets d'étranglement et découvrez les applications qui sont à l'origine d’une utilisation excessive. Prenez des mesures correctives rapides avant que vos utilisateurs finaux n'éprouvent des problèmes.