Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().
La solution Data Streams Monitoring permet aux équipes d’analyser et de gérer leurs pipelines à grande échelle via un outil centralisé. Vous pourrez ainsi facilement :
Mesurez la santé du pipeline grâce aux latences de bout en bout pour les événements traversant votre système.
Identifiez les producteurs, consommateurs ou files d’attente défectueux, puis basculez vers les logs ou clusters associés pour résoudre les problèmes plus rapidement.
Évitez les retards en cascade en permettant aux responsables de services d’empêcher les événements en attente de saturer les services en aval.
Langages et technologies pris en charge
Data Streams Monitoring instrumente les clients Kafka (consommateurs/producteurs). Si vous pouvez instrumenter votre infrastructure client, vous pouvez utiliser Data Streams Monitoring.
Java
Python
.NET
Node.js
Go
Ruby
Apache Kafka (auto-hébergé, Amazon MSK, Confluent Cloud ou toute autre plateforme d’hébergement)
Amazon Kinesis
Amazon SNS
Amazon SQS
Azure Service Bus
Google Pub/Sub
IBM MQ
RabbitMQ
Data Streams Monitoring nécessite des versions minimales du SDK Datadog. Consultez chaque page de configuration pour plus de détails.
Prise en charge d’OpenTelemetry
Data Streams Monitoring prend en charge OpenTelemetry. Si vous avez configuré Datadog APM pour fonctionner avec OpenTelemetry, aucune configuration supplémentaire n’est requise pour utiliser Data Streams Monitoring. Consultez Compatibilité OpenTelemetry.
Configuration
Par langage
Par technologie
Explorer Data Streams Monitoring
Visualisez l’architecture de vos pipelines de données de streaming
Data Streams Monitoring fournit une carte de topologie prête à l’emploi, afin que vous puissiez visualiser le flux de données à travers vos pipelines et identifier les services producteurs/consommateurs, les dépendances de file d’attente, la propriété des services et les métriques de santé clés.
Mesurez la santé du pipeline de bout en bout avec de nouvelles métriques
Avec Data Streams Monitoring, vous pouvez mesurer le temps qu’il faut habituellement aux événements pour transiter entre deux points quelconques de votre système asynchrone :
Nom de la métrique
Tags notables
Description
data_streams.latency
start, end, env
Latence de bout en bout d’un chemin depuis une source spécifiée jusqu’au service de destination.
data_streams.kafka.lag_seconds
consumer_group, partition, topic, env
Retard en secondes entre le producteur et le consommateur. Nécessite l’Agent Java v1.9.0 ou une version ultérieure.
data_streams.payload_size
consumer_group, topic, env
Débit entrant et sortant en octets.
Vous pouvez également représenter graphiquement et visualiser ces métriques sur n’importe quel dashboard ou notebook :
Surveillez la latence de bout en bout de n’importe quel chemin
Selon la manière dont les événements traversent votre système, différents chemins peuvent entraîner une latence accrue : Avec l’onglet Measure, vous pouvez sélectionner un service de début et un service de fin pour obtenir des informations sur la latence de bout en bout afin d’identifier les goulots d’étranglement et d’optimiser les performances. Créez facilement un monitor pour ce chemin, ou exportez-le vers un dashboard.
Alternativement, cliquez sur un service pour ouvrir un panneau latéral détaillé et afficher l’onglet Pathways pour la latence entre le service et les services en amont.
Alertez sur les ralentissements dans les applications pilotées par les événements
Les ralentissements causés par un retard important des consommateurs ou des messages obsolètes peuvent entraîner des défaillances en cascade et augmenter le downtime. Grâce aux alertes prêtes à l’emploi, vous pouvez identifier où se produisent les goulots d’étranglement dans vos pipelines et y répondre immédiatement. Pour des métriques supplémentaires, Datadog fournit des intégrations additionnelles pour les technologies de file d’attente de messages comme Kafka et SQS.
Grâce aux modèles de monitors prêts à l’emploi de Data Streams Monitoring, vous pouvez configurer des monitors sur des métriques telles que le retard des consommateurs, le débit et la latence en un seul clic.
Cliquez sur « Add Monitors and Synthetic Tests » pour afficher les modèles de monitors
Attribuez les messages entrants à n’importe quelle file d’attente, service ou cluster
Un délai important sur un service consommateur, une utilisation accrue des ressources sur un broker Kafka ou une augmentation de la taille d’une file d’attente RabbitMQ ou Amazon SQS s’explique souvent par des changements dans la manière dont les services adjacents produisent ou consomment auprès de ces entités.
Cliquez sur l’onglet Throughput de n’importe quel service ou file d’attente dans Data Streams Monitoring pour détecter rapidement les changements de débit et identifier le service amont ou aval à l’origine de ces changements. Une fois le Catalogue configuré, vous pouvez immédiatement basculer vers le canal Slack ou l’ingénieur d’astreinte de l’équipe correspondante.
En affichant les données propres à un certain cluster Kafka, RabbitMQ ou Amazon SQS, vous pouvez détecter les variations du trafic entrant ou sortant pour l’ensemble des sujets ou files d’attente détectés sur le cluster en question :
Passez rapidement à l’identification des causes profondes dans l’infrastructure, les logs ou les traces
Datadog lie automatiquement l’infrastructure alimentant vos services et les logs associés via le Unified Service Tagging, afin que vous puissiez facilement localiser les goulots d’étranglement. Cliquez sur les onglets Infra, Logs ou Traces pour approfondir le dépannage des raisons pour lesquelles la latence du chemin ou le retard du consommateur a augmenté.
Surveillez le débit et le statut du connecteur
Datadog peut détecter automatiquement vos connecteurs Confluent Cloud gérés et les visualiser dans la carte de topologie de Data Streams Monitoring. Installez et configurez l’intégration Confluent Cloud pour collecter des informations à partir de vos connecteurs Confluent Cloud, notamment le débit, le statut et les dépendances de topics.
Dépannage
La métrique de latence de bout en bout ne semble pas exacte
Les calculs de latence pour un chemin nécessitent un traitement des messages sur un seul thread. Si les messages de votre pipeline utilisent plusieurs threads, ajoutez une instrumentation manuelle. L’instrumentation manuelle est disponible pour les applications Go et Java. Pour les autres langages, consultez le guide d’instrumentation manuelle. Pour l’instrumentation manuelle .NET, contactez le support.
Dans l’onglet Pathways, le message les valeurs de latence peuvent être approximatives pour ces chemins s’affiche pour les chemins qui nécessitent une instrumentation manuelle pour obtenir des valeurs de latence précises.
Pour aller plus loin
Documentation, liens et articles supplémentaires utiles:
