大数据培训之操作Flume测试监控

最新推荐文章于 2026-07-19 22:18:22 发布

原创最新推荐文章于 2026-07-19 22:18:22 发布 · 152 阅读

本内容遵循CC 4.0 BY-SA版权协议

收录于

当前文章被以下社区和专栏收录：

本文详细介绍如何通过Ganglia监控Flume数据流处理过程，包括配置Flume环境变量、启动Flume任务及观测监控图表等步骤。文章还解释了监控图表中各项指标的具体含义。

操作Flume测试监控

1）修改/opt/module/flume/conf目录下的flume-env.sh配置：

JAVA_OPTS=”-Dflume.monitoring.type=ganglia

-Dflume.monitoring.hosts=192.168.9.102:8649

-Xms100m

-Xmx200m”

2）启动Flume任务

[atguigu@hadoop102 flume]$ bin/flume-ng agent \

–conf conf/ \

–name a1 \

–conf-file job/flume-netcat-logger.conf \

-Dflume.root.logger==INFO,console \

-Dflume.monitoring.type=ganglia \

-Dflume.monitoring.hosts=192.168.9.102:8649

3）发送数据观察ganglia监测图

[atguigu@hadoop102 flume]$ nc localhost 44444

样式如图：

图例说明：

字段（图表名称）	字段含义
EventPutAttemptCount	source尝试写入channel的事件总数量
EventPutSuccessCount	成功写入channel且提交的事件总数量
EventTakeAttemptCount	sink尝试从channel拉取事件的总数量。这不意味着每次事件都被返回，因为sink拉取的时候channel可能没有任何数据。
EventTakeSuccessCount	sink成功读取的事件的总数量
StartTime	channel启动的时间（毫秒）
StopTime	channel停止的时间（毫秒）
ChannelSize	目前channel中事件的总数量
ChannelFillPercentage	channel占用百分比
ChannelCapacity	channel的容量