Kafka 消息队列 --Kafka 的各种 Shell 操作

关注

原创最新推荐文章于 2025-01-12 19:22:22 发布 800 阅读 AI 写同款· GEO 优化 ›

Kafka 的各种 Shell 操作

1、启动集群每个节点的进程：

nohup kafka-server-start.sh \ 
/home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties \ 
1>~/logs/kafka_std.log \ 
2>~/logs/kafka_err.log &

2、创建 topic

kafka-topics.sh \ 
--create \ 
--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181 \ 
--replication-factor 3 \ 
--partitions 10 \ 
--topic kafka_test 


kafka-topics.sh \ 
--create \ 
--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181 \ 
--replication-factor 1 \ 
--partitions 1 \ 
--topic weblog 

参数解释： 
--create  创建 kafka topic 
--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181  指定 kafka 的 zookeeper 地址 
--partitions  指定分区的个数 
--replication-factor  指定每个分区的副本个数

3、查看已经创建的所有 kafka topic

kafka-topics.sh \ 
--list \ 
--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181

4、查看某个指定的 kafka topic 的详细信息：

4、开启生产者模拟生成数据：

kafka-console-producer.sh \

--broker-list hadoop02:9092,hadoop03:9092,hadoop04:9092,hadoop05:9092 \

--topic kafka_test

5、开启消费者模拟消费数据：

kafka-console-consumer.sh \

--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181 \

--from-beginning \

--topic kafka_test

6、查看某 topic 某个分区的偏移量最大值和最小值

7、增加 topic 分区数

8、删除 Topic

收录于

Kafka

Kafka消息队列简介及Shell操作 Kafka消息队列 介绍 Kafka是由Apache软件基金会开发的一个开源流平台，由Scala和Java编写。Kafka的Apache官网是这样介绍Kakfa的。 Apache Kafka是一个分布式流平台。一个分布式的流平台应该包含3点关键的能力： 1.发布和订阅流数据流，类似于消息队列或者是企业消息传递系统 2.以容错的持久化方式存储数据流 3.处理数据流一:消息队列的应用场景: 异步处理系统解耦流量削峰日志处理（大数据领域常见）二: Kafka模型 2.1点对点模式 2.2:发布订阅读详情

Kafka 消息队列 --Kafka 的各种 Shell 操作

Kafka 的各种 Shell 操作

1、启动集群每个节点的进程：

2、创建 topic

3、查看已经创建的所有 kafka topic

4、查看某个指定的 kafka topic 的详细信息：

4、开启生产者模拟生成数据：

kafka-console-producer.sh \

--broker-list hadoop02:9092,hadoop03:9092,hadoop04:9092,hadoop05:9092 \

--topic kafka_test

5、开启消费者模拟消费数据：

kafka-console-consumer.sh \

--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181 \

--from-beginning \

--topic kafka_test

6、查看某 topic 某个分区的偏移量最大值和最小值

7、增加 topic 分区数

8、删除 Topic

相关推荐