springboot整合flink(二)

原创已于 2022-11-05 12:02:02 修改 · 1.6k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

flink系列教程

于 2022-10-31 15:09:38 首次发布

博客主要围绕大数据相关技术展开。先是介绍了Kafka和Zookeeper的安装，包括百度网盘下载链接，还阐述了配置时遇到的问题及解决办法，以及服务器内存过高的解决措施。接着讲述了Spring Boot整合Flink时序列化报错的情况，查阅了Flink序列化规则并研究源码分析出错原因。

一、安装kafka zk

1.百度网盘下载：

链接：kafka,zookeeper
提取码：681v

2.配置kafka和zookeeper遇到的问题

错误1

org.apache.kafka.common.KafkaException: Socket server failed to bind to 114.115.20.100:9092: Cannot

kafka操作命令，用–bootstrap-server

./kafka-console-producer.sh --bootstrap-server ip:9092 --topic test_01

错误2

WARN [Producer clientId=console-producer] Error while fetching metadata with correlation id 9 : {test_01=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)
解决: 编辑service.properties，修改为：
listeners=PLAINTEXT://:9092
此处的localhost是对外开发的ip
advertised.listeners = PLAINTEXT://localhost:9092

错误3

org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for
解决: 编辑service.properties，修改为：
改成localhost，zookeeper还是指定的ip

3.服务器内存过高

解决办法1：

top -p 394378
ps -ef|grep pid 查看是什么占用

解决办法2：

解释：To free pagecache:仅清除页面缓存（PageCache）
echo 1 > /proc/sys/vm/drop_caches
解释：To free dentries and inodes:清除目录项和inode
echo 2 > /proc/sys/vm/drop_caches
解释：To free pagecache, dentries and inodes:清除页面缓存，目录项和inode
echo 3 > /proc/sys/vm/drop_caches
-------------------------环境整好后，开始进入整合------------------------