flink 1.20.X 开发教程

原创 已于 2026-07-16 08:58:51 修改 · 263 阅读 · 5 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
于 2026-07-14 15:19:50 首次发布

1.  使用官方快速创建一个项目

        快速创建项目，目的是减少在开发过程中解决包依赖的关系出现错误和版本冲突的问题，无法调度的问题，浪费大量的时间，官方的网址如下：https://nightlies.apache.org/flink/flink-docs-release-1.20/zh/docs/dev/configuration/overview/

windows&liunx  项目目录下执行如下命令，后面跟上版本

mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.20.3
curl https://flink.apache.org/q/quickstart.sh | bash -s 1.20.3

2. 根据自已项目的需求，开发和引入相关的jar,如下所示一个实例的pom文件

<!--
Licensed to the Apache Software Foundation (ASF) under one
or more contributor license agreements.  See the NOTICE file
distributed with this work for additional information
regarding copyright ownership.  The ASF licenses this file
to you under the Apache License, Version 2.0 (the
"License"); you may not use this file except in compliance
with the License.  You may obtain a copy of the License at

  http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing,
software distributed under the License is distributed on an
"AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY
KIND, either express or implied.  See the License for the
specific language governing permissions and limitations
under the License.
-->
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>org</groupId>
  <artifactId>example</artifactId>
  <version>1.0</version>
  <packaging>jar</packaging>

  <name>Flink Quickstart Job</name>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <flink.version>1.20.2</flink.version>
    <target.java.version>1.8</target.java.version>
    <scala.binary.version>2.12</scala.binary.version>
    <maven.compiler.source>${target.java.version}</maven.compiler.source>
    <maven.compiler.target>${target.java.version}</maven.compiler.target>
    <log4j.version>2.24.3</log4j.version>
    <jedis.version>3.0.1</jedis.version>
  </properties>

  <repositories>
    <repository>
      <id>apache.snapshots</id>
      <name>Apache Development Snapshot Repository</name>
      <url>https://repository.apache.org/content/repositories/snapshots/</url>
      <releases>
        <enabled>false</enabled>
      </releases>
      <snapshots>
        <enabled>true</enabled>
      </snapshots>
    </repository>
  </repositories>

  <dependencies>
    <!-- Apache Flink dependencies -->
    <!-- These dependencies are provided, because they should not be packaged into the JAR file. -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-streaming-java</artifactId>
      <version>${flink.version}</version>
      <scope>provided</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-clients</artifactId>
      <version>${flink.version}</version>
      <scope>provided</scope>
    </dependency>

    <!-- Add connector dependencies here. They must be in the default scope (compile). -->

    <!-- Example:

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka</artifactId>
        <version>3.0.0-1.17</version>
    </dependency>
    -->

    <!-- Add logging framework, to produce console output when running in the IDE. -->
    <!-- These dependencies are excluded from the application JAR by default. -->
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-slf4j-impl</artifactId>
      <version>${log4j.version}</version>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-api</artifactId>
      <version>${log4j.version}</version>
      <scope>runtime</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-core</artifactId>
      <version>${log4j.version}</version>
      <scope>runtime</scope>
    </dependency>
    <!-- 自行添加的内容 -->

    <!-- Flink Kafka 连接器 -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-kafka</artifactId>
      <version>3.2.0-1.18</version>
    </dependency>

    <!-- Flink JDBC 连接器 (核心依赖) -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-jdbc</artifactId>
      <version>3.2.0-1.18</version>
    </dependency>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-base</artifactId>
      <version>1.20.2</version>
    </dependency>

    <!--Flink 官方推荐用 maven-shade-plugin 或 flink-assembly-plugin 统一打包-->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-api-java-bridge</artifactId>
      <version>1.20.2</version>
      <!-- 替换为你的 Flink 版本 确保版本统一管理 -->
      <exclusions>
        <exclusion>
          <artifactId>flink-java</artifactId>
          <groupId>org.apache.flink</groupId>
        </exclusion>
      </exclusions>
    </dependency>
    <!-- Flink Table Planner（必须添加） -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-planner_2.12</artifactId>
      <version>1.20.2</version>
    </dependency>
    <!-- flink-table-runtime 1.20.2 -->
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-table-runtime</artifactId>
      <version>1.20.2</version>
    </dependency>


    <dependency>
      <groupId>com.alibaba</groupId>
      <artifactId>fastjson</artifactId>
      <version>1.2.83</version>
    </dependency>

    <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-api</artifactId>
      <version>1.7.36</version> <!-- 使用最新的版本 -->
    </dependency>

    <!-- 根据你的 MySQL 版本选择合适的版本,连接MYSQL必须要引用 -->
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>8.0.33</version>
    </dependency>

    <dependency>
      <groupId>redis.clients</groupId>
      <artifactId>jedis</artifactId>
      <version>${jedis.version}</version>
    </dependency>

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

  </dependencies>

  <build>
    <plugins>

      <!-- Java Compiler -->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.1</version>
        <configuration>
          <source>${target.java.version}</source>
          <target>${target.java.version}</target>
        </configuration>
      </plugin>

      <!-- We use the maven-shade plugin to create a fat jar that contains all necessary dependencies. -->
      <!-- Change the value of <mainClass>...</mainClass> if your program entry point changes. -->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-shade-plugin</artifactId>
        <version>3.1.1</version>
        <executions>
          <!-- Run shade goal on package phase -->
          <execution>
            <phase>package</phase>
            <goals>
              <goal>shade</goal>
            </goals>
            <configuration>
              <createDependencyReducedPom>false</createDependencyReducedPom>
              <artifactSet>
                <excludes>
                  <exclude>org.apache.flink:flink-shaded-force-shading</exclude>
                  <exclude>com.google.code.findbugs:jsr305</exclude>
                  <exclude>org.slf4j:*</exclude>
                  <exclude>org.apache.logging.log4j:*</exclude>
                </excludes>
              </artifactSet>
              <filters>
                <filter>
                  <!-- Do not copy the signatures in the META-INF folder.
                  Otherwise, this might cause SecurityExceptions when using the JAR. -->
                  <artifact>*:*</artifact>
                  <excludes>
                    <exclude>META-INF/*.SF</exclude>
                    <exclude>META-INF/*.DSA</exclude>
                    <exclude>META-INF/*.RSA</exclude>
                  </excludes>
                </filter>
              </filters>
              <transformers>
                <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                  <mainClass>bi.DataStreamJob</mainClass>
                </transformer>
              </transformers>
            </configuration>
          </execution>
        </executions>
      </plugin>
    </plugins>

    <pluginManagement>
      <plugins>
        <!-- This improves the out-of-the-box experience in Eclipse by resolving some warnings. -->
        <plugin>
          <groupId>org.eclipse.m2e</groupId>
          <artifactId>lifecycle-mapping</artifactId>
          <version>1.0.0</version>
          <configuration>
            <lifecycleMappingMetadata>
              <pluginExecutions>
                <pluginExecution>
                  <pluginExecutionFilter>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-shade-plugin</artifactId>
                    <versionRange>[3.1.1,)</versionRange>
                    <goals>
                      <goal>shade</goal>
                    </goals>
                  </pluginExecutionFilter>
                  <action>
                    <ignore/>
                  </action>
                </pluginExecution>
                <pluginExecution>
                  <pluginExecutionFilter>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <versionRange>[3.1,)</versionRange>
                    <goals>
                      <goal>testCompile</goal>
                      <goal>compile</goal>
                    </goals>
                  </pluginExecutionFilter>
                  <action>
                    <ignore/>
                  </action>
                </pluginExecution>
              </pluginExecutions>
            </lifecycleMappingMetadata>
          </configuration>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
</project>

3  在IDEA本机调试进行下面的设定

3.1 在菜单中Run->Edit Configuarations->Modify  options

        解决提示错误：找不到steam.api相关的类，错误信息如下，

这是由于quickstart模板中Flink依赖的scope默认为provided, 因此IDEA不会加载这些依赖。

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
    <scope>provided</scope>
</dependency>
Caused by: java.lang.ClassNotFoundException: org.apache.flink.streaming.api.datastream.DataStream
3.2 选择启动的主类

            在本地调度时，提示找不到相关的类文件，即出现莫名其妙的错误信息

4. flink程序中如果输出内容，最好是使用system.out.println，在resource输出配置内容

        使用system.out.println在任何时候都可以显示，如果SLF4J 时，可能不会显示输出的内容，info的内容不会输出

    private static final Logger logger = LoggerFactory.getLogger(MachineRealTimeState.class);

   logger.info("machine:" + machineId + " rungingCount:" + runningCount + " 稼动率: " + availabilityRate);

5. 报错信息如下：

        解决方案：同第3点解决的问题是一致的。

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/shaded/guava30/com/google/common/collect/ImmutableList
	at org.apache.flink.runtime.util.config.memory.ManagedMemoryUtils.<clinit>(ManagedMemoryUtils.java:57)
	at org.apache.flink.streaming.api.graph.SimpleTransformationTranslator.configure(SimpleTransformationTranslator.java:121)
	at org.apache.flink.streaming.api.graph.SimpleTransformationTranslator.translateForStreaming(SimpleTransformationTranslator.java:63)
	at org.apache.flink.streaming.api.graph.StreamGraphGenerator.translate(StreamGraphGenerator.java:812)
	at org.apache.flink.streaming.api.graph.StreamGraphGenerator.transform(StreamGraphGenerator.java:534)
	at org.apache.flink.streaming.api.graph.StreamGraphGenerator.getParentInputIds(StreamGraphGenerator.java:833)
	at org.apache.flink.streaming.api.graph.StreamGraphGenerator.translate(StreamGraphGenerator.java:791)
	at org.apache.flink.streaming.api.graph.StreamGraphGenerator.transform(StreamGraphGenerator.java:534)
	at org.apache.flink.streaming.api.graph.StreamGraphGenerator.generate(StreamGraphGenerator.java:284)
	at org.apache.flink.streaming.api.environment.StreamExecutionEnvironment.getStreamGraph(StreamExecutionEnvironment.java:2523)
	at org.apache.flink.streaming.api.environment.StreamExecutionEnvironment.getStreamGraph(StreamExecutionEnvironment.java:2514)
	at org.apache.flink.streaming.api.environment.StreamExecutionEnvironment.getStreamGraph(StreamExecutionEnvironment.java:2500)
	at org.apache.flink.streaming.api.environment.StreamExecutionEnvironment.execute(StreamExecutionEnvironment.java:2319)
	at org.example.InventorySumBroadcast3.main(InventorySumBroadcast3.java:154)
	at org.example.App.main(App.java:32)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.shaded.guava30.com.google.common.collect.ImmutableList
	at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:641)
	at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:188)
	at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:525)
	... 15 more
序号项目教程网址备注
1处理启动时找不到类相关的错误IDEA无法运行或调试Flink的解决方式 - 我是小马 - 博客园pom引用范围引的错误

标签
#flink #大数据
yqj234
关注
Flink 1.20 版本发布，一些值得注意的特性！
微信搜：import_bigdata，大数据领域硬核原创作者
08-05 5029
8月2日，Flink1.20版本发布，一边听歌一边看我分析。（戳上面????听歌）本文基于官方网站的Release Note做一个简单的分析，看看哪些内容是更加值得我们关注的。在定位上，这个版本是一个2.0版本之前的过渡版本，也是1.x时代最后一个版本。这个版本中有很多细小的变动，和一些MVP版本的开发，那站在用户的角度，比较值得注意的几个特性有哪些：物化表1.20版本引入了一个 物化表(Materia...
官宣｜Apache Flink 1.20 发布公告
Ververica的博客
08-07 3998
Apache Flink PMC（项目管理委员）很高兴地宣布发布 Apache Flink 1.20.0。与往常一样，这是一个充实的版本，包含了广泛的改进和新功能。总共有 142 人为此版本做出了贡献，完成了 13 个 FLIPs、解决了 300 多个问题。
CM6.3.X 部署Flink1.9.0服务
weixin_40004348的博客
07-09 968
CM6.3.X 部署Flink1.9.0服务 1.下载Flink包 下载方式1，官网下载parcel，manifest，csa 包及文件。 https://archive.cloudera.com/csa/1.0.0.0/parcels/ https://archive.cloudera.com/csa/1.0.0.0/csd/ 下载方式2：提供百度网盘下载地址，内含上面三个包。官网下载比较慢 预计3小时 百度网盘：https://pan.baidu.com/s/1DVG8z77wGOohQSamerq
【Kafka-3.x-教程】-【六】Kafka 外部系统集成 【Flume、Flink、SpringBoot、Spark】
weixin_53543905的博客
01-10 1614
（3）在 main 下创建 scala 文件夹，并右键 Mark Directory as Sources Root -> 在 scala 下创建包名为 com.test.spark。可以用于 Kafka 的生产者，也可以用于 SpringBoot 的消费者。可以用于 Kafka 的生产者，也可以用于Flume 的消费者。Flink 是一个在大数据开发中非常常用的组件。可以用于 Kafka 的生产者，也可以用于Flink 的消费者。可以用于 Kafka 的生产者，也可以用于Spark 的消费者。
在JDK17尝鲜Flink1.17
虎鲸不是鱼
07-03 6600
在JDK17尝鲜Flink1.17 前言 还没玩明白老版本，Flink1.17就来了！！！总还是要向前看的。。。 根据官网文档：https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/try-flink/local_installation/ Flink runs on all UNIX-like environments, i.e. Linux, Mac OS X, and Cygwin (for Windows). You nee
Flink 1.20 + Paimon 1.11 实时数仓搭建实录：我是如何解决CDC同步中Kafka依赖冲突这个‘钉子户’问题的
weixin_33728268的博客
04-06 409
本文详细记录了在Flink 1.20与Paimon 1.11构建实时数仓过程中，如何解决CDC同步中的Kafka依赖冲突问题。通过分析FlinkCDC的依赖结构、ClassLoader加载机制及Paimon的特殊要求，提供了构建自定义胖包、优化ClassLoader配置等系统性解决方案，帮助开发者高效解决类似技术难题。
Flink CDC 3.6.0：支持 Flink 1.20/2.2, MySQL/PostgreSQL入湖入流支持Schema Evolution
Ververica的博客
04-02 2372
Apache Flink CDC 3.6.0 正式发布！支持 Flink 1.20.x/2.2.x 与 JDK 11，增强端到端 Schema Evolution（MySQL/PostgreSQL 入湖入流），新增 Oracle Source 与 Hudi Sink 连接器，全面覆盖主流数据湖生态，并优化 Transform 框架、YAML 路由及多连接器能力。（239字）
Flink CDC 深度解析：从原理到实践的全链路指南
weixin_47983718的博客
07-14 612
Flink CDC（Change Data Capture）是 Apache Flink 生态中面向实时数据集成的核心组件，它通过捕获数据库的增量变更，实现了低延迟、高可靠的端到端数据同步。本文将从 CDC 技术背景出发，深入剖析 Flink CDC 的架构设计与核心算法（增量快照算法），全面对比其优缺点与适用场景。
深入浅出 Flink DataStream API：原理与使用
weixin_47983718的博客
07-18 310
Apache Flink 的 DataStream API 是构建有状态流处理应用的核心编程接口，提供了更细粒度的控制能力，适合处理复杂事件驱动、自定义状态逻辑及精确时间语义等场景。
图片上传即理解：用 Flink 事件驱动链路实时打标 + 生成 Embedding 向量
最新发布
Ververica的博客
07-18 354
本文介绍如何使用阿里云实时计算 Flink 搭建一条"图片实时打标 + Embedding 计算"的事件驱动链路。通过 OSS CDC Connector 消费上传事件，在同一条 Flink 作业中并行调用百炼视觉大模型生成分类标签、调用本地 ResNet18 生成 512 维 Embedding 向量，实现图片上传即理解、即检索。A：将 imagenet_labels() 函数返回的 ImageNet 1000 类替换为业务标签列表即可。ai_classify 接口接受任意字符串列表作为候选标签。
实时流处理：Flink数据清洗 —— 从DataStream到CEP的完整实战指南
从事移动开发八年，csdn博客专家，阿里云特邀专家，华为云云享专家，高级网络信息安全工程师，大数据工程师（高级），python技术开发（高级），HarmonyOS 应用开发者高级认证，现在某学校任教。
07-14 50
在上一篇关于HDFS+Spark数据湖架构的文章中，我们构建了一个可靠的离线数据存储与批处理体系。然而，面对金融交易风控、IoT设备监控、电商实时推荐等场景，分钟级甚至小时级的批处理延迟已无法满足业务需求。Apache Flink作为业界领先的分布式流处理引擎，以其真正的流处理优先架构毫秒级延迟和精确一次（Exactly-Once）语义保障，成为实时数据处理领域的事实标准。本文将围绕。
聊聊Flink的几种血缘方案
weixin_47983718的博客
07-16 353
数据血缘是实时数据治理的核心能力，能够追踪数据从产生、流转到消费的完整链路，本文简单介绍FLink作业从代码编写到提交运行过程中不同阶段实现的几种血缘方案。
Elasticsearch信创国产化替代
shaoqigulang的博客
07-13 495
性能全面提升：相较于Elasticsearch，用户迁移到星环科技Transwarp Scope之后，可以实现海量存储能力，极大降低用户硬件和运维成本，数据读写性能、日志分析性能和数据检索性能大幅提升，可确保百节点以上规模集群稳定运行，强一致性写入能力确保读写数据不丢。数据读写性能受限，直接影响查询操作的并发度和数据入仓的效率。Elasticsearch缺乏“增量数据”的概念，当单点发生故障进行数据恢复时，采用全量数据拷贝方式恢复数据，工作量大，往往需要小时级的时间才能恢复服务，严重影响服务的正常进行。
阿里云 Lindorm vs Elasticsearch 检索存储一体对比：多模数据库一站式方案首选
Database_Cool_的博客
07-17 153
阿里云 Lindorm 检索 + 存储一体化方案，特别适用于以下场景：大规模日志检索 + 存储：日写入量 > 100GB，保留周期 > 30 天，需要全文检索且成本敏感ES 集群降本迁移：已有 ES 检索系统，希望在保留全文检索能力的前提下将存储成本降低 70%多模融合数据底座：同时需要宽表查询、时序分析、全文检索、向量搜索的一站式方案AI 应用检索层：RAG 知识库、Agent 记忆库、智能搜索等需要向量 + 全文混合检索的场景。
2026化工行业 GHS/CLP 国产标签打印软件合规打印方案
stonewl2599的博客
07-16 249
但国内多数化工企业仍沿用「人工设计、本地模板、手动录入、分散打印」的传统管理模式，普遍存在标准落地不统一、信息错漏印、版本混乱、追溯缺失等问题，极易引发监管处罚、货物滞港、安全事故与品牌损失。分散管理模式无法适配严苛监管与集团化运营需求，而采用敖维标识系统（码尚自动化版、企业版、集团管控平台）的统一模板、自动数据、闭环审核、全程追溯的数字化管控方式，能够系统性解决信息错漏、版本失控、合规风险等问题，让标签管理从。流通受阻风险：港口、物流、商超、海外客户拒收不合规产品，导致退货、滞港、订单损失；
有什么AI工具可以做商品图？电商卖家常用AI商品图工具分享
2611_96226554的博客
07-13 426
有什么 AI 工具可以做商品图?这是最近很多电商卖家问得最多的问题。今天我会结合自己和身边商家的实测经验，给大家推荐五款真正好用、能落地的 AI 商品图工具。
Prometheus——一套开源、时序数据库 + 监控告警系统、云原生标配监控方案
newbie_fight的博客
07-17 379
Prometheus是由SoundCloud开源的云原生时序数据库和监控告警系统，采用Pull模式采集各类指标数据，支持多维度标签存储和PromQL查询语言。其核心组件包括Server、Exporter、Pushgateway、Alertmanager和Grafana，适用于Kubernetes、服务器、中间件和业务指标监控等场景。优势在于架构简单、适配云原生、灵活的PromQL和丰富生态，但存在单机存储瓶颈、Pull模式限制和权限管理不足等缺点。可通过Docker部署，并在Java项目中通过Spring
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值