Apache DolphinScheduler 使用常见问题总结(持续更新中)

限时加码!20+主流AI编程工具免费用 购周边加赠Coding Plan Lite,Claude Code、Cursor等即刻畅享,学习进阶更高效! 阅读详情

说明

文章中常见问题是在使用过程中发现的,如果文章没有你遇到的问题,请到github上提交issue。

官网地址

github issue地址

使用注意事项
安装包与安装目录
	安装包:是下载的的源文件,只有在安装时候才会用到,相安装好调度可以删除该目录。
	安装目录:运行install.sh后调度安装的目录,对调度管理都在安装目录下操作,比如 启停服务,、配置、查看日志等等。
	官网文档中的描述如下(配置在install.sh中),**记住**任何操作都在安装目录下操作。
 #将DS安装到哪个目录,如: /opt/soft/dolphinscheduler,不同于现在的目录
  installPath="/opt/soft/dolphinscheduler"
日志查看目录

假设安装调度时候安装配置为 installPath="/opt/soft/dolphinscheduler",那么日志目录就在
/opt/soft/dolphinscheduler/logs 下

查看worker 日志
tail -f /opt/soft/dolphinscheduler/logs/dolphinscheduler-worker.log

查看master日志
tail -f /opt/soft/dolphinscheduler/logs/dolphinscheduler-master.log

查看api 日志

tail -f /opt/soft/dolphinscheduler/logs/dolphinscheduler-api-server.log

查看告警alert日志

tail -f /opt/soft/dolphinscheduler/logs/dolphinscheduler-alert.log

查看日志服务logger日志

tail -f /opt/soft/dolphinscheduler/logs/dolphinscheduler-logger-server-huaweiyun.out

huaweiyun为hostname,自行修改成你本地的

开发环境常见问题

API启动端口是8080不是12345

在初始化环境中api默认配置12345,
解决办法
编辑运行配置,增加如下配置

-Dserver-api-server -Dspring.profiles.active=api

在这里插入图片描述

找不到mysql驱动

由于DolphinScheduler 默认使用的postgresql,默认没有引入mysql驱动依赖。需要手动修改pom。

解决办法:
找到根目录下pom.xml的

<dependency>
	<groupId>mysql</groupId>
	<artifactId>mysql-connector-java</artifactId>
	<version>${mysql.connector.version}</version>
	<scope>test</scope>
</dependency>

去掉 < scope>test< /scope> 就ok

在这里插入图片描述

重新 import maven依赖。

worker 执行失败报NPE空指针

在这里插入图片描述

解决办法:
在WorkServer vm options 添加如下参数

-Dspring.profiles.active=worker -Dlogging.config=“dolphinscheduler-server/src/main/resources/logback-worker.xml”

在这里插入图片描述
如果报文件找不到去掉双引号

-Dspring.profiles.active=worker -Dlogging.config=dolphinscheduler-server/src/main/resources/logback-worker.xml

调度部署常见问题

ubuntu 部署报错 source: not found

在这里插入图片描述

解决办法

可以百度google 关键词 ubuntu source: not found 里面有解决方案

访问API服务报错404

在这里插入图片描述

解决办法

上面请求少了工程名称,完整地址是 http://ip:12345/dolphinscheduler/

API默认端口12235

调度使用常见问题

系统初始化登录失败

一般这个错就是密码记错了,调度初始密码如下,注意拷贝不要有空格
账号: admin
密码: dolphinscheduler123

监控页面Master Worker 页面一直都在努力加载中或者查询无数据

通过命令jps,能看到WorkerServer和MasterServer进程。有可能的原因zk挂掉了。
在这里插入图片描述

解决办法

查看zk是否启动。如果没有启动就把zk服务启动好。再监控页面看看Master Worker 状态

工作流手动运行成功,但是任务实例页面没有数据

这个问题因素比较多,先假设 zk,worker master 都启动成功情况下
通过查看worker日志,发现有日志 load or availablePhysicalMemorySize(G) is too high,问题同后面的问题load or availablePhysicalMemorySize(G) is too high

DolphinScheduler 无法创建租户问题的原因分析与解决方案 DolphinScheduler 无法创建租户的问题通常由权限、数据库配置或版本兼容等原因引起。通过排查用户权限、配置文件、数据库表结构和日志,可以定位问题并采取相应的措施解决。如果使用的是较老版本的 DolphinScheduler,建议升级到最新的稳定版本。如果使用的版本较旧,可能存在 Bug 导致无法创建租户。DolphinScheduler 的配置文件中可能存在错误配置,特别是与租户管理相关的配置项未正确启用或配置错误。如果表已经存在,但数据无法写入,可以检查数据库日志是否存在相关的错误。 阅读详情

相关推荐

dolphinscheduler啓動失敗:Caused by: org.apache.dolphinscheduler.registry.api.RegistryException: zookeepe

## dolphinscheduler啓動失敗:Caused by: org.apache.dolphinscheduler.registry.api.RegistryException: zookeeper connect timeout

m0_37759590的博客 4364

【已解决】DolphinScheduler连接Zookeeper超时定位

DolphinScheduler 使用 ZooKeeper 作为注册中心,实现了服务的注册与发现。在分布式系统中,注册中心的作用是管理服务实例的信息,并允许其他服务在需要时发现和连接到这些实例。

Red_super的博客 3265

记录使用helm安装dolphinscheduler使用“资源中心”,提示“存储未启用”

解决使用helm部署dolphinscheduler到k8s中,使用“资源中心”时,提示“存储未启用”

xyw19991006的博客 5510

Caused by: org.apache.dolphinscheduler.registry.api.RegistryException: zookeeper connect timeout

5. 这三个参数加大超时时间,zookeeper 的配置可以进入容器,修改zoo.cfg,也可以改docker配置,将tickTime时间加大。4.最终解决方案为配置docker 启动的镜像相关zookeeper参数, 将相关时间加大,即可解决!部署机器相关防火墙是否打开,2181,12345等相关。其他相关用的命令忘记了.... ==~2.github 海豚官方issue 相关issue也查看了。docker 配置海豚调度平台,启动报错。ping 目标机器 : 没有问题。

求是 889

ds资源中心

ds资源中心

低码开发 4803

Apache DolphinScheduler 社区5月月报更新

各位热爱 DolphinScheduler 的小伙伴们,社区5月份月报更新啦!这里将记录 DolphinScheduler 社区每月的重要更新,欢迎关注,期待下个月你也登上Merge Star月度榜单哦~

Apache DolphinScheduler开源社区 553

apache-dolphinscheduler使用问题总结

一、租户问题 二、指定虚拟python环境的python类型任务的执行时环境变量问题 三、资源中心创建目录或者文件失败 四、由zookeeper同步引起的shutdown问题

weixin_45450027的博客 3583

11月 | Apache DolphinScheduler月度进展总结

各位热爱 Apache DolphinScheduler 的小伙伴们,社区10月份月报更新啦!这里将记录 DolphinScheduler 社区每月的重要更新,欢迎关注!

Apache DolphinScheduler开源社区 1518

Apache DolphinScheduler:3分钟掌握现代数据编排平台的核心价值

Apache DolphinScheduler 是一个开源的分布式、易扩展的可视化DAG工作流任务调度系统,专为复杂的数据处理流程而设计。如果你正在寻找一个能够轻松管理ETL任务、机器学习流水线或大数据处理工作流的解决方案,那么Apache DolphinScheduler可能就是你的最佳选择。这个现代化的数据编排平台让复杂的任务调度变得简单直观,真正实现了"开箱即用"的承诺。 ## 🚀 为什

gitblog_00994的博客 655

Apache DolphinScheduler Worker Task执行原理解析

Apache DolphinScheduler是一个分布式、易扩展的可视化工作流调度开源系统,适用于企业级场景。它提供了以下主要功能,通过可视化操作,提供了工作流和任务全生命周期的数据处理解决方案。白鲸开源是一家开源原生的 DataOPS 商业公司,由多个Apache基金会成员创立。公司主要参与贡献了两个Apache开源项目,一个是Apache DolphinScheduler,另一个是Apache SeaTunnel。基于这两个项目,我们打造了一个商业产品——WhaleStudio。

Apache DolphinScheduler开源社区 1922

Apache DolphinScheduler:数据治理中数据质检利器

Apache DolphinScheduler是一个分布式、可视化的工作流任务调度平台,主要用于解决复杂任务依赖关系下的调度问题。其核心应用场景包括:1)大数据ETL/ELT处理,支持多类型任务和定时调度;2)机器学习流程管理,实现从数据准备到模型部署的全周期编排;3)系统运维自动化,执行定期维护任务;4)业务系统整合,串联跨系统业务流程;5)实时数据处理辅助。该平台特别适合具有任务依赖、多技术栈、需要高可靠性和可视化监控的工作场景,是数据领域和自动化领域的"工作流大脑。

友莘居士的博客 1555

Apache DolphinScheduler 3.2.2 版本正式发布!

Improvement-16125][dolphinscheduler-dist] 减少二进制分发 tarball 文件的大小 ([Improvement-15603][API] 删除、修改工作流时,系统可以检查是否有任何任务依赖于它。[Improvement-15919][datasource] Improvement数据源获取名称 ([Bug][dolphinscheduler-task-seatunnel] 脚本资源文件路径错误 (

Apache DolphinScheduler开源社区 2521

Apache DolphinScheduler 社区 3 月月报

社区3月月报来啦!

Apache DolphinScheduler开源社区 1341

Apache DolphinScheduler社区9月进展记录

各位热爱 Apache DolphinScheduler 的小伙伴们,社区 9 月月报更新啦!这里将记录 Apache DolphinScheduler 社区每月的重要更新,欢迎关注!

Apache DolphinScheduler开源社区 790

Apache DolphinScheduler Studio 安装与使用指南

Apache DolphinScheduler Studio 安装与使用指南 1. 项目介绍 Apache DolphinScheduler 是一个分布式的、可扩展的、可视化DAG (有向无环图) 工作流任务调度系统。它特别设计用于解决大数据处理过程中的任务编排问题,简化数据研发ETL流程中复杂的任务依赖关系并提供直观的任务健康状态监控。 DolphinScheduler的核心特性包括: 可视化...

gitblog_00182的博客 1038

Apache DolphinScheduler的官网正式上线了

DolphinScheduler的官网正式上线了: https://dolphinscheduler.apache.org , 后续的文档都将直接维护在官网上哈! 特此告知,欢迎关注!

数据之路 6487

Apache DolphinScheduler 社区年度总结

点亮⭐️Star · 照亮开源之路https://github.com/apache/dolphinscheduler2022 年,Apache DolphinScheduler 在社区的帮助下又度过了快速发展的一年。ASF 社区健康评分 10.00代表着项目在有条紊的步伐和节奏下健康发展。9600+ Star,1900+ Commit,3500+ Fork,6800+ Pull Req...

Apache DolphinScheduler开源社区 612

Apache DolphinScheduler Studio 使用教程

Apache DolphinScheduler Studio 使用教程 项目介绍 Apache DolphinScheduler Studio 是一个为 Apache DolphinScheduler 设计的调试平台。DolphinScheduler 是一个开源的大数据分布式任务调度系统,旨在解决大数据研发过程中ETL处理中的复杂任务依赖关系、监控任务健康状态以及任务调度等问题。DolphinSc...

gitblog_00159的博客 470

如何快速掌握Apache DolphinScheduler:工作流调度系统的终极指南

Apache DolphinScheduler是一个现代化的数据编排平台,专为解决复杂任务依赖关系而生,让您能够通过低代码方式创建高性能的工作流。如果您正在寻找一个可靠的数据工作流调度系统,那么这篇文章将为您提供完整的入门指南和实战技巧。😊 ## 为什么选择DolphinScheduler?数据编排的新选择 在数据工程的世界里,工作流调度系统就像是数据管道的"交通指挥中心"。想象一下,您每天

gitblog_00895的博客 354
上一篇: 提交代码到github抱歉remote: Invalid username or password. fatal: Authentication failed for
下一篇: JODConverter框架所用的设计模式
一子三木
博客等级 码龄16年 13粉丝 34原创
评论 45
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值