最近用DolphinScheduler搭建平台,有些不好的地方需要二开,记录一下本地环境配置
DolphinScheduler官网地址:https://dolphinscheduler.apache.org/zh-cn/
(平台部署也有坑,后续更新。。。)
1.下载DolphinScheduler源码
打开 DolphinScheduler 的 GitHub(https://github.com/apache/dolphinscheduler)选择下载的版本,可以clone或者直接下载zip包

2.安装zookeeper
1>. 下载zookeeper安装包:https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
2>. 解压apache-zookeeper-3.6.3-bin.tar.gz
3>. 在zookeeper的目录下新建data、log文件夹

4>. 将conf目录下的zoo_sample.cfg文件,复制一份,重命名为zoo.cfg,修改其中数据和日志的配置

修改如下:
dataDir=E:\\apache-zookeeper-3.6.3-bin\\data
dataLogDir=E:\\apache-zookeeper-3.6.3-bin\\log

5>. 在bin中先运行 zkServer.cmd,然后运行zkCli.cmd 查看zk运行状态,可以查看zk节点信息即代表安装成功。


出现以下信息,代表zookeeper安装成功

3. 搭建后端环境:
注:编译的时候务必关闭test:test.skip=false (win系统 单元测试会不通过)

1>. 新建一个自我调试的mysql数据库,库名可为 :任意起(我这里的是dolphinscheduler)

2>. 把代码导入idea,修改根项目中 pom.xml,将 mysql-connector-java 依赖的 scope 修改为 compile

3> 将dao模块下的application-mysql.yaml文件中修改为自己刚刚创建的数据库信息

jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&serverTimezone=UTC或:
jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&serverTimezone=GMT
启动的时候可能会有,找不到 jdbc.Driver错误,要在dolphinscheduler-dao目录下的pom里面加上
<version>${mysql.connector.version}</version>
<scope>compile</scope>

4> 初始化数据库信息
启动CreateDolphinScheduler里的main方法,启动参数配置读取mysql这个配置文件 -Dspring.profiles.active=mysql,我们再去刷新刚才的数据库,里面的表数据信息就都有了

5>添加dolphinscheduler-server模块数据库连接信息
再dolphinscheduler-server模块中的master.properties,worker.properties文件,dolphinscheduler-api中的application-api.properties都添加上mysql的配置信息,不然直接报错${spring.datasource.driver-class-name}参数注入问题
spring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.datasource.url=jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&serverTimezone=UTC spring.datasource.username=xxx spring.datasource.password=xxx


5>配置zk信息
将dolphinscheduler-service模块下的registry.properties文件中配置自己的zookeeper信息,
registry.block.until.connected.wait时间加长点,防止有超时错误
registry.plugin.name=zookeeper registry.servers=ip:port(xxx:2181)

6>启动master、worker、api
现在就基本都配置好了,然后分别启动 master,worker, api。


7>另外还有其他服务(根据需要启动):AlertServer、LoggerServer
4. 启动ui模块,访问页面:
1>dolphinscheduler-ui文件下新建一个文件.npmrc添加:
sass_binary_site=https://npm.taobao.org/mirrors/node-sass/ phantomjs_cdnurl=https://npm.taobao.org/mirrors/phantomjs/ electron_mirror=https://npm.taobao.org/mirrors/electron/ registry=https://registry.npm.taobao.org

进入ui模块的目录下,打开windows控制台 npm install 安装前台需要的相关依赖,安装完成后,通过 npm run 启动(node用的是v12.18.1)。
然后访问 localhost:8888, 使用默认的账号admin,密码dolphinscheduler123。登录成功。
npm install
npm run dev
注:有用到DolphinScheduler需要二开的,大家一起相互交流+扣扣781816703
本文档介绍了如何在Windows 10环境下配置DolphinScheduler 2.0.x的开发调试环境,包括下载源码、安装Zookeeper、设置MySQL数据库、修改配置文件以及启动UI模块等步骤。详细阐述了每个环节的配置细节,如Zookeeper的数据和日志目录配置,以及在Windows系统中解决单元测试问题的方法。

7331

被折叠的 条评论
为什么被折叠?



