Apache DolphinScheduler “僵尸任务”怎么处理？新旧版本安全清理方案

问题概述

在DolphinScheduler运行过程中，有时会出现任务界面显示"运行中"状态，但实际进程已经死亡的情况。这种状态不一致会导致工作流无法正常推进，需要手动干预。本文将针对不同版本提供安全清理方案。

问题原因分析

任务卡在"运行中"状态通常由以下原因造成：

1. 数据库延迟：当数据库出现延迟时，任务状态更新可能失败，导致界面显示与实际状态不一致
2. Worker节点异常：Worker服务意外停止，但Master未及时感知
3. 网络抖动：ZooKeeper心跳超时导致节点remove事件触发，但任务进程仍在运行
4. 任务实例为空：日志显示任务实例为null，但状态仍为运行中

旧版本处理方式（1.2.1以下）

对于1.2.1之前的版本，需要手动执行以下步骤：

步骤1：清理ZooKeeper任务队列

# 清空ZooKeeper中的任务队列路径
delete /dolphinscheduler/task_queue

这一步确保卡住的任务不会继续阻塞队列。

步骤2：修改任务状态为失败

通过数据库直接更新任务实例状态：

-- 将卡住的任务状态改为失败（状态码6）
UPDATE t_ds_task_instance 
SET state = 6 
WHERE state = 1 AND task_instance_id = <卡住的任务ID>;

状态码说明：

• 1: 运行中 (RUNNING_EXECUTION)
• 6: 失败 (FAILURE)

步骤3：从失败节点恢复工作流

在DolphinScheduler UI中：

1. 找到对应的工作流实例
2. 点击"从失败恢复"按钮
3. 系统将从失败节点重新执行

新版本处理方式（1.2.1+）

从1.2.1版本开始，系统引入了自动容错机制，大部分情况无需手动干预。

自动容错机制

新版本的容错设计基于ZooKeeper的Watcher机制：

Worker容错流程

当Worker节点发生remove事件时：

1. Master只容错任务实例（不处理流程实例）
2. 比较实例开始时间与服务节点启动时间
3. 如果实例在服务启动之后开始，则跳过容错
4. 否则，将任务状态设置为"需要容错"
5. Master Scheduler线程接管并重新提交任务

任务状态机处理

新版本使用状态机管理任务生命周期，包括暂停和杀死操作：

// 任务杀死事件处理
public void onKilledEvent(...) {
    releaseTaskInstanceResourcesIfNeeded(taskExecutionRunnable);
    persistentTaskInstanceKilledEventToDB(taskExecutionRunnable, taskInstanceKillEvent);
    taskExecutionRunnable.getWorkflowExecutionGraph()
        .markTaskExecutionRunnableChainKill(taskExecutionRunnable);
    publishWorkflowInstanceTopologyLogicalTransitionEvent(taskExecutionRunnable);
}

版本对比总结

安全清理最佳实践

1. 诊断确认

在执行清理前，先确认任务确实已死：

# 检查Worker进程
jps | grep WorkerServer

# 检查任务进程
ps -ef | grep <任务相关关键词>

# 查看任务日志
tail -f /path/to/task.log

2. 优先使用UI操作

对于新版本，优先使用UI提供的操作：

• 点击"停止"按钮终止任务
• 使用"从失败恢复"功能重新执行

3. 数据库操作注意事项

如果必须直接操作数据库：

• 先备份数据库
• 确认任务ID准确无误
• 只修改状态字段，不删除记录
• 操作后验证工作流状态

4. ZooKeeper操作注意事项

清理ZooKeeper节点时：

• 确认路径正确：/dolphinscheduler/task_queue
• 使用ZooKeeper客户端工具操作
• 避免误删其他关键节点

5. 监控和预防

为减少此类问题发生：

• 监控数据库延迟
• 设置合理的ZooKeeper会话超时时间
• 定期检查Master和Worker服务状态
• 配置服务监控脚本自动重启异常服务

总结

对于DolphinScheduler中卡在"运行中"的任务，处理方式因版本而异：

• 旧版本（1.2.1以下）：需要手动清理ZooKeeper队列、更新数据库状态、从失败节点恢复
• 新版本（1.2.1+）：依赖自动容错机制，大部分情况无需手动干预

建议升级到最新版本以获得更好的容错能力，同时建立完善的监控体系，及时发现和处理异常情况。

Notes

本文基于DolphinScheduler官方FAQ和架构设计文档编写，相关代码实现可参考AbstractTaskStateAction.java中的状态处理逻辑。对于生产环境，建议在测试环境验证操作步骤后再执行。