(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211382485.6 (22)申请日 2022.11.07 (71)申请人 杭州比智科技有限公司 地址 311121 浙江省杭州市余杭区仓前街 道仓兴路1号23幢2-4楼 (72)发明人 邓明瑞　王乐珩　张金银　 (74)专利代理 机构 北京云科知识产权代理事务 所(特殊普通 合伙) 11483 专利代理师 王素贞 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) (54)发明名称 一种基于quartz框架的大数据任务调度管 理系统及方法 (57)摘要 本发明公开了一种基于quartz框架的大数 据任务调度管理系统及方法， 所述系统包括核心 调度模块、 资源调度模块、 至少一个调度服务和 数据库； 核心调度模块用于从数据库中加载所有 的作业任务到quart z框架中， 生成对应的作业实 例， 下发到对应的执行器提交给Hadoop集群， 并 且执行器通过各个组件的方法监听任务状态返 回给调度服务； 所述核心调度模块包括调度作业 管理器、 定时管理器、 调度任务管理器和回调管 理器。 本发 明的系统及方法能够对 各种任务的调 度进行统一管理， 降低了数据开发工程师的工作 量， 提高了整个数仓建 设中任务调度的效率。 权利要求书2页 说明书6页 附图5页 CN 115421898 A 2022.12.02 CN 115421898 A 1.一种基于quartz框架的大数据任务调度管理系统， 其特征在于， 所述系统包括核心 调度模块、 资源调度模块、 至少一个调 度服务和数据库； 核心调 度模块用于从数据库中加载 所有的作业任务到quartz框架中， 生成对应的作业实例， 下发到对应的执行器提交给 Hadoop集群， 并且执行器通过各个组件的方法监听任务状态返回给调度服务； 所述核心调 度模块包括调度作业管理器、 定时管理器、 调度任务管理器和回调管理器； 其中， 调度作业管理器用于编 辑作业并将编 辑的所述各脚本任务存储于数据库中并且 用于对所述各脚本任务的操作权限进行 管理； 定时管理器用于处理定时调度的任务， 通过quartz实现定时调度逻辑， 并且支持集群 调度方式； 调度任务管理器用于为所述各作业配置对应的依赖关系形成DAG并且分配对应的任务 的执行周期； 回调管理器用来统一处 理回调的公共类； 资源调度模块包括任务资源调度管理器， 其中任务资源调度管理器负责下发任务运行 时的资源 控制和各个作业类型的处 理， 针对不同的作业类型控制对应的处 理器进行处 理。 2.如权利 要求1所述的一种基于quartz框架的大数据任务调度管理系统， 其特征在于， 所述作业类型包括hive、 spark、 pytho n、 pyspark、 fl ink、 datax。 3.如权利 要求2所述的一种基于quartz框架的大数据任务调度管理系统， 其特征在于， 核心调度模块还包括作业实例下发管理器、 作业实例 重试管理器和作业实例管理器， 所述 作业实例下发管理器、 作业 实例重试管理器和作业实例管理器是核心调 度模块关于处理实 例相关逻辑的功能模块。 4.如权利 要求3所述的一种基于quartz框架的大数据任务调度管理系统， 其特征在于， 作业实例下发管理器对每次任务和/或作业 运行都会生成实例的记录 。 5.如权利 要求4所述的一种基于quartz框架的大数据任务调度管理系统， 其特征在于， 作业实例管理器的作用是用来下发作业 实例的管 理器， 实例会提交到 资源调度模块进 行实 例的处理， 下发前会通过策略者模式， 获取项目引擎信息进行不同作业类型下发前 的参数 组装。 6.如权利 要求5所述的一种基于quartz框架的大数据任务调度管理系统， 其特征在于， 作业实例重试管理器处理作业 实例重试的逻辑， 包括队列已慢重试、 任务 失败重试和/或长 时间没有收到作业实例的回调消息进 行重试， 并且用于对各作业类型产生的数据进行数据 质量的监控状态进行监控并且触发告警。 7.如权利 要求6所述的一种基于quartz框架的大数据任务调度管理系统， 其特征在于， 核心调度模块还包括队列管理器， 所述队列管理器负责任务域调度中内置的队列机制， 可 以控制任务下发的并发数。 8.一种基于quartz框架的大数据任务调度管理方法， 所述方法用于实施在权利要求1 ‑ 7任一项所述的基于quartz框架的大数据任务调度管理系统， 其特征在于， 所述方法包括以 下步骤： S1、 对各作业进行编辑并将编辑的各脚本任务存 储于数据库中； S2、 为所述各任务配对应的任务执 行器和执 行周期； S3、 从数据库 中加载各脚本任务到quartz框架中， 以使quartz框架按照所述执行周期权　利　要　求　书 1/2 页 2 CN 115421898 A 2通过消息中间件将各脚本任务的执 行指令下发给对应的任务执 行器； S4、 任务执行器根据所述下发的执行指令对对应的脚本任务进行执行， 并返回执行结 果。 9.如权利 要求8所述的一种基于quartz框架的大数据任务调度管理方法， 其特征在于， 所述方法还 包括： S5、 对所述各脚本任务的用户操作权限进行 管理； S6、 当脚本任务在对应的任务执行器上执行失败或执行超时时， 向相关负责人发送告 警通知。 10.如权利要求9所述的一种基于quartz框架的大数据任务调度管理方法， 其特征在 于， 所述方法的运行作业首先需要通过参数校验、 其次会生成对应作业和任务的实例， 并且 判断是否是定时调度， 判断是定时调度会加入到quartz当中， 判断不是定时运行则立刻进 入到任务下发队列当中； 当quartz当中满足触发条件的时候也会到下发队列当中， 为了防 止任务过多给大数据集群造成压力， 使用队列管 理器quartzManager 来控制并发限制， 判断 满足并发限制 则会判断上游是否成功， 因为是DAG依赖； 判断上游 也执行成功则将任务提交 到大数据集群， 执行器会通过Hadoop相关SDK观察任务状态通过作业实例管理器监控任务 状态， 并且通过消息中间件发送实时日志， 方便用户查看任务的进度和情况； 通过回调管 理 器来将任务信息实时同步给调用方， 并且通过告警模块， 监控作业的运行情况。权　利　要　求　书 2/2 页 3 CN 115421898 A 3