(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211016227.6 (22)申请日 2022.08.24 (71)申请人 浪潮云信息技 术股份公司 地址 250100 山东省济南市高新区浪潮路 1036号浪潮科技园S01号楼 (72)发明人 高鹏超　张立勇　孙向晖　毛胜磊　 姜亚楠　 (74)专利代理 机构 济南信达专利事务所有限公 司 37100 专利代理师 姜鹏 (51)Int.Cl. G06Q 30/06(2012.01) G06Q 30/02(2012.01) G06F 16/25(2019.01) (54)发明名称 一种基于KAFKA与NIFI的离线+实时发货单 费用计提方法及系统 (57)摘要 本发明涉及大数据技术领域， 具体为一种基 于KAFKA与NIFI的离线+实时发货单费用计提方 法， 包括以下步骤： 实时、 离线的获取发货单数 据； 通过开发自定义校验组件以及NIFI的脚本组 件ExecuteScript实现数据质量检测； 根据配置 生成计提HTTP接口； 通过NIFI的Inv okeHTTP组件 调用计提接口实现发货单费用计提； 通过NIFI的 定时调度功能以及SQL查询组件ExecuteSQL等组 件， 定时从计提错误库获取发货单进行补偿计提 操作； 有益效果为： 本发明提出的基于KAFKA与 NIFI的离线+实时发货单费用计提方法及系统具 有高性能、 高扩展性、 高可靠的优点， 同时支持实 时、 离线运行。 权利要求书2页 说明书4页 附图4页 CN 115439177 A 2022.12.06 CN 115439177 A 1.一种基于KAFKA与NIFI的离线+实时发货单费用计提方法， 其特征在于： 所述基于 KAFKA与NIFI的离线+实时发货单费用计提方法包括以下步骤： 实时、 离线的获取发货单 数据； 通过开发自定义校验组件以及N IFI的脚本组件ExecuteScript实现数据质量检测； 根据配置生成计提HTTP接口； 通过NIFI的InvokeHTTP组件调用计提接口实现发货单费 用计提； 通过NIFI的定时调度功能以及SQL查询组件ExecuteSQL等组件， 定时从计提错误库获 取发货单进行补偿计提操作。 2.根据权利要求1所述的一种基于KAFKA与NIFI的离线+实时发货单费用计提方法， 其 特征在于： 实时、 离线的获取发货单 数据时， 业务系统将发货单实时推送至KAFKA的shipment_order主题中， 利用NIFI的 ConsumeKafka组件监听shipment_order主题， 实时获取发货单数据， 获取到的数据一方面 直接入库， 另一方面走后续的计提 流程。 3.根据权利要求2所述的一种基于KAFKA与NIFI的离线+实时发货单费用计提方法， 其 特征在于： 实时、 离线的获取发货单 数据时， 除了通过KAFKA获取实时发货单数据外， 还可以通过NIFI 的ExecuteSQL组件自定义查 询SQL获取想要计提的离线导入的发货单 数据。 4.根据权利要求3所述的一种基于KAFKA与NIFI的离线+实时发货单费用计提方法， 其 特征在于： 实现数据质量检测时， 包括是否重复计提校验、 非空校验、 日期 格式校验、 金额格 式校验、 枚举校验、 客户编码校验、 费用列支规则校验； 标准有效的发货单数据继续走后 面的计提流程； 无效有质量问题的发货单数据入质量 问题库， 同时展示在前台由客户补充完善， 完善后的数据可通过离线或定时获取 的方式来 进行计提。 5.根据权利要求4所述的一种基于KAFKA与NIFI的离线+实时发货单费用计提方法， 其 特征在于： 对计提接口返回结果进行解析， 计提成功的数据入计提成功库并更新发货单计 提状态， 同时将成功计提数据展示到前台用于客户查询； 计提失败的数据入计提失败库， 用 于后续数据补偿计提。 其中， 可通过配置InvokeHTTP组件的并发数量来控制计提的效率问 题， 实际操作时应根据数据量大小， 服 务接口配置、 服 务器资源配置等权衡设置 。 6.一种如 上述权利要求1 ‑5任意一项所述的基于KAFKA与 NIFI的离线+实时发货单费用 计提系统， 其特征在于： 所述该系统包括数据获取模块、 数据质量检测模块、 数据计提模块 以及数据补偿模块； 数据获取模块， 用于实时、 离线的获取发货单 数据； 数据质量检测模块 ， 用于通过开发自定义校验组件以及NIFI的脚本组件 ExecuteScript实现数据质量检测； 数据计提模块， 用于根据配置生成计提HTTP接口； 通过NIFI的InvokeHTTP组件调用计 提接口实现发货单费用计提； 数据补偿模块， 用于通过NIFI的定时调度功能以及SQL查询组件ExecuteSQL等组件， 定 时从计提 错误库获取发货单进行补偿计提操作。 7.根据权利要求6所述的一种基于KAFKA与NIFI的离线+实时发货单费用计提系统， 其权　利　要　求　书 1/2 页 2 CN 115439177 A 2特征在于： 所述数据获取模块中， 业务系统将发货单实时推送至KAFKA的shipment _order主 题中， 利用NIFI的ConsumeKafka组件监听shipment_order主题， 实时获取发货单数据， 获取 到的数据一方面 直接入库， 另一方面走后续的计提 流程。 8.根据权利要求7所述的一种基于KAFKA与NIFI的离线+实时发货单费用计提系统， 其 特征在于： 所述数据 获取模块中， 除了通过KAFKA获取实时发货单数据外， 还可以通过NIFI 的ExecuteSQ L组件自定义 查询SQL获取想要计提的离线导入的发货单 数据。 9.根据权利要求8所述的一种基于KAFKA与NIFI的离线+实时发货单费用计提系统， 其 特征在于： 所述数据质量检测模块中， 包括是否重复计提校验、 非空校验、 日期格式校验、 金 额格式校验、 枚举校验、 客户编码校验、 费用列支规则校验； 标准有效的发货单数据继续走后 面的计提流程； 无效有质量问题的发货单数据入质量 问题库， 同时展示在前台由客户补充完善， 完善后的数据可通过离线或定时获取 的方式来 进行计提。 10.根据权利 要求9所述的一种基于KAFKA与 NIFI的离线+实时发货单费用计提系统， 其 特征在于： 所述数据计提模块中， 对计提接口返回结果进行解析， 计提成功的数据入计提成 功库并更新发货单计提状态， 同时将成功计提数据展示到前台用于客户查询； 计提失败的 数据入计提 失败库， 用于后续数据补偿计提。 其中， 可通过配置InvokeHTTP组件的并发数量 来控制计提的效率问题， 实际操作时应根据数据量大小， 服务接口配置、 服务器资源配置等 权衡设置 。权　利　要　求　书 2/2 页 3 CN 115439177 A 3