文库搜索
切换导航
首页
频道
联系我们
国家标准目录
国际ISO标准目录
行业标准目录
地方标准目录
首页
联系我们
国家标准目录
国际ISO标准目录
行业标准目录
地方标准目录
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210447066.X (22)申请日 2022.04.26 (71)申请人 北京科杰科技有限公司 地址 100020 北京市朝阳区阜通 东大街1号 院3号楼3层2单 元120307 (72)发明人 李城军 于洋 高经郡 (51)Int.Cl. G06F 16/242(2019.01) G06F 16/245(2019.01) G06F 16/2455(2019.01) (54)发明名称 构建全链路的方法、 装置、 设备和计算机可 读存储介质 (57)摘要 本申请的实施例提供了构建全链路的方法、 装置、 设备和计算机可读存储介质。 所述方法包 括获取SQL语句; 对所述SQL语句进行预处理, 得 到规则化的SQL语句; 解析所述规则化的SQL语 句, 得到构建所述SQL语句的最小单元, 基于所述 最小单元, 构建中心表上下游的全链路。 以此方 式, 可构造出体 现表与字段与任务之间的关系的 全链路。 权利要求书1页 说明书6页 附图3页 CN 114896265 A 2022.08.12 CN 114896265 A 1.一种构建全链路的方法, 其特 征在于, 包括: 获取SQL语句; 对所述SQ L语句进行 预处理, 得到规则化的SQ L语句; 解析所述规则化的SQL语句, 得到构 建所述SQL语句的最小单元, 基于所述最小单元, 构 建中心表上下游的全链路。 2.根据权利要求1所述的方法, 其特 征在于, 所述获取SQ L语句包括: 通过Hook获取任务中封装的SQ L语句。 3.根据权利要求2所述的方法, 其特征在于, 所述对所述SQL语句进行预处理, 得到规则 化的SQL语句包括: 对所述SQL语句进行注释处理、 自定义变量处理和/或兼容语法处理, 得到规则化的SQL 语句。 4.根据权利要求3所述的方法, 其特征在于, 所述解析所述规则化的SQL语句, 得到构建 所述SQL语句的最小单 元包括: 解析所述规则化的SQL语句, 得到构建所述SQL语句的输入表、 输入表字段、 任务信息、 输出表和数据表字段。 5.一种构建全链路的装置, 其特 征在于, 包括: 获取模块, 用于获取SQ L语句; 优化模块, 用于对所述SQ L语句进行 预处理, 得到规则化的SQ L语句; 构建模块, 用于解析所述规则化的SQL语句, 得到构 建所述SQL语句的最小单元, 基于所 述最小单元, 构建中心 表上下游的全链路。 6.根据权利要求5所述的装置, 其特 征在于, 所述获取SQ L语句包括: 通过钩子函数获取任务中封装的SQ L语句。 7.根据权利要求6所述的装置, 其特征在于, 所述对所述SQL语句进行预处理, 得到规则 化的SQL语句包括: 对所述SQL语句进行注释处理、 自定义变量处理和/或兼容语法处理, 得到规则化的SQL 语句。 8.根据权利要求7所述的装置, 其特征在于, 所述解析所述规则化的SQL语句, 得到构建 所述SQL语句的最小单 元包括: 解析所述规则化的SQL语句, 得到构建所述SQL语句的输入表、 输入表字段、 任务信息、 输出表和数据表字段。 9.一种电子设备, 包括存储器和处理器, 所述存储器上存储有计算机程序, 其特征在 于, 所述处 理器执行所述计算机程序时实现如权利要求1~4中任一项所述的方法。 10.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序 被处理器执行时实现如权利要求1~4中任一项所述的方法。权 利 要 求 书 1/1 页 2 CN 114896265 A 2构建全链路的方 法、 装置、 设备和计算机可 读存储介质 技术领域 [0001]本申请的实施例涉及数据分析领域, 尤其涉及构建全链 路的方法、 装置、 设备和计 算机可读存 储介质。 背景技术 [0002]数据血缘分析是元数据管理和数据治理工具的核心功能, 通过建立数据之间的血 缘关系(链路), 可以分析上游数据发生变化是否影响下游关联的数据; 通过分析数据血缘 可以更好的理解数据和使用数据。 [0003]但是, 通过现有方式构建的血缘关系, 对于环境的依赖性比较强, 部分产品为插 件, 需要在集群上安装使用, 不够轻量化; 对于db类型支持的不够全面; 仅有对表或者字段 血缘的关系, 没有表与字段与任务之间的关系。 发明内容 [0004]根据本申请的实施例, 提供了一种构建全链路的方案 。 [0005]在本申请的第一方面, 提供了一种构建全链路的方法。 该 方法包括: [0006]获取SQL语句; [0007]对所述SQ L语句进行 预处理, 得到规则化的SQ L语句; [0008]解析所述规则化的SQL语句, 得到构建所述SQL语句的最小单元, 基于所述最小单 元, 构建中心 表上下游的全链路。 [0009]进一步地, 所述获取SQ L语句包括: [0010]通过钩子函数获取任务中封装的aql语句。 [0011]进一步地, 所述对所述SQ L语句进行 预处理, 得到规则化的SQ L语句包括: [0012]对所述SQL语句进行注释处理、 自定义变量处理和/或兼容语法处理, 得到规则化 的SQL语句。 [0013]进一步地, 所述解析所述规则化 的SQL语句, 得到构建所述SQL语句的最小单元包 括: [0014]解析所述规则化的S QL语句, 得到构建所述S QL语句的输入表、 输入表字段、 任务信 息、 输出表和数据表字段。 [0015]在本申请的第二方面, 提供了一种构建全链路的装置 。 该装置包括: [0016]获取模块, 用于获取SQ L语句; [0017]优化模块, 用于对所述SQ L语句进行 预处理, 得到规则化的SQ L语句; [0018]构建模块, 用于解析所述规则化的S QL语句, 得到构建所述S QL语句的最小单元, 基 于所述最小单元, 构建中心 表上下游的全链路。 [0019]进一步地, 所述获取SQ L语句包括: [0020]通过钩子函数获取任务中封装的aql语句。 [0021]进一步地所述对所述SQ L语句进行 预处理, 得到规则化的SQ L语句包括:说 明 书 1/6 页 3 CN 114896265 A 3
专利 构建全链路的方法、装置、设备和计算机可读存储介质
文档预览
中文文档
11 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 人生无常 于
2024-03-18 00:15:42
上传分享
举报
下载
原文档
(575.3 KB)
分享
友情链接
GB-T 39130-2020 镀锌产品锌层附着性试验方法.pdf
GB-T 35274-2017 信息安全技术 大数据服务安全能力要求 .pdf
信通院 数据安全风险分析及应对策略研究-2022年.pdf
T-CCPS 0001—2023 易学文化水平测试标准.pdf
付晓岩 数字银行论坛-以企业架构推动数字化 转型指导文件的落实 .pdf
DB5111-T 25-2022 嘉州菜 乐山甜皮鸭制作工艺规范 乐山市.pdf
思度安全-DSMM-013 数据加密管理规范V1.0.pdf
NB-T 47005-2021 板式蒸发装置.pdf
SL-T 423-2021 河道采砂规划编制与实施监督管理技术规范.pdf
DL-T 5083-2019 水电水利工程预应力锚固施工规范.pdf
GB-T 32905-2016 信息安全技术 SM3密码杂凑算法.pdf
GW0102-2014 国家电子政务外网 信息安全标准化规范性要求.pdf
DB36-T 1369-2020 塔架在线监测技术规程 江西省.pdf
T-HNJK 002—2019 保健用品生产质量管理规范.pdf
GB-T 13217.7-2023 油墨附着力检验方法.pdf
GB-T 39046-2020 政务服务平台基础数据规范.pdf
GB-T 21709.11-2009 针灸技术操作规范 第11部分:电针.pdf
GB-T 34690.4-2017 印刷技术 胶印数字化过程控制 第4部分:输出文件制作.pdf
GB-T 42467.1-2023 中医临床名词术语 第1部分:内科学.pdf
Oracle安全配置基线.doc
1
/
3
11
评价文档
赞助2元 点击下载(575.3 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。