standard download
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211487122.9 (22)申请日 2022.11.25 (71)申请人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 黄炎 张璐 王见  (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张海燕 (51)Int.Cl. H04L 67/1095(2022.01) G06F 9/50(2006.01) (54)发明名称 集群数据同步方法、 装置、 设备及计算机可 读存储介质 (57)摘要 本申请适用于数据同步技术领域, 具体公开 了一种集群数据同步方法、 装置、 设备及计算机 可读存储介质, 产生待同步数据的源节点基于 RDMA网络调用通信设备将待同步数据直接写入 主节点的本地内存中预设的同步数据接收池, 主 节点在本地内存中执行对待同步数据的同步任 务, 并以广播的形式基于RDMA网络调用通信设备 将待同步数据直接写入从节点的同步数据接收 池, 以使从节点执行对待同步数据的同步任务, 以直接写入的方式进行待同步数据的传递, 代替 现有Raft协议的发送/接收的同步模式, 可以避 免发送/接收过程中的内存拷贝, 主节点也无需 在集群数据同步工作中控制IO复用, 减 轻了实现 同步的代码量以及主节点的CPU调度工作。 权利要求书5页 说明书21页 附图2页 CN 115550384 A 2022.12.30 CN 115550384 A 1.一种集群数据同步方法, 其特 征在于, 基于分布式集群中的主节点, 包括: 监测本地内存中预设的同步数据接收池; 当监测到本地内存中所述同步数据接收池被源节点基于RDMA网络调用通信设备写入 的待同步数据时, 对所述待同步数据进行 校验; 当所述待 同步数据通过校验后, 在本地内存中执行对所述待 同步数据的同步任务, 并 以广播的形式, 基于所述 RDMA网络调用通信设备将所述待同步数据写入所述分布式集群的 各从节点的所述同步数据接收池, 以使所述从节 点在监测到所述待同步数据并完成对所述 待同步数据的校验后执 行对所述待同步数据的同步任务; 其中, 所述源节点 为所述分布式集群中的一个所述从节点。 2.根据权利要求1所述的集群数据同步方法, 其特征在于, 监测到本地内存中所述同步 数据接收池被所述源节点基于RDMA网络调用通信设备写入的所述待同步数据, 具体为: 监测到所述源节点在写完所述待同步数据后基于所述RDMA网络的任务完成回调函数 在所述主节点的CPU中更新的同步请求字段时, 确认所述源节点写入了所述待同步数据; 所述基于所述RDMA网络调用通信设备将所述待 同步数据写入所述分布式集群的各从 节点的所述同步数据接收池, 以使所述从节点在监测到所述待同步数据并完成对所述待同 步数据的校验后执 行对所述待同步数据的同步任务, 具体为: 基于所述RDMA网络调用通信设备将所述待同步数据写入所述从节点的所述同步数据 接收池后, 基于所述任务完成回调函数在所述从节点的CPU中更新所述同步请求字段, 以使 所述从节点在监测到更新的所述同步请求字段后完成对所述待同步数据的校验并执行对 所述待同步数据的同步任务。 3.根据权利要求1所述的集群数据同步方法, 其特征在于, 监测到本地内存中所述同步 数据接收池被所述源节点基于RDMA网络调用通信设备写入的所述待同步数据, 具体为: 当轮询监测到本地内存中所述同步数据接收池有新增的所述待同步数据时, 确认所述 源节点写入了所述待同步数据; 所述基于所述RDMA网络调用通信设备将所述待 同步数据写入所述分布式集群的各从 节点的所述同步数据接收池, 以使所述从节点在监测到所述待同步数据并完成对所述待同 步数据的校验后执 行对所述待同步数据的同步任务, 具体为: 基于所述RDMA网络调用通信设备将所述待同步数据写入所述从节点的所述同步数据 接收池, 以使所述从节点在轮询监测到所述待同步数据后, 完成对所述待同步数据的校验 并执行对所述待同步数据的同步任务。 4.根据权利要求1所述的集群数据同步方法, 其特征在于, 监测到本地内存中所述同步 数据接收池被所述源节点基于RDMA网络调用通信设备写入的所述待同步数据, 具体为: 接收到所述源节点在写完所述待同步数据后调用输入输出端口发送的写完成标志时, 确认所述源节点写入了所述待同步数据; 所述基于所述RDMA网络调用通信设备将所述待 同步数据写入所述分布式集群的各从 节点的所述同步数据接收池, 以使所述从节点在监测到所述待同步数据并完成对所述待同 步数据的校验后执 行对所述待同步数据的同步任务, 具体为: 基于所述RDMA网络调用通信设备将所述待同步数据写入所述从节点的所述同步数据 接收池后, 调用输入输出端口向所述从节点发送写完成标志, 以使所述从节点确认被写入权 利 要 求 书 1/5 页 2 CN 115550384 A 2所述待同步数据后, 完成对所述待同步数据的校验并执 行对所述待同步数据的同步任务。 5.根据权利要求1所述的集群数据同步方法, 其特征在于, 监测到本地内存中所述同步 数据接收池被所述源节点基于RDMA网络调用通信设备写入的所述待同步数据, 具体为: 监测到所述源节点在写完所述待同步数据后在所述主节点的写完成标志约定地址写 入的写完成标志时, 确认所述源节点写入了所述待同步数据; 所述基于所述RDMA网络调用通信设备将所述待 同步数据写入所述分布式集群的各从 节点的所述同步数据接收池, 以使所述从节点在监测到所述待同步数据并完成对所述待同 步数据的校验后执 行对所述待同步数据的同步任务, 具体为: 基于所述RDMA网络调用通信设备将所述待同步数据写入所述从节点的所述同步数据 接收池后, 在各所述从节点的写完成标志约定地址写入写完成标志, 以使所述从节点确认 被写入所述待同步数据后, 完成对所述待同步数据的校验并执行对所述待同步数据的同步 任务。 6.根据权利要求1所述的集群数据同步方法, 其特征在于, 所述同步数据接收池与 所述 分布式集群中除所在节点外的其 余节点一一对应。 7.根据权利要求1所述的集群数据同步方法, 其特征在于, 所述同步数据接收池设有用 于维护所在节点外的其余节点与所述同步数据接收池的对应关系的RDMA映射数组以及用 于为所述待同步数据分配空余空间的原子索引。 8.根据权利要求1所述的集群数据同步方法, 其特征在于, 所述同步数据接收池中设有 多类与不同类型的所述待同步数据对应的子 接收池; 相应的, 所述在本地内存中执 行对所述待同步数据的同步任务, 具体为: 按照所述待同步数据的类型, 在本地内存中执 行对所述待同步数据的同步任务; 所述从节点执 行对所述待同步数据的同步任务, 具体为: 所述从节点按照所述待同步数据的类型 执行对所述待同步数据的同步任务。 9.根据权利要求8所述的集群数据同步方法, 其特征在于, 所述同步数据接收池中预先 按照各类型 所述待同步数据的数据长度划分为各类型 所述子接收池的数据分区。 10.根据权利要求8所述的集群数据同步方法, 其特征在于, 所述子接收池的类型具体 包括: 小数据接收池、 应答数据接收池和大 数据接收池。 11.根据权利要求10所述的集群数据同步方法, 其特征在于, 当所述待同步数据为与 所 述小数据接收池 对应的数据类型时, 所述源节点基于所述RDMA网络调用通信设备写入所述待同步数据, 具体为: 所述源节点将所述待同步数据组装为第 一消息头后, 根据本地存储的所述主节点中所 述同步数据接收池的存储区域信息, 基于所述 RDMA网络调用通信设备将所述第一消息头写 入对应的存 储位置; 所述基于所述RDMA网络调用通信设备将所述待 同步数据写入所述分布式集群的各从 节点的所述同步数据接收池, 具体为: 根据本地存储的所述从节点中所述同步数据接收池的存储区域信息, 基于所述RDMA网 络调用通信设备将所述第一消息 头写入对应的存 储位置。 12.根据权利要求10所述的集群数据同步方法, 其特征在于, 当所述待同步数据为与 所 述应答数据接收池 对应的数据类型时,权 利 要 求 书 2/5 页 3 CN 115550384 A 3

PDF文档 专利 集群数据同步方法、装置、设备及计算机可读存储介质

文档预览
中文文档 29 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共29页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 集群数据同步方法、装置、设备及计算机可读存储介质 第 1 页 专利 集群数据同步方法、装置、设备及计算机可读存储介质 第 2 页 专利 集群数据同步方法、装置、设备及计算机可读存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:00:23上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。