(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210792831.1 (22)申请日 2022.07.05 (71)申请人 北京锐安科技有限公司 地址 100044 北京市海淀区西小口路6 6号 中关村东升科技园北领地B-2号楼七 层 申请人 青海省公安厅 　公安部第三研究所 (72)发明人 张立志　王生玉　刘占斌　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 苏舒音 (51)Int.Cl. G06F 21/62(2013.01) G06F 16/2455(2019.01) G06F 16/27(2019.01) (54)发明名称 数据存储系统及方法 (57)摘要 本发明实施例公开了一种数据存储系统及 方法。 该系统包括： 分布式消息缓存集群、 数据处 理程序包和数据库； 其中， 分布式消息缓存集群， 用于接收至少一个生产者发送的待存储数据， 并 进行存储； 数据处理程序包， 用于读取分布式消 息缓存集群所存储的待存储数据， 并基于读取到 的待存储数据生成数据流， 将数据流发送给数据 库； 数据库， 用于接收数据流， 并存储数据流中的 待存储数据。 本发明实施例的技术方案， 解决了 现有数据存储系统存在数据丢失风险的技术问 题， 实现了充分 降低数据丢失的风险， 进一步提 升数据的安全性。 权利要求书1页 说明书7页 附图1页 CN 115292742 A 2022.11.04 CN 115292742 A 1.一种数据存储系统， 其特征在于， 包括： 分布式消息缓存集群、 数据处理程序包和数 据库； 其中， 所述分布式消息缓存集群， 用于 接收至少一个生产者发送的待存 储数据， 并进行存 储； 所述数据处理程序包， 用于读取所述分布式消息缓存集群所存储的待存储数据， 并基 于读取到的待存 储数据生成数据流， 将所述数据流发送给 所述数据库； 所述数据库， 用于 接收所述数据流， 并存 储所述数据流中的待存 储数据。 2.根据权利要求1所述的系统， 其特征在于， 所述数据库， 包括至少一个数据表， 具体用 于接收所述数据流， 并将所述数据流中的待存 储数据存 储至所述数据表中。 3.根据权利要求2所述的系统， 其特征在于， 所述数据处理程序包包括与所述数据库对 应的数据复制入库语句； 所述数据处理程序包， 用于通过执行所述数据复制入库语句， 对所述数据流进行解析， 得到所述数据流中包 含的待存 储数据， 并将所述待存 储数据存 储至在所述数据表中。 4.根据权利要求2所述的系统， 其特征在于， 所述分布式消息缓存集群， 具体用于接收 至少一个生产者发送的待存储数据， 确定各所述待存储数据的数据主题， 根据所述数据主 题对所述待存 储数据进行分类， 并存 储。 5.根据权利要求4所述系统， 其特征在于， 所述数据处理程序包包括： 预先定义的数据 消费方法； 所述数据处理程序包， 具体用于通过调用所述数据消费方法， 从分布式消息缓存集群 中读取与每个所述数据主题对应的待存储数据， 将读取到的待存储数据转化为所述数据 流， 并将所述数据流发送给 所述数据库。 6.根据权利要求5所述的系统， 其特征在于， 所述数据处理程序包， 用于将读取到的与 每个所述数据主题对应的待存储数据， 存储至与每个数据主题对应的数据存储链表中， 遍 历各数据存储列表中的待存 储数据， 并转 化为所述数据流。 7.根据权利要求5所述的系统， 其特 征在于， 所述数据处 理程序包， 还用于： 读取预先配置的数据存储配置文件， 确定与每个数据主题对应的数据表， 将与每个数 据主题对应的待存 储数据存 储至相应的数据表中。 8.根据权利要求7所述的系统， 其特征在于， 所述数据存储配置文件的文件格式为可扩 展标记语言文件格式。 9.根据权利要求1所述的系统， 其特征在于， 所述数据处理程序包， 还用于通过执行预 设数据库连接语句， 与所述数据库建立连接 。 10.一种数据存 储方法， 其特 征在于， 包括： 通过分布式消息缓存集群接收至少一个生产者发送的待存 储数据， 并进行存 储； 通过数据处理程序包读取所述分布式消息缓存集群所存储的待存储数据， 并基于读取 到的待存 储数据生成数据流， 将所述数据流发送给 数据库； 通过所述数据库接收所述数据流， 并存 储所述数据流中的待存 储数据。权　利　要　求　书 1/1 页 2 CN 115292742 A 2数据存储系统及方 法 技术领域 [0001]本发明涉及计算机技 术领域， 尤其涉及一种数据存 储系统及方法。 背景技术 [0002]随着大数据时代的到来， 数据存储系统需要存储的数据的数量也越来越多。 现有 技术中， 通常是将待存储数据直接存储至数据库中。 由于待存储数据的数量较大， 数据入库 速度较慢， 容易出现数据积 压的现象。 一旦部署数据库的服务器出现故障或断电的情况， 存 在数据丢失风险的技 术问题， 从而降低了数据的安全性。 发明内容 [0003]本发明提供了一种数据存储系统及方法， 以实现在数据存储过程中降低数据丢失 的风险， 进一 步提升数据的安全性。 [0004]根据本发明的一方面， 提供了一种数据存储系统， 该系统包括： 分布式消息缓存集 群、 数据处 理程序包和数据库； 其中， [0005]所述分布式消息缓存集群， 用于接收至少一个生产者发送的待存储数据， 并进行 存储； [0006]所述数据处理程序包， 用于读取所述分布式消息缓存集群所存储的待存储数据， 并基于读取到的待存 储数据生成数据流， 将所述数据流发送给 所述数据库； [0007]所述数据库， 用于 接收所述数据流， 并存 储所述数据流中的待存 储数据。 [0008]根据本发明的另一方面， 提供了一种数据存 储方法。 该 方法包括： [0009]通过分布式消息缓存集群接收至少一个生产者发送的待存 储数据， 并进行存 储； [0010]通过数据处理程序包读 取所述分布式消息缓存集群所存储的待存储数据， 并基于 读取到的待存 储数据生成数据流， 将所述数据流发送给 数据库； [0011]通过所述数据库接收所述数据流， 并存 储所述数据流中的待存 储数据。 [0012]根据本发明的另一方面， 提供了一种计算机可读存储介质， 其上存储有计算机程 序， 该程序被处 理器执行时实现如本发明任意实施例所提供的数据存 储方法。 [0013]本发明实施例的技术方案， 通过分布式消息缓存集群、 数据处理程序包和数据库 组成数据存储系统。 通过分布式消息缓存集群接 收至少一个生产者发送的待存储数据， 并 进行存储。 本发明实施例中， 可通过分布是消息缓存集群存储 大量的待存储数据， 以缓解数 据库的存储压力。 通过数据 处理程序包读取分布式消息缓存集群所存储的待存储数据， 并 基于读取到的待存储数据生成数据流， 将数据流发送给数据库， 从而可以将分布式消息缓 存集群中的待存储数据存储至数据库中， 可避免部署数据库的服务器出现故障导致数据丢 失。 通过数据库接收数据流， 并存储数据流中的待存储数据。 本发明实施例的技术方案， 解 决了现有数据存储系统存在数据丢失风险的技术问题， 实现了充分降低数据丢失的风险， 进一步提升数据的安全性。 [0014]应当理解， 本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特说　明　书 1/7 页 3 CN 115292742 A 3