(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210981979.X (22)申请日 2022.08.16 (71)申请人 北京连山科技股份有限公司 地址 100000 北京市顺 义区赵全营镇 东盈 路19号3幢二层 (72)发明人 张凯　王志明　牛德标　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 田春龙 (51)Int.Cl. G06F 16/172(2019.01) G06F 16/182(2019.01) G06F 16/16(2019.01) G06F 21/60(2013.01) G06F 21/62(2013.01) (54)发明名称 一种数据粒子化技术与分布式存储结合的 存储方法及系统 (57)摘要 本发明提供了一种数据粒子化技术与分布 式存储结合的存储方法， 包括： 获取用户上传的 待存储文件， 并确定待存储文件的属性信息； 根 据待存储文件的属性信息， 基于预设的属性信 息‑粒子化等级表格确定待存储文件的粒子化等 级以及所需要的数据处理缓冲区大小； 根据所确 定的数据处理缓冲区大小以及待存储文件的大 小对待存储文件进行粒子化分割处理， 得到多个 粒子化文件并进行分布式存储。 通过本发明的数 据粒子化技术与分布式存储结合的存储方法实 现了提高文件存储的安全性的同时降低数据存 储时的数据扩 展率。 权利要求书4页 说明书12页 附图3页 CN 115374070 A 2022.11.22 CN 115374070 A 1.一种数据粒子化 技术与分布式存 储结合的存 储方法， 其特 征在于， 包括： 获取用户上传的待存 储文件， 并确定待存 储文件的属性信息； 根据待存储文件的属性信息， 基于预设的属性信息 ‑粒子化等级表格确定待存储文件 的粒子化 等级以及所需要的数据处 理缓冲区大小； 根据所确定的数据处理缓冲区大小以及待存储文件的大小对待存储文件进行粒子化 分割处理， 得到多个粒子化文件并进行分布式存 储。 2.根据权利要求1所述的一种数据粒子化技术与分布式存储结合的存储方法， 其特征 在于， 所述确定待存 储文件的属性信息包括： 创建文件流对象， 并将所述待存储文件装载入文件流对象取得待存储文件的属性信 息， 其中， 所述属性信息包括文件大小、 类型。 3.根据权利要求1所述的一种数据粒子化技术与分布式存储结合的存储方法， 其特征 在于， 所述根据所确定的数据处理缓冲区大小以及待存储文件的大小对待存储文件进 行粒 子化分割处 理， 得到多个粒子化文件并进行分布式存 储， 包括： 根据所确定的数据处理缓冲区大小以及待存储文件的大小计算待存储文件对应的粒 子化文件的总数， 并确定最后分割得到的粒子化文件的大小； 其中， 除了最后一个粒子化文 件以外的其 他粒子化文件的大小与数据处 理缓冲区的大小保持一 致； 将所述待存储文件按照预设的加载规则加载入数据处理缓冲区进行分割， 得到多个粒 子化文件； 依次对多个粒子化文件进行查验， 在确定分割后粒子化文件的总数以及每个粒子化文 件的大小符合标准要求后， 确定查验通过； 根据粒子化文件的总数以及每一个粒子化文件的大小在云端服务器上划分对应数量 对应容量的存储区域， 并得到多个存 储地址； 基于多个存 储地址将多个粒子化文件进行分布式存 储； 建立每个粒子化文件分别与其存储地址的对应映射关系， 并得到每个粒子化文件的元 数据， 其中， 所述元 数据包括粒子化文件的编号、 大小以及映射的存 储地址； 将多个元 数据进行整合得到文件索引令牌返回给用户。 4.根据权利要求3所述的一种数据粒子化技术与分布式存储结合的存储方法， 其特征 在于， 所述将所述待存储文件按照预设的加载规则加载入数据 处理缓冲区进行分割， 得到 多个粒子化文件 包括： 建立数据缓存区， 并将用户上传的所述待存储文件读取入数据缓存区内， 使待存储文 件进入待处 理状态； 确定待存储文件对应的粒子化文件的总数， 并指定所设定的对应大小的数据处理缓冲 区； 将待存储文件加载入所指定的数据处理缓冲区， 当数据处理缓冲区满载后将数据处理 缓冲区内的数据块进行封装， 得到一个粒子化文件并进行释放； 对所述待存储文件进行滑动式加载， 依次截取待存储文件上的多个片段得到多个粒子 化文件。 5.根据权利要求3所述的一种数据粒子化技术与分布式存储结合的存储方法， 其特征 在于， 所述根据所确定的数据处理缓冲区大小以及待存储文件的大小对待存储文件进 行粒权　利　要　求　书 1/4 页 2 CN 115374070 A 2子化分割处 理， 得到多个粒子化文件并进行分布式存 储， 还包括： 利用用户预先设置的公钥对所述待存储文件进行第 一次加密， 并确定加密后文件的大 小； 根据所确定的数据处理缓冲区大小以及加密后文件的大小计算加密后文件的粒子化 文件的总数， 并确定最后一个粒子化文件的大小； 将加密后文件按照预设的加载规则加载入数据处理缓冲区进行分割， 顺序得到多个粒 子化文件； 根据预设的加密规则依次对多个粒子化文件进行数据二 次加密， 并确定数据二次加密 后的每个粒子化文件的大小； 根据每个粒子化文件的大小在 云端服务器上划分对应容量的存储区域， 并对每个粒子 化文件进行分布式存 储。 6.根据权利要求5所述的一种数据粒子化技术与分布式存储结合的存储方法， 其特征 在于， 在对每 个粒子化文件进行分布式存 储后， 生成文件索引令牌并返还给用户包括： 确定每个经过数据二次加密后的粒子化文件各自对应的元 数据； 将多个元 数据按对应的粒子化文件的编号进行顺序排序并整合得到第一整合文件； 将第一整合文件与用户预 先设置的公钥编号结合 生成文件索引令牌并返还给用户。 7.根据权利要求1所述的一种数据粒子化技术与分布式存储结合的存储方法， 其特征 在于， 在对多个粒子化文件进 行分布式存储后按照最小稳定备份规则对多个粒子化文件进 行备份， 步骤 包括： 按照预设的最小有 效备份数量对每个粒子化文件进行复制备份， 并建立所有复制备份 品与粒子化文件本体之间的相关 关系； 在经过一个预设的第 一存储时间后， 调取任意一个粒子化文件以及其对应的所有复制 备份品建立第一数据集； 计算第一数据集中每两个相邻数据的特征向量之间的第 一距离， 并利用多个第 一距离 构建第二数据集； 根据预设的置信水平系数， 确定第二数据集中第一距离的概率累计分布状况， 并根据 概率累计分状况确定第二数据集的数据半径； 其中， 所述数据半径包括第一数据半径和第 二数据半径； 通过以下概 率学计算公式获取第一数据半径R1： 通过以下概 率学计算公式获取第二数据半径R2： 通过建立以下差异度计算公式确定第二数据集中数据的差异度： Diversity_data＝(R2‑R1)·R1 式中， distance为第二数据集 中数据点到数据均 值点的距离变量， β 为预设的置信水平 系数， Diversity_data为第二数据集中数据的差异度， 差异度越大则第二数据集的稳定性 越差， 该粒子化文件的备份存 储效果越差； 利用反比例关系公式通过差异度计算稳定度， 从而得到该粒子化文件备份存储的稳定 度；权　利　要　求　书 2/4 页 3 CN 115374070 A 3