(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961813.1 (22)申请日 2022.08.11 (71)申请人 华东师范大学 地址 201100 上海市闵行区东川路5 00号 申请人 同济大学 (72)发明人 李钦　凌可璟　王晓玲　 (74)专利代理 机构 上海麦其知识产权代理事务 所(普通合伙) 31257 专利代理师 董红曼 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06N 20/00(2019.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于模块协同的机器学习系统概率正 确性建模与评估方法 (57)摘要 本发明公开了一种基于模块协同的机器学 习系统概率正确性建模与评估 方法， 所述方法包 括： 根据系统构建的SysML活动图， 将活动图中的 活动节点分类为智能模块与非智能模块， 并使用 构型的概念， 来描述活动图中活动模块之间的组 合以及数据交互， 以此建立整个系统的模型； 测 定模型中每个智能模块的概率正确性， 并通过模 块协同算子所定义的相应公式， 计算系统模型中 复合构型的概率正确性， 最后从系统起始点出 发， 依次计算每个流程中数据概率正确性的传 递， 最终评估获得系统整体的概率正确性。 本发 明还公开了实现上述建模与评估方法的系统。 权利要求书3页 说明书11页 附图4页 CN 115527058 A 2022.12.27 CN 115527058 A 1.一种基于模块协同的机器学习系统概率正确性建模与评估方法， 其特征在于， 包括 以下步骤： 步骤1： 系统模型构建， 根据系统构建的S ysML活动图， 将活动图中的活动节点分类为智 能模块与非智能模块， 并使用构型 的概念， 来描述活动图中活动节点之间的组合以及数据 交互， 以此建立整个系统的模型； 步骤2： 概率正确性测定与评估， 测定模型中每个智能模块的概率正确性， 并通过模块 协同算子所定义的相应公式， 计算系统模型中复合构型 的概率正确 性， 最后从系统起始点 出发， 依次计算每 个流程中数据概 率正确性的传递， 最终评估获得系统整体的概 率正确性。 2.如权利要求1所述的基于模块协同的机器学习系统概率正确性建模与评估方法， 其 特征在于， 在所述 步骤1包括以下步骤： 步骤1.1： 模块分析： 将根据系统构建的SysML活动图中的活动根据是否使用机器学习 组件， 分类为智能模块与非智能模块； 使用机器学习组件的活动分类为智能模块， 没有使用 机器学习组件的活动分类为非智能模块； 步骤1.2： 构型描述建模： 使用构型的概念， 来描述活动图中活动节点之间的组合以及 数据交互， 以此建立整个系统的模型。 3.如权利要求2所述的基于模块协同的机器学习系统概率正确性建模与评估方法， 其 特征在于， 步骤1.2中， 所述构型包括原子构型、 顺序构型、 并发构型、 剪枝构型、 数据流构 型； 所述原子构型 是指模块 为单独的不可拆分的构型； 所述顺序构型 是指后续模块的执 行依赖于前序模块输出的构型； 所述并发构型 是指两个或者多个模块并发执 行的构型； 所述剪枝构型是指后续模块的执行需要应用到前序并行模块的数据结果， 且前序并行 模块在产生数据后立即终止运行的构型； 所述数据流构型是指前序模块连续发送多份数据给后 续模块， 后 续模块对每一份数据 均进行处 理的构型。 4.如权利要求1所述的基于模块协同的机器学习系统概率正确性建模与评估方法， 其 特征在于， 在所述 步骤2包括以下步骤： 步骤2.1： 机器学习组件概率正确性测算： 假设机器学习算法满足PAC规约， 使用单一的 概率p＝(1 ‑δ )(1‑∈)来表示机器学习组件的概率正确性， 其中∈∈[0， 1]称为精确参数， δ ∈[0， 1]称为置信参数， 使用机器学习算法对应的测试集， 计算每个机器学习模型能够给出 正确预测结果的概率， 将其作为智能模块的概率正确性数值， 对于非智能模块， 其概率正确 性为1； 步骤2.2： 组合组件概率正确性计算： 若完成的系统模型中有模块组合， 根据模块协同 算子所定义的模块组合 概率正确性计算公式， 计算出组合模块的概 率正确性； 步骤2.3： 系统整体概率正确性计算： 根据系统的执行流程， 从系统的起始节点出发， 计 算模块输出 的概率正确 性， 并将输出概率正确 性作为下一个或几个模块的输入， 每一个模 块都根据输入概率正确性和构型计算 公式， 计算得出输出概率正确性， 依此进 行下去， 直到 计算出最后一个模块输出的概 率正确性， 即为系统整体的概 率正确性。 5.如权利要求4所述的基于模块协同的机器学习系统概率正确性建模与评估方法， 其权　利　要　求　书 1/3 页 2 CN 115527058 A 2特征在于， 步骤2.1中， 所述精确参数定义了数值在什么样的范围内， 认 为结果是正确； 所述 置信参数定义了有 多大的概 率获得精确度满足的一个模型； 所述模块协同算子是指用于描述构型的公式， 构型是模块之间的组合， 使用图形进行 定义。 6.如权利要求4所述的基于模块协同的机器学习系统概率正确性建模与评估方法， 其 特征在于， 在通过模块协同算子描述的构型中， 对于原子构型， S是一个模块， 规定S模块的 输入数据为x， S模块的计算逻辑过程为f， S模块的输出为y， 则S构成原子构型， 协同算子表 示为S； 对于顺序构型， S1和S2是两个模块， 且S1是S2的前件， 若模块S2的执行依赖于S1的输 出， 则S1和S2构成顺序构型， 协同算子表示为S1＞＞S2； 假设S1模块的输入概率正确性为r， S1和S2的概率正确性计算函数分别为R1和R2， 那么S1， S2输出的概率正确性为： Reliability(S1＞ ＞S2)＝R2(R1(r))； 对于并发构型， S1和 S2是两个模块， 且S1和 S2这两个模块并发执行， 则S1和 S2构成并行 构型， 协同算子表示为S1|S2； 假设S1模块输入的概率正确性为r1， S2模块输入的概率正确 性为r2， S1模块的概率正确性计算函数为R1， S2模块的概率正确性计算函数为R2， 那么这两 个模块输出的概 率正确性分别为R1(r1)和R2(r2)； 对于剪枝构型， S1， S2和 S是三个模块， 若S执行过程中需要用到S1或者S2中产 生的第一 个数据结果， 且S1， S2并行执行过程中在产生完第一个数据之后立刻终止运行， 则S与S1和 S2构成剪枝构型， 协同算子表示为S＜＜(S1|S2)； 假设S1和S2自身的概率正确性概率分别 为r1， r2， 且S1和S2优先执行输出的概率为a和b， 那么此时剪枝构型输出的概率正确性概率 为Reliability(S＜＜(S1|S2))＝a*r1+b*r2， a和b的数值由运行一周时间内模块S1和S2优 先执行输出的概 率计算得 出； 对于数据 流构型， S1和 S2是两个模块， 且S1将会连续发送给S2多份数据， S2对于每一份 数据均会进行处理， 则S1和S2构成数据流构型， 协同算子表 示为S1＞＞＞S2； 假设S1和S2的 概率正确性计算函数分别为R1和R2， 那么S1， S2输出的概率正确性为： Reli ability(S1＞＞ S2)＝R2(R1(r))； 虽然与顺序构型的计算方式相同， 但是数据流构型拥有多个输出， 且在相 同操作下， 输出的数据概 率正确性与顺序构型相同。 7.一种实现如权利要求1 ‑6之任一项所述建模与评估方法的系统， 其特征在于， 若系统 能够直接识别Sysml活动图， 所述系统包括： 活动图输入模块， 模型构建模块， 概率正确性计 算模块； 系统的输入为根据系统构建的活动图， 系统的输出为计算得出 的建模系统的概率 正确性数值。 8.如权利要求7所述的系统， 其特征在于， 所述活动图输入模块用于将根据实际情况构 建完成的活动图输入到系统中； 所述模型构建模块用于使用构型概念， 利用活动图中活动节点之间的组合及数据交 互， 建立系统模型； 所述概率正确性计算模块， 用于计算概率正确性。 从图的起始节点开始， 计算出输出概 率正确性， 作为下一个或下几个模块的输入， 接下来的模块根据输入概率正确 性和自身概 率正确性计算 公式， 计算得出输出概率正确性， 依此步骤进 行下去， 直到计算出最后一个模 块输出的概 率正确性， 即为系统整体的概 率正确性。权　利　要　求　书 2/3 页 3 CN 115527058 A 3