(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211141062.5 (22)申请日 2022.09.20 (71)申请人 成都数之联科技股份有限公司 地址 610000 四川省成 都市武侯区锦绣 街8 号2层270号 (72)发明人 不公告发明人 　 (51)Int.Cl. G06Q 10/06(2012.01) G06F 17/18(2006.01) G06N 7/00(2006.01) G06N 5/04(2006.01) G06Q 50/20(2012.01) (54)发明名称 一种主观性内容的一 致性评分方法及系统 (57)摘要 本发明提供一种主观性内容的一致性评分 方法及系统， 涉及大数据挖掘与分析领域， 所述 方法包括步骤： 利用历史评分资料， 计算评分人 员对于不同等级的已评分对象的评分概率； 利用 历史评分资料， 计算评分人员对于不同等级的已 评分对象的评分分布； 根据评分分布计算评分人 员之间的评分差异， 选取评分分布差异大于分布 阈值的若干评分人员， 组成评分组； 获取评分组 中每名评分人员对待评分对象的评分， 结合每名 评分人员的评分概率计算该评分人员 所给评分 的可信度； 根据每名评分人员所给评分的可信度 对其评分进行修正， 作为该评分人员最终的评 分。 解决了在主观性内容评价中， 评分结果受评 分人员主观经验和判断的影 响较大， 公平性和真 实性难以保证的问题。 权利要求书3页 说明书20页 附图1页 CN 115471081 A 2022.12.13 CN 115471081 A 1.一种主观性内容的一 致性评分方法， 其特 征在于， 所述方法包括以下步骤： 利用历史评分资料中每名评分人员对于已评分对象的评分， 计算评分人员对于不同等 级的已评分对象的评分概 率； 利用历史评分资料中每名评分人员对于已评分对象的评分， 计算评分人员对于不同等 级的已评分对象的评分 分布； 根据评分分布计算评分人员之间的评分差异， 选取评分分布差异大于分布阈值的若干 评分人员， 组成评分组； 获取评分组中每名评分人员对待评分对象的评分， 结合每名评分人员的评分概率计算 该评分人员所 给评分的可信度； 根据每名评分人员所给评分的可信度对其评分进行修正， 作为该评分人员最终的评 分。 2.根据权利要求1所述的一种 主观性内容的一致性评分方法， 其特征在于， 所述方法还 包括以下步骤： 计算评分组中不同评分人员之间评分的方差， 若评分方差小于方差阈值， 则计算所有 评分人员评分的加权平均分， 将加权平均分作为待评分对象最终的得分； 若评分方差大于方差阈值， 则在评分组中加入新的评分人员， 并且选取不同评分人员 组合中， 评分的方差最小的一个组合， 若该组合中不同评分人员之间评分的方差小于方差 阈值， 则计算所有评分人员评分的加权平均分， 将加权平均分作为待评分对象最终的得分。 3.根据权利要求2所述的一种主观性内容的一致性评分方法， 其特征在于： 通过公式 (1)计算评分人员对于不同等级的已评分对象的评分概 率 其中， 表示已评分对象实际评分等级为任意等级Gx的数量， 表示已评分对象实 际评分等级为 等级Gx， 但评分人员给 出的评分等级为Z的数量。 4.根据权利要求3所述的一种主观性内容的一致性评分方法， 其特征在于： 通过公式 (2)计算评分人员对于不同等级的已评分对象的评分 分布P{X＝Xi}； 其中， X表示评分人员的评分等级， Xi表示第i个评分等级， pi表示该评分人员的评分在 该评分等级的概率， N表示该评分人员的历史评分资料的样本总数， Ni表示该评分人员的评 分等级为第i个评分等级的数量。 5.根据权利要求4所述的一种主观性内容的一致性评分方法， 其特征在于： 通过公式 (3)计算评分人员之间的评分差异D(P,Q)； 其中， P(X)和Q(X)表示两名不同评分人员的评分 分布， Xi表示第i个评分等级。权　利　要　求　书 1/3 页 2 CN 115471081 A 26.根据权利要求5所述的一种主观性内容的一致性评分方法， 其特征在于： 根据公式 (4)计算待评分对象实际评分等级为 等级Z， 并且被评分人员判定为 等级Z的概 率 其中， P(Z)表示所有待评分对象中等级Z的评分对象出 现的概率； 表示公式(1)中 等级Z的评分概 率， 表示该评分人员将待评分对象评分为 等级Z的概 率。 7.根据权利要求6所述的一种主观性内容的一致性评分方法， 其特征在于： 根据公式 (5)计算待评分对象实际评分等级为任意等级Gx， 但评分人员给出的评分等级为等级Z的概 率 即评分人员所 给评分的可信度； 其中， P(Gk)表示所有待评分对象中等级Gk的评分对象出现的概率， 表示公式 (1)中任意 等级Gk的评分概 率， 表示该评分人员将待评分对象评分为 等级Z的概 率。 8.根据权利要求7所述的一种主观性内容的一致性评分方法， 其特征在于： 通过公式 (6)对每名评分人员的评分进行修 正； 其中， Si表示为修正后的评分等级， Gk表示为实际评分等级， pik表示为将实际评分等级 为等级Gk的评分对象评分为 等级Gi的评分概 率。 9.根据权利要求8所述的一种主观性内容的一致性评分方法， 其特征在于： 根据公式 (7)计算评分组中不同评分人员评分的方差D； 其中， Si表示评分组中每名评分人员的评分， 表示评分组中所有评分人员评分的平均 值， n表示评分组中评分人员的数量。 10.根据权利要求9所述的一种主观性内容的一致性评分方法， 其特征在于： 根据公式 (8)计算评分人员评分的加权平均分； S＝∑ λiSi         (8) 其中， S表示评分人员评分的加权平均分， λi表示权重值。 11.一种主观性内容的一 致性评分系统， 其特 征在于， 所述系统包括： 历史资料存 储单元， 所述历史资料存 储单元用于存 储历史评分 资料； 评分概率计算单元， 所述评分概率计算单元用于计算评分人员对于不同等级的已评分 对象的评分概 率； 评分分布计算单元， 所述评分分布计算单元用于计算评分人员对于不同等级的已评分 对象的评分 分布； 可信度计算单 元， 所述可信度计算单 元用于计算评分人员所 给评分的可信度；权　利　要　求　书 2/3 页 3 CN 115471081 A 3