(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211082278.9 (22)申请日 2022.09.06 (65)同一申请的已公布的文献号 申请公布号 CN 115171028 A (43)申请公布日 2022.10.11 (73)专利权人 深圳市天趣 星空科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区科技南八路2号豪威科 技大厦23 06 (72)发明人 王洁　 (74)专利代理 机构 广州博联知识产权代理有限 公司 44663 专利代理师 梁志标　孙倩倩 (51)Int.Cl. G06F 3/01(2006.01)G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/18(2022.01) G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G02B 27/01(2006.01) G08B 6/00(2006.01) (56)对比文件 CN 114022841 A,202 2.02.08 审查员 王俊杰 (54)发明名称 基于图像处理的智能眼镜调节控制方法及 系统 (57)摘要 本发明提供的基于图像处理的智能眼镜调 节控制方法及系统， 涉及图像处理技术领域。 在 本发明中， 通过目标智能眼镜对目标用户的脸部 区域进行视频监控处理， 以输出目标用户对应的 脸部区域监控视频； 利用预先训练形成的用户状 态识别神经网络， 对脸部区域监控视频进行用户 状态识别处理， 以输出目标用户对应的目标用户 状态识别信息， 目标用户状态识别信息用于反映 目标用户的注 意力集中度； 基于目标用户状态识 别信息， 对目标智 能眼镜进行调节控制， 以实现 对目标用户的警示处理。 基于上述内容， 本发明 提高对智能眼镜进行调节控制的可靠度。 权利要求书5页 说明书14页 附图2页 CN 115171028 B 2022.11.18 CN 115171028 B 1.一种基于图像处 理的智能眼镜调节控制方法， 其特 征在于， 包括： 通过目标智能眼镜对目标用户的脸部区域进行视频监控处理， 以输出所述目标用户对 应的脸部区域监控视频， 所述脸部区域监控视频包括多帧脸部区域监控视频帧， 所述脸部 区域监控视频帧至少包括眼睛的信息； 利用预先训练形成的用户状态识别神经网络， 对所述脸部区域监控视频进行用户状态 识别处理， 以输出所述 目标用户对应的目标用户状态识别信息， 所述 目标用户状态识别信 息用于反映所述目标用户的注意力集中度； 对所述目标用户状态识别信息反映出的所述目标用户的注意力集中度和预先配置的 注意力集中度参 考值进行大小比较处 理； 倘若所述目标用户状态识别信息反映出的所述目标用户的注意力集中度小于或等于 所述注意力集中度参考值， 则对所述注意力集中度参考值和所述注意力集中度进 行比值计 算， 以输出对应的集中度比值； 依据所述集中度比值确定出具有正相关关系的目标振动参数， 再依据 所述目标振动参 数对所述目标智能眼镜进 行调节控制， 以使 所述目标智能眼镜基于所述目标振动参数发出 振动， 以提示所述 目标用户， 所述 目标振动参数至少包括 目标振动幅度和目标振动频率中 的一种； 其中， 所述通过目标智能眼镜对目标用户的脸部区域进行视频监控处理， 以输出所述 目标用户对应的脸部区域 监控视频的步骤， 包括： 对所述目标用户对应的脸部区域监控视频中每相邻两帧脸部区域监控视频帧进行视 频帧相似度的计算处理， 以输出每相邻两帧脸部区域监控视频帧之间的视频帧相似度； 再 基于所述视频帧相似度， 对所述脸部区域监控视频进行去重或去高相似度视频帧筛选， 以 输出最后的脸部区域 监控视频； 其中， 所述对所述目标用户对应的脸部区域监控视频中每相邻 两帧脸部区域监控视频 帧进行视频帧相似度的计算处理， 以输出每相 邻两帧脸部区域监控视频帧之间的视频帧相 似度的步骤， 包括： 对所述相邻 两帧脸部区域监控视频帧进行人脸特征点的识别处理， 以分别输出对应的 第一人脸特征点集合和 第二人脸特征点集合， 所述第一人脸特征点集合包括的多个第一人 脸特征点来自于所述相邻两帧脸部区域监控视频帧中的一帧脸部区域监控视频帧， 所述第 二人脸特征点集合包括的多个第二人脸特征点来自于所述相邻两 帧脸部区域监控视频帧 中的另一帧脸部区域 监控视频帧； 对于所述第 一人脸特征点集合中的每一个第 一人脸特征点， 依据 该第一人脸特征点和 与该第一人脸特征点最近的一个相邻第一人脸特征点， 确定出经过该第一人脸特征点和该 相邻第一人脸特征点的一条特征点直线， 再依据所述第一人脸特征点集合中的每一个第一 人脸特征点对应的特征点直线， 对所属的脸部区域监控视频帧进行分割处理， 以输出对应 的多个第一 脸部区域 监控视频帧块； 对于所述第 二人脸特征点集合中的每一个第 二人脸特征点， 依据 该第二人脸特征点和 与该第二人脸特征点最近的一个相邻第二人脸特征点， 确定出经过该第二人脸特征点和该 相邻第二人脸特征点的一条特征点直线， 再依据所述第二人脸特征点集合中的每一个第二 人脸特征点对应的特征点直线， 对所属的脸部区域监控视频帧进行分割处理， 以输出对应权　利　要　求　书 1/5 页 2 CN 115171028 B 2的多个第二 脸部区域 监控视频帧块； 分别计算所述多个第一脸部区域监控视频帧块中的每一个第一脸部区域监控视频帧 块和所述多个第二脸部区域监控视频帧块中的每一个第二脸部区域监控视频帧块之间的 第一维度相似系数和 第二维度相似系数， 所述第一维度相似系数用于反映对应的第一脸部 区域监控视频帧块和 第二脸部区域监控视频帧块之 间的形状相似度， 所述第二维度相似系 数用于反 映对应的第一脸部区域监控视频帧块和第二脸部区域监控视频帧块之间的像素 相似度； 将对应的第 一维度相似系数和第 二维度相似系数进行融合计算， 以输出对应的第 一脸 部区域监控视频帧块和第二 脸部区域 监控视频帧块之间的融合维度相似度系数； 依据对应的融合维度相似度系数， 将所述多个第 一脸部区域监控视频帧块和所述多个 第二脸部区域监控视频帧块进 行关联处理， 使得关联的第一脸部区域监控视频帧块和 第二 脸部区域监控视频帧块之间的融合维度相似度系 数的均值最大， 其中， 若一个第一脸部区 域监控视频帧块与多个第二脸部区域监控视频帧块关联， 则该多个第二脸部区域监控视频 帧块中的每一个第二脸部区域监控视频帧块仅与该第一脸部区域监控视频帧块关联， 反 之， 若一个第二脸部区域监控视频帧块与多个第一脸部区域监控视频帧块关联， 则该多个 第一脸部区域监控视频帧块中的每一个第一脸部区域监控视频帧块仅与该第二脸部区域 监控视频帧块关联； 对于每一个所述第 一脸部区域监控视频帧块， 计算该第 一脸部区域监控视频帧块的面 积与该第一脸部区域监控视频帧块对应的参考面积之 间的面积比值， 再依据该面积比值确 定出该第一脸部区域监控视频帧块对应的第一融合权重系数， 所述第一融合权重系数与该 面积比值负相关， 该第一脸部区域监控视频帧块对应的参考面积用于反映该第一脸部区域 监控视频帧块的最小外 接圆的面积； 对于每一个所述第 二脸部区域监控视频帧块， 计算该第 二脸部区域监控视频帧块的面 积与该第二脸部区域监控视频帧块对应的参考面积之 间的面积比值， 再依据该面积比值确 定出该第二脸部区域监控视频帧块对应的第二融合权重系数， 所述第二融合权重系数与该 面积比值负相关， 该第二脸部区域监控视频帧块对应的参考面积用于反映该第二脸部区域 监控视频帧块的最小外 接圆的面积； 依据对应的所述第 一融合权重系数和所述第 二融合权重系数， 对每一组关联的第 一脸 部区域监控视频帧块和第二脸部区域监控视频帧块之间的融合维度相似度系数进行融合 处理， 以输出相邻两帧脸部区域 监控视频帧之间的视频帧相似度。 2.如权利要求1所述的基于图像处理 的智能眼镜调节控制方法， 其特征在于， 所述通过 目标智能眼镜对目标用户的脸部区域进行视频监控处理， 以输出所述目标用户对应的脸部 区域监控视频的步骤， 包括： 判断是否接收到目标智能眼镜或所述目标智能眼镜对应的目标用户终端设备发送的 智能眼镜调节控制指令； 倘若接收到所述目标智能眼镜或所述目标智能眼镜对应的目标用户终端设备发送的 智能眼镜调节控制指令， 则通过向所述 目标智能眼镜发送视频监控指令， 以控制所述 目标 智能眼镜对目标用户的脸部区域进行视频监控处理， 以输出所述目标用户对应的脸部区域 监控视频。权　利　要　求　书 2/5 页 3 CN 115171028 B 3