(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210892669.0 (22)申请日 2022.07.27 (71)申请人 葛纪侠 地址 276100 山东省临沂市兰山区沂蒙路 210号 (72)发明人 葛纪侠　 (51)Int.Cl. H04N 21/44(2011.01) H04N 5/232(2006.01) G06V 40/18(2022.01) G06V 20/40(2022.01) G06F 21/62(2013.01) (54)发明名称 基于机器学习模型调整目光的视频方法和 电子设备 (57)摘要 本说明书实施例提供一种基于机器学习模 型调整目光的视频方法， 通过第一终端采集斜视 用户的第一视频流， 通过第二终端采集第二用户 的第二视频流， 终端均具有摄像头和显示装置， 利用监督学习训练目光焦点校正模 型， 将第一视 频流和第一终端的摄像头与显示装置的相对位 置信息输入到目光焦点校正模型中， 目光焦点校 正模型对第一视频流中第一图像的面部仰角、 斜 视用户的眼球在眼眶中的位置进行转换， 得到转 换目光焦点后的第一视频流， 发送至第二终端并 显示。 通过利用监督学习训练目光焦点校正模 型， 从而对面部仰角、 斜视用户的眼球位置进行 转换， 使第一、 二用户不注视摄像头而是注视显 示装置的情况 下依然能达 到对视的效果。 权利要求书2页 说明书8页 附图2页 CN 115250378 A 2022.10.28 CN 115250378 A 1.一种基于 机器学习模型调整目光的视频 方法， 其特 征在于， 包括： 通过第一终端采集斜视用户的第一视频流， 所述第一视频流中具有多个第一图像， 通 过第二终端采集第二用户的第二视频流， 所述第二视频流中具有多个第二图像， 所述第一 终端和第二终端均具有摄 像头和显示装置； 利用监督学习训练目光焦点校正模型， 将第 一视频流和第 一终端的摄像头与显示装置 的相对位置信息输入到所述目光焦点校正模型中， 所述目光焦点校正模型对所述第一视频 流中第一图像的面部仰角、 斜视用户的眼球在眼眶中的位置进行转换， 得到转换目光焦点 后的第一视频流； 将转换后的第一视频流发送至第二终端并用第二终端显示。 2.根据权利要求1所述的方法， 其特征在于， 所述利用监督学习训练目光焦点校正模 型， 包括： 识别第一图像中的面部仰角、 斜视用户的眼球在眼眶中的位置； 将第二图像划分成多个子区域， 按照顺序依次对子区域进行画面变换， 并实时监测斜 视用户眼眶的变化， 当斜视用户眼眶和眼球产生变化满足预设条件时， 确定此时画面反转 的区域， 判定作为聚焦点位置， 结合斜视用户的反馈、 第一 终端的显示装置 当前显示的第二 图像和所述聚焦点 位置确定所述 斜视用户的聚焦对象； 根据所述标准图像中面部仰角、 斜视用户的眼球在眼眶中的位置和所述 聚焦对象对第 一图像设置训练标签； 结合第一图像的训练样本和所述训练标签构建并训练目光焦点校正模型。 3.根据权利要求1所述的方法， 其特征在于， 所述预设条件为响应速度小于第 一速度阈 值， 变化幅度大于第一幅度阈值。 4.根据权利要求1所述的方法， 其特 征在于， 还 包括： 在第二终端存 储斜视用户的肖像特 征； 第一终端提取第 一视频流中的表情特征并对第 一视频流中的肖像特征进行脱敏， 得到 第一脱敏视频流； 所述将转换后的第一视频流发送至第二终端， 包括： 通过目光焦点校正模型将第 一脱敏视频流进行转换后， 将提取出的表情特征和转换后 的第一脱敏视频流发送至第二终端； 所述在第二终端的显示装置上显示， 包括： 第二终端结合本地存储的斜视用户的肖像特征、 所述表情特征和转换后的第 一脱敏视 频流合成具有表情特 征的视频流， 并在显示装置上显示。 5.根据权利要求4所述的方法， 其特征在于， 所述第 一终端还利用所述肖像摘要信 息中 的私钥对所述第一视频流进行加签； 所述第二终端从区块链获取所述斜视用户的公钥， 对所述加签的第一视频流进行解 签， 并与未加签的第一视频流对比， 对比验证通过后将第二视频流发送至第一终端。 6.根据权利要求3所述的方法， 其特 征在于， 还 包括： 第一终端对第 一视频流中的肖像特征进行哈希 处理生成肖像摘要信 息， 发送至第 二终 端； 所述第二终端结合本地存储的斜视用户的肖像特征、 所述表情特征和转换后的第 一脱权　利　要　求　书 1/2 页 2 CN 115250378 A 2敏视频流 合成具有表情特 征的视频流， 包括： 第二终端根据第一终端发送的肖像摘要信息查询并从本地调用对应的肖像特 征； 结合所述肖像特征、 所述表情特征和转换后的第 一脱敏视频流合成具有表情特征的视 频流。 7.根据权利要求 4所述的方法， 其特 征在于， 还 包括： 识别所述斜视用户是否为近视患者， 若是， 则根据识别出的聚焦点位置对第二图像的 聚焦点位置邻近区域进行局部放大。 8.根据权利要求1所述的方法， 其特征在于， 所述目光焦点校正模型的前端处理层部署 于第一终端和第二终端， 所述目光焦点校正模型的后端处 理层部署于服 务器。 9.一种电子设备， 其中， 该电子设备包括： 处理器； 以及， 存储计算机可执行程序的存储器， 所述可执行程序在被执行时使所述处理器执行根据 权利要求1 ‑8中任一项所述的方法。 10.一种计算机可读存储介质， 其中， 所述计算机可读存储介质存储一个或多个程序， 所述一个或多个程序当被处 理器执行时， 实现权利要求1 ‑8中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115250378 A 3