(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211052136.8 (22)申请日 2022.08.31 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 王建标　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张欣然 (51)Int.Cl. G06F 8/38(2018.01) G06V 10/22(2022.01) G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/82(2022.01) (54)发明名称 一种产品用户界面处理方法、 系统、 存储介 质及电子设备 (57)摘要 本申请公开了一种 产品用户界面处理方法、 系统、 存储介质及电子设备， 可应用于大数据领 域或金融领域。 通过预设深度学习模 型对预处理 操作后的图像进行定位得到用户注视界面区域， 通过预设空间定位技术和视线追踪技术对用户 注视界面区域进行处理， 得到用户注视界面的映 射函数并进行定性分析， 基于分析结果对产品用 户界面进行修正， 从而开发出迎合用户的产品用 户界面。 基于上述， 通过预设空间定位技术和视 线追踪技术对用户注视界面区域进行处理得到 用户注视界面的映射函数， 即用户观 察界面时的 关注轨迹、 关注时间和关注频率等数据， 通过对 该数据进行定性分析， 根据分析结果对产品用户 界面进行科学客观修正， 实现开发出迎合用户的 产品用户界面的目的。 权利要求书2页 说明书8页 附图3页 CN 115454426 A 2022.12.09 CN 115454426 A 1.一种产品用户界面处 理方法， 其特 征在于， 所述方法包括： 获取待处 理图像； 所述待处 理图像用于表征用户关注界面时的图像； 对所述待处理图像进行预处理操作； 所述预处理操作用于降低图像噪音， 提升 图像质 量； 通过预设深度学习模型对预处 理操作后的图像进行定位， 得到用户注视界面区域； 通过预设空间定位技术和视线追踪技术对用户注视界面 区域进行处理， 得到用户注视 界面的映射函数； 所述用户注视界面的映射函数用于表征用户观察界面时的关注轨迹、 关 注时间和关注频率； 对所述用户注视界面的映射函数进行定性分析， 得到分析结果， 并基于所述分析结果 对产品用户界面进行修 正， 从而开发出迎合用户的产品用户界面。 2.根据权利要求1所述的方法， 其特征在于， 所述通过预设深度 学习模型对预处理操作 后的图像进行定位， 得到用户注视界面区域， 包括： 通过预设深度学习模型对预处理操作后的图像进行人脸定位， 得到人脸定位后的图 像； 通过所述预设深度学习 模型对所述人脸定位后的图像进行人眼定位， 得到人眼定位后 的图像； 通过所述预设深度学习模型对所述人眼定位后的图像进行瞳孔定位， 得到人眼信息； 通过人眼中心定位算法将所述人眼信 息与获取到的屏幕信 息进行映射， 得到人眼中心 和参照点； 根据所述人眼中心和所述 参照点形成的夹角计算得到用户注视界面区域。 3.根据权利要求1所述的方法， 其特征在于， 所述通过预设空间定位技术和视线追踪技 术对用户注视界面区域进行处 理， 得到用户注视界面的映射 函数， 包括： 通过预设空间定位技术和视线追踪技术对所述用户注视区域进行处理， 得到屏幕坐标 的映射函数； 将获取到的眼动特征信 息输入至所述屏幕坐标的映射函数， 得到用户注视界面的映射 函数。 4.根据权利要求3所述的方法， 其特征在于， 所述将 获取到的眼动特征信 息输入至所述 屏幕坐标的映射 函数， 得到用户注视界面的映射 函数， 包括： 按照预设顺序在屏幕上标注出多个测试点， 使得用户按照所述预设顺序注视所述多个 测试点， 得到所述多个测试点各自对应的眼动特 征信息； 将所述多个测试点和所述多个测试点各自对应的眼动特征信 息输入至预设多项式中， 得到多项式系数； 通过所述多项式系数， 得到用户注视界面的映射 函数。 5.根据权利要求1所述的方法， 其特征在于， 所述对所述用户注视界面的映射函数进行 定性分析， 得到 分析结果， 并基于所述分析结果对产品用户界面进 行修正， 从而开 发出迎合 用户的产品用户界面， 包括： 对所述用户注视界面的映射函数进行定性分析， 得到用户注视界面的热点图和用户注 视界面的轨 迹图； 通过所述用户注视界面的热点图和所述用户注视界面的轨迹图对用户界面进行修正，权　利　要　求　书 1/2 页 2 CN 115454426 A 2从而开发出迎合用户的产品用户界面。 6.一种产品用户界面处 理系统， 其特 征在于， 所述系统包括： 获取单元， 用于获取待处 理图像； 所述待处 理图像用于表征用户关注界面时的图像； 操作单元， 用于对所述待处理图像进行预处理操作； 所述预处理操作用于降低图像噪 音， 提升图像质量； 定位单元， 用于通过预设深度学习模型对预处理操作后的图像进行定位， 得到用户注 视界面区域； 处理单元， 用于通过预设空间定位技术和视线追踪技术对用户注视界面区域进行处 理， 得到用户注视界面的映射函数； 所述用户注视界面的映射函数用于表征用户观察界面 时的关注轨 迹、 关注时间和关注频率； 分析单元， 用于对所述用户注视界面的映射函数进行定性分析， 得到分析结果， 并基于 所述分析 结果对产品用户界面进行修 正， 从而开发出迎合用户的产品用户界面。 7.根据权利要求6所述的系统， 其特 征在于， 所述定位单 元， 包括： 第一定位模块， 用于通过预设深度学习模型对预处理操作后的图像进行人脸定位， 得 到人脸定位后的图像； 第二定位模块， 用于通过所述预设深度学习 模型对所述人脸定位后的图像进行人眼定 位， 得到人眼定位后的图像； 第三定位模块， 用于通过所述预设深度学习 模型对所述人眼定位后的图像进行瞳孔定 位， 得到人眼信息； 映射模块， 用于通过人眼中心定位算法将所述人眼信息与获取到的屏幕信息进行映 射， 得到人眼中心和参照点； 计算模块， 用于根据 所述人眼中心和所述参照 点形成的夹角计算得到用户注视界面 区 域。 8.根据权利要求6所述的系统， 其特 征在于， 所述处 理单元包括： 处理模块， 用于通过预设空间定位技术和视线追踪技术对所述用户注视区域进行处 理， 得到屏幕坐标的映射 函数； 输入模块， 用于将获取到的眼动特征信息输入至所述屏幕坐标的映射函数， 得到用户 注视界面的映射 函数。 9.一种存储介质， 其特征在于， 所述存储介质包括存储的指令， 其中， 在所述指令运行 时控制所述存储介质所在的设备执行如权利要求1至5任意一项所述的产品用户界面处理 方法。 10.一种电子设备， 其特征在于， 包括存储器， 以及一个或者一个以上的指令， 其中一个 或者一个以上指令存储于存储器中， 且经配置以由一个 或者一个以上 处理器执行如权利要 求1至5任意一项所述的产品用户界面处 理方法。权　利　要　求　书 2/2 页 3 CN 115454426 A 3