(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210765573.8 (22)申请日 2022.07.01 (71)申请人 楚楚生机 （东莞） 医疗 有限公司 地址 523429 广东省东莞 市松山湖园区科 技十路7号16 栋406室 (72)发明人 麦汇佳　 (74)专利代理 机构 广东广信君达律师事务所 44329 专利代理师 谢红 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/10(2017.01) G06V 40/18(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种虹膜三维识别的健康监测方法及其系 统 (57)摘要 本发明涉及健康 监测技术领域， 尤其是一种 虹膜三维识别的健康监测方法及其系统。 本发明 的方法主要包括采集虹膜数据并对数据进行标 注、 对采集和标注后的数据进行虹膜分割， 对分 割后的虹膜图像进行三维重构， 对三维虹膜数据 进行分析预测四个步骤。 本发明的系统包括虹膜 图像采集模块、 虹膜分割模块、 虹膜图像三维重 构模块、 和三维虹膜数据的分析预测模块； 实现 各步骤的功能。 本发明的系统和方法可以基于虹 膜识别， 实现高度自动化、 精确的健康监测； 可以 用于基于虹膜识别的健康监测。 权利要求书4页 说明书9页 附图3页 CN 115131503 A 2022.09.30 CN 115131503 A 1.一种虹膜三维识别的健康监测方法， 其特征在于： 所述的方法主要包括采集虹膜数 据并对数据进行标注、 对采集和标注后的数据进行虹膜分割， 对分割后的虹膜图像进行三 维重构， 对三维虹膜数据进行分析 预测四个步骤。 2.根据权利要求1所述的方法， 其特征在于： 所述的采集虹膜数据并对数据进行标注是 利用摄像机、 手机摄像头类的虹膜数据采集设备给活体的左右眼的虹膜分别拍照， 对拍摄 获得的虹膜图片进 行虹膜与巩膜的分 界及位置标注； 并对应标注记录活体的性别、 年龄， 以 及不良症状、 所患疾病等 健康状况信息 。 3.根据权利要求2所述的方法， 其特征在于： 所述的采集虹膜数据时对每个虹膜从不同 的角度拍摄多张图片。 4.根据权利要求1、 2或3所述的方法， 其特征在于： 所述的方法是对采集的虹膜图像利 用卷积神经网络算法的Unet网络模 型做语义分割； 即将采集的大量的虹膜图片数据及相应 的虹膜标注信息输入到Unet网络模型中进行训练； 进行下采样和上采样， 使Unet网络模型 训练、 学习找到要分割 数据的特征， 对虹膜图片边界进行精确分割； 在完成训练后， 可对输 入的待分割虹膜图片进行虹膜分割。 5.根据权利要求 4所述的方法， 其特 征在于： 所述的虹膜分割包括以下步骤： A、 将采集的虹膜图像数据分为训练集， 验证集， 测试集， 分别用于训练、 验证和测试； 并 分别归类到训练集、 验证集和测试集； 对分类、 归类的所有图像统一尺寸， 并进行线性归一 化处理； B、 将归一化之后的图像输入Unet网络模型中， 采用sigmoid或softmax层将该图像数据 输出为通道数为 1的概率矩阵， 矩阵尺寸与输入图像尺寸相同， 矩阵中的每个数值即为该点 被分类为目标组织的概 率； C、 采用Cross ‑entropy loss交叉熵损失函数或Focal  loss最为损失函数计算概率矩 阵中每个数值与金标准的误差， 通过梯度下降法和反向传播方法将误差用于Unet网络模型 的权重、 偏差等 参数调整， 优化Unet网络模型的分类能力； D、 将验证集数据输入到经过B， C步骤优化后的Unet网络模型中， 将输出结果和金标准 进行比较， 比较的结果使用ac curacy和戴斯分数进行评估； E、 步骤B至D为一个训练周期， 重复步骤B至D的周期若干次， 直至验证集的accuracy数 值在20次周期内无改善， 即优化 值小于＜10 ‑8， 结束训练； F、 将测试集图像输入训练结束后的Unet网络模型中， 图像经过sigmoid或softmax层 后， 取θ ＝0.5为阈值输出分类结果； 得到分割结果的图像。 6.根据权利要求4所述的方法， 其特征在于： 所述的下采样中， 首先是输入通道数为1、 长宽为h x l的矩阵， 接着是4次重复过程； 每次过程分为卷积和池化两个过程； 卷积过程： 输入图像经过连续的2个卷积层， 分别为第一， 第二卷积层； 其中， 卷积核大 小为3x3， 2个卷积层卷积核 数量均为u， 该卷积核的数量为初始卷积核数量； 该过程中， 步长 为1， 为保证输出后图像尺寸不发生改变， 在输入图像时周围做补 “0”处理， 该过程后， 输出 图像为u个尺寸为h  x l， 通道数为u的矩阵； 紧接着利用激活函数ReLU， PReLU或Leakys进行 特征提取； 池化过程： 输入图像经过第一， 第二卷积层后， 经过第 一个最大池化层， 其中， 池化矩阵 尺寸为2x2； 该过程中， 步长为2， 输出图像尺寸发生改变； 该过程后， 输出图像为u个尺寸为权　利　要　求　书 1/4 页 2 CN 115131503 A 2h/2 x l/2， 通道数为u的矩阵； 该过程中， 图像的特征位置信息被保存， 每个位置最大数值 被保存， 图像数据被降维； 以上卷积和池化过程被重复执行4次， 其中， 在第n+1次执行的过程中， 卷积层中卷积核 的数量是第n次执行过程中卷积层卷积核的2 倍； 但在每次执行的卷积过程中， 2个卷积层中 卷积核的数量相等， 因此， 在第2， 3， 4次执行卷积过程时， 经过的卷积层及其卷积核数量分 别为第三， 第四卷积层： 2u， 第五， 第六卷积层： 4u， 第七， 第八卷积层： 8u， 每经过两个卷积层 后， 都经过一个最大池化层， 其分别为： 第二、 第三和第四最大池化层。 每次池化过程中， 池 化层参数不发生改变； 在最后一次池化过程后， 矩阵再次经过两个卷积核数量为16u的卷积层， 即第九和第十 卷积层， 下采样过程结束； 输出 数据为尺寸h /32 x l/32， 通道数为16u的矩阵； 前述的下采样包括： 输入层， 第一， 第二卷积层， 第一最大池化层， 第三， 第四卷积层， 第 二最大池化层， 第五， 第六卷积层， 第三最大池化层， 第七， 第八卷积层， 第四最大池化层， 第 九， 第十卷积层； 上采样过程从第 一个反卷积层开始， 输入矩阵通过一个反卷积核尺寸为2x2后， 被扩大 为h/16 x h/16的矩阵， 通道数是原来的一半， 即8u； 经过该层后， 和位于第八卷积层的输出 特征图相拼接， 该拼接中， 仅通道数扩大为原来的两倍， 特征图本身尺寸不变； 拼接后图像 经过连续两个卷积层， 即第十一， 第十二卷积层， 其中， 卷积核数量 为8u， 尺寸 为2x2； 上述过程被重复四次， 经过第二反卷积层后， 与第六卷积层相拼接； 再经过第十三， 第 十四卷积层， 其中卷积核数量为4u； 经过第三反卷积层后， 与第四卷积层拼接； 再经过第十 五， 第十六卷积层， 卷积核 数量为2u； 经过第四反卷积层后， 与第二卷积层拼接； 再经过第十 七， 第十八卷积层， 卷积核 数量为u； 反卷积层 核尺寸和卷积核尺 寸发生改变。 经过上述过程 后， 最后再经过一个卷积核尺 寸为1x1， 数量为u的卷积层， 最终输出结果为尺 寸为h x l， 通 道数为1的矩阵； 上采样过程结束； 前述的上采样过程包括： 第一反卷积层， 第十一、 第十二卷积层； 第二反卷积层， 第十 三、 第十四反卷积层； 第三反卷积层， 第十五、 第十六卷积层； 第四反卷积层， 第十七， 第十 八 卷积层； 第十九卷积层， 输出层。 7.根据权利要求4所述的方法， 其特征在于： 所述的对分割后的虹膜图像进行三维重构 是利用SFM算法生 成稀疏的mesh网格， 然后再利用MVS算法细化SFM算法获得的网络， 从而获 得虹膜的密集3D点云数据。 8.根据权利要求7所述的方法， 其特征在于： 所述的SFM算法是先从检测图像中提取2D 特征表征； 这些图像特征 的表示为图像中的一个小区域； 通过这些唯一的特征得到一个比 较粗糙的3D稀疏点云数据和每一张图片对应的相机参数。 9.根据权利要求7 所述的方法， 其特 征在于： MVS算法是几乎对照片中的每个像素点都进行匹配， 重建每一个像素点的三维坐标， 细 化通过SFM算法获得的网格， 产生密集重构的密集3D点云数据。 10.根据权利要求7所述的方法， 其特征在于： 所述的对三维虹膜数据进行分析预测是 将虹膜图像经过三 维重构后得到的点云数据和对应的健康标注信息， 输入到Point Net网络 模型上进行多分类任务的AI训练， 让PointNet网络模型自主学习， 找到各个不良症状和患 有不同疾病的虹膜数据特征， 训练好的和测试好的PointNet虹膜 健康检测模型对新的受检权　利　要　求　书 2/4 页 3 CN 115131503 A 3