(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210798030.6 (22)申请日 2022.07.06 (71)申请人 上海精密计量测试研究所 地址 201109 上海市闵行区元江路38 88号 (72)发明人 汪伟岚　朱大兴　赵崇卫　徐文胜　 武博　吴晋娜　 (74)专利代理 机构 上海航天局专利中心 31 107 专利代理师 余岢 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/00(2011.01) G06T 13/20(2011.01) G06K 19/06(2006.01) G06F 3/16(2006.01) G06F 3/01(2006.01) (54)发明名称 一种基于Hololens设备的三维虚拟装备库 系统 (57)摘要 本发明的基于Hololens设备的三维虚拟装 备库系统包括： 装备三维几何模型库， 包括装备 三维几何模型数据、 纹理贴图数据和动画数据； 多媒体资源 管理模块， 对装备多媒体素材进行管 理； 装备识别激活模块， 识别装备识别码以激活 系统； 仿真数据控制模块， 控制仿真数据播放顺 序； AR交互指令模块， 监听并解析AR交互指令； 交 互式指令响应； 装备业务管控模块， 全息展示装 备三维几何模型； 通过AR交互指令调取装备基本 信息、 装备各个阶段的操作信息、 装备故障诊断 信息、 装备故障维修仿真动画、 故障维修视频及 图文教程； 通过AR交互指令操控装备三维几何模 型分解， 独立操控分解后的装备子单元、 子部件 模型； 针对 装备的更新与优化， 更新系统。 权利要求书2页 说明书6页 附图3页 CN 115249291 A 2022.10.28 CN 115249291 A 1.基于Hololens设备的三维虚拟装备库系统， 其特 征在于， 包括： 装备三维几何模型库， 包括装备三维几何模型 数据、 纹理贴图数据和动画数据； 多媒体资源管理模块， 对 装备多媒体素 材进行管理； 装备识别激活模块， 识别装备识别码以激活系统； 仿真数据控制模块， 控制仿真数据执 行逻辑； AR交互指令模块， 预注册A R交互指令并初始化AR交互指令； 监听AR交互指令， 并根据AR 交互指令映射 函数解析AR交 互指令内容； 交 互式指令行为响应； 装备业务管控模块， 全息展示装备三维几何模型， 通过AR交互指令操控装备三维几何 模型全息影像旋转， 缩放， 移动； 通过AR交互指令操控全息菜单的按钮调取装备基本信息； 通过AR交互指令对装备三维几何模型进行操控分解， 能独立操控分解后的装备子单元、 子 部件模型； 通过AR交互指令操控全息菜单的按钮调取装备各个阶段的操作信息； 通过AR交 互指令操控全息菜单按钮调取装备故障诊断信息， 故障诊断形式按序依 次排查进行， 反馈 故障原因； 通过AR交互指 令操控全息菜单按钮调取装备故障维修仿 真动画、 故障维修视频、 图文教程； 针对 装备的更新与优化， 更新系统。 2.如权利 要求1所述的基于Hololens设备的三维虚拟装备库系统， 其特征在于， 根据装 备体系划分树形结构， 以树形结构建立装备库数据表， 涉及装备总体到多层次的装备子单 元、 子部件； 利用3dmax 软件结合装备工业模 型， 建立适用于增强现实的装 备三维几何模 型， 装备三维几何模型数据绑定纹理贴图数据； 系统加载虚拟装备时， 与装备库数据表建立连 接， 加载装备三维几何模型 数据及其关联的纹 理贴图数据。 3.如权利 要求1所述的基于Hololens设备的三维虚拟装备库系统， 其特征在于， 搜集装 备多媒体素材， 再利用多媒体制作编辑软件整理搜集的装备多媒体素材， 装备多媒体素材 整理完毕后建立关联装备的多媒体信息数据 表， 多媒体资源管理模块对按 结构树分类存储 的整理完 毕的装备多媒体素材进 行管理； 系统启动后， 与多媒体信息数据 表建立连接， 将涉 及的多媒体素材加载进入Hololens设备的缓存区， 系统运行阶段， 按unityWebRequest通讯 请求本地Hololens设备缓存区的数据， 数据即时响应， 并渲染成全息效果在Hololens设备 上呈现； 所述装备多媒体素材为针对装备各类基本信息、 操作信息、 故障隔离信息、 故障维 修信息所生产的文本、 图片、 视频 素材。 4.如权利 要求1所述的基于Hololens设备的三维虚拟装备库系统， 其特征在于， 装备库 服务器的数据库中添加装备识别码数据表； Hololens设备扫描装备识别码， 装备识别激活 模块将采集的装备识别码比对 装备识别码数据表中的装备识别码， 成功匹配后系统激活。 5.如权利 要求1所述的基于Hololens设备的三维虚拟装备库系统， 其特征在于， 仿真数 据包括两类， 第一类是装备三维几何模型关联的仿真数据， 第二类是装备故障维修三维动 画数据， 装备故障维修三维动画数据具备特定的逻辑顺序关系， 仿真数据控制模块用于控 制装备故障维修 三维动画数据按照特定的逻辑 顺序关系播 放。 6.如权利 要求5所述的基于Hololens设备的三维虚拟装备库系统， 其特征在于， 装备故 障维修三维动画数据在unity3d中制作并编写代码生成AssetBundle类型， 存储到装 备库服 务器指定位置； 制作装备故障维修三 维动画数据的过程中， 特定的逻辑顺序关系一并生 成， 以xml格式存储在 装备库服务器中； 系统在交互仿 真数据时， 仿 真数据控制模块反向加载 处 理xml格式仿真数据控制逻辑文件和装备故 障维修三维动画数据， Hololens设备演示装备权　利　要　求　书 1/2 页 2 CN 115249291 A 2三维几何模型动画。 7.如权利 要求1所述的基于Hololens设备的三维虚拟装备库系统， 其特征在于， 预注册 AR交互指令， 同时生成xml格式交互指令逻辑文件； 在系统激活后， AR交互指令模块加载并 处理xml格式交 互指令逻辑文件， 实例化AR交 互指令信息并指向控制逻辑。 8.如权利 要求7所述的基于Hololens设备的三维虚拟装备库系统， 其特征在于， AR交互 指令包含眼动凝视指令、 手势指令和语音指令； 系统利用眼动凝视指令自动追踪定位自然 环境范围； 手势指 令利用增强现实的空间锚点追踪技术， 系统创建手势识别对象， 预注册手 势行为， 监听手势动作， 开启手势识别功能； 系统利用语音命令、 听写、 语法识别响应系统步 骤。 9.如权利 要求1所述的基于Hololens设备的三维虚拟装备库系统， 其特征在于， 装备故 障诊断信息以xml格式存储在 装备库服务器中； 通过AR交互指令启动装备故障诊断； 故障诊 断流程通过建立 故障诊断树， 故障诊断树的组成由故障现象、 检测步骤和故障原因组成， 在 Hololens设备中的展示形式由三维虚拟全息图元符号组成； 进行故 障诊断时， 根据 故障现 象通过AR交互指令触发故障诊断树， 系统引导用户指向最终的故障原因； 系统加载故障诊 断树形结构配置文件， 生成AR全息的三维虚拟故障诊断树模型。 10.如权利要求1所述的基于Hololens设备的三维虚拟装备库系 统， 其特征在于， 更新 系统包括装备整体的增删， 装备三 维几何模型库更新， 装备基础信息表生 成与存储， AR交互 指令配置文件生 成与存储， 装备多媒体素材的注册上传， 故障诊断树配置文件生成与存储， 故障维修 三维动画的配置文件生成与存 储。权　利　要　求　书 2/2 页 3 CN 115249291 A 3