(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210986008.4 (22)申请日 2022.08.17 (71)申请人 苏州市日深智能科技有限公司 地址 215000 江苏省苏州市相城区黄埭镇 太东路25 55号5号楼1层13 0室 (72)发明人 赵静宇　张训方　 (51)Int.Cl. B60R 16/023(2006.01) B60R 16/037(2006.01) B60Q 9/00(2006.01) B60N 2/02(2006.01) B60N 2/56(2006.01) B60Q 3/74(2017.01) B60Q 3/80(2017.01) H04N 5/225(2006.01) H04R 1/08(2006.01)G10L 17/00(2013.01) G10L 25/63(2013.01) G06F 3/01(2006.01) A63F 13/42(2014.01) (54)发明名称 一种基于多模交互和虚拟现实技术的智能 座舱系统 (57)摘要 本发明公开了一种基于多模交互和虚拟现 实技术的智 能座舱系统， 包括中央处理器、 语音 及环境检测系统、 车内状态视觉监测系统、 车内 硬件预警及优化系统、 舱外感知系统和车内数据 管理系统， 其特征在于， 所述语音及环境检测系 统、 车内状态视觉监测系统、 车内硬件预警及优 化系统、 舱外感知系统和车内数据管理系统与中 央处理器之间以CAN总线进行电信号连接， 且语 音及环境检测系统、 车内状态视觉监测系统、 车 内硬件预警及优化系统、 舱外感知系统和车内数 据管理系统将基于经人工智能模型分析出的结 果与中央处理器进行交互式通信， 本发明公开的 基于多模交互和虚拟现实技术的智能座舱系统 具有在提高车辆行驶安全的同时最大限度的优 化驾乘体验的效果。 权利要求书2页 说明书7页 附图5页 CN 115195637 A 2022.10.18 CN 115195637 A 1.一种基于多模交互和虚拟现实技术的智能座舱系统， 包括中央处理器、 语音及环境 检测系统、 车内状态视觉监测系统、 车内硬件预警及 优化系统、 舱外感知系统和车内数据管 理系统， 其特征在于， 所述语音及环境检测系统、 车内状态视觉监测系统、 车内硬件预警及 优化系统、 舱外感知系统和车内数据管理系统与中央处理器之间以CAN总线进行电信号连 接， 且语音及环境检测系统、 车内状态视觉监测系统、 车内硬件预警及优化系统、 舱外感知 系统和车内数据管理系统将基于经人工智能模型分析出的结果与中央处理器进行交互式 通信， 所述语音及环境检测系统是对座舱环境内的语音进行智能识别检测， 所述车内状态 视觉监测系统是对座舱环境内的驾驶人及乘车人进行视觉监测， 所述车内硬件预警及 优化 系统是用于优化车内的硬件及预警能力， 所述舱外感知系统是对座舱外的环境进行感知， 所述车内数据管理系统用于对网联 数据进行计算、 分析与存 储； 所述语音及环境检测系统包括驾驶员语音监测系统、 环境声降噪系统和乘客语音感知 系统； 所述车内状态视觉监测系统包括人脸摄像模块、 麦克风模块、 声纹识别模块、 声音传感 器、 情绪分析及识别模块、 手势姿态交 互模块、 游戏控制模块和AR增强模块； 所述车内硬件预警及优化系统包括方向盘微震颤感受器、 恒温人体工程学座椅和可变 氛围灯装置； 所述舱外感知系统包括雷达模块、 摄 像头模块及惯性 导航模块； 所述车内数据管理系统包括云端数据存 储及计算模型和端侧分布式计算平台。 2.根据权利要求1所述的一种基于多模交互和虚拟现实技术的智能座舱系统， 其特征 在于， 所述驾驶员语音监测系统是用于对驾驶员的说话声音进行监测， 所述环境声降噪系 统是对座舱内的所有环境杂声进 行降噪处理， 所述乘客语音感知系统是用于感知座舱内的 所有乘客说话声 音。 3.根据权利要求1所述的一种基于多模交互和虚拟现实技术的智能座舱系统， 其特征 在于， 所述人脸摄像模块用于对驾驶员的人脸进 行摄像， 以获取人脸动态信息， 所述麦克风 模块是用于通过麦克风收集语音信息并进行处理， 所述声纹识别模块包括语音唤醒、 声纹 识别、 语音识别、 语义理解、 对话管理、 语音合成的应用程序。 4.根据权利要求3所述的一种基于多模交互和虚拟现实技术的智能座舱系统， 其特征 在于， 所述声音传感器设置在驾驶位处， 是通过采集声音将声音送入声纹识别模块以供软 硬件处理分析， 所述情绪分析及识别模块用于识别驾驶人及乘客的人脸情绪信息 。 5.根据权利要求4所述的一种基于多模交互和虚拟现实技术的智能座舱系统， 其特征 在于， 所述手势姿态交互模块用于配合多媒体应用程序识别乘客的手势姿态， 所述游戏控 制模块是用于控制多媒体应用程序， 所述AR增强模块是通过AR游戏眼镜结合AR增强现实及 虚拟现实技术， 所述情绪分析及识别模块和手势姿态交互模块是利用深度学习模型并进 行 模型的轻量 化及压缩 对数据进行处 理。 6.根据权利要求3所述的一种基于多模交互和虚拟现实技术的智能座舱系统， 其特征 在于， 所述人脸摄像模块包括人脸摄像头、 图像采集控制器、 图像存储单元和声音传感器， 所述人脸摄像头为具有夜视功能的深度相 机， 且用于采集驾驶员图像信息， 所述图像采集 控制器可根据人脸摄像头采集的图像信息进行算法分析并对高度轻量化的模型于平台中 部署， 得出一个时域内驾驶员的行为状态结果， 所述图像存储单元用于存储大量特征图像权　利　要　求　书 1/2 页 2 CN 115195637 A 2信息并执行本地边缘计算， 所述人脸摄像头、 图像存储单元均通过电信号与图像采集控制 器连接。 7.根据权利要求3所述的一种基于多模交互和虚拟现实技术的智能座舱系统， 其特征 在于， 所述麦克风模块包括阵列式麦克风、 人声控制器、 语音前端模块和语音语义交互模 块， 所述阵列式麦克风用于拾取驾驶员的声音信息， 分别布置在驾驶舱内前后， 所述人声控 制器是通过语音语义交互模块通过自然语言处理算法得出驾驶员的意图信息， 所述语音 前 端模块利用回声消除、 声源定位、 语音活动检测、 波束形成、 降噪、 去混响、 增益控制的功能 完成语音信号的输入及处 理。 8.根据权利要求1所述的一种基于多模交互和虚拟现实技术的智能座舱系统， 其特征 在于， 所述方向盘微震颤感受器用于对驾驶员的不好状态通过微震方向盘做出提醒， 所述 恒温人体工程学座椅是根据驾驶员身高等身体参数对入座时的姿态进 行调节， 同时根据车 内温度对座椅进行恒温控制， 所述可变氛围灯装置是指车舱内起到装饰作用的照明灯， 所 述方向盘微震颤感受器、 恒温人体工程学座椅及可变氛围灯装置均通过电信号与中央处理 器连接。 9.根据权利要求1所述的一种基于多模交互和虚拟现实技术的智能座舱系统， 其特征 在于， 所述雷达模块包括激光雷达， 毫米波 雷达及超声波雷达， 所述激光雷达用于和中央处 理器进行通讯， 实现舱外环境的构建及感知， 所述毫米波雷达用于感知车辆周围障碍物， 为 环道决策提供感知信息， 所述超声波雷达用于自动泊车系统， 所述摄像头模块可根据ADAS 功能要求分别于车身外前视， 后视， 侧视处设置摄像头， 并通过控制器与中央处理器进行通 讯， 所述惯性导航模块包含GNSS和IMU， 将GNSS精确定位的绝对位置用于对IMU的定位做信 号补偿。 10.根据权利要求1所述的一种基于多模交互和 虚拟现实技术的智能座舱系统， 其特征 在于， 所述云端数据存储及计算模型是用于提供云端存储空间和用于复制计算的计算模 型， 所述端侧分布式计算平台是通过互联网和车联网完成数据的传输与应用并形成推荐 策 略反馈到终端用户。权　利　要　求　书 2/2 页 3 CN 115195637 A 3