(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210952625.2 (22)申请日 2022.08.09 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞 市长安镇乌沙海 滨路18号 (72)发明人 陈科鑫　张晓帆　曾理　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 冯瑶 (51)Int.Cl. G10L 15/26(2006.01) G10L 15/22(2006.01) G10L 21/0208(2013.01) H04N 5/225(2006.01) H04W 4/80(2018.01)G06F 3/01(2006.01) (54)发明名称 驾驶场景中的语音问答方法、 装置及车载终 端 (57)摘要 本申请实施例公开了一种驾驶场景中的语 音问答方法、 装置及车载终端， 属于人机交互技 术领域。 该方法包括： 在接收到语音问答指令的 情况下， 获取外部环境信息， 所述外部环境信息 由环境信息采集组件在载具行驶过程中采集得 到， 且外部环 境信息用于表征所述载具所处的外 部环境， 基于所述外部环境信息以及所述语音问 答指令， 获取所述语音问答指令对应的问答结 果， 基于所述问答结果进行语音播报； 采用本实 施例提供的方案， 用户可以对驾驶室外部环境进 行提问， 车载终端均可以根据环境作出回答， 提 高人车交互问答系统的智能化 程度。 权利要求书4页 说明书17页 附图9页 CN 115312061 A 2022.11.08 CN 115312061 A 1.一种驾驶场景中的语音问答方法， 其特 征在于， 所述方法包括： 在接收到语音问答指令的情况下， 获取外部环境信息， 所述外部环境信息由环境信息 采集组件在载具行驶过程中采集得到， 且所述外部环境信息用于表征所述载具所 处的外部 环境； 基于所述外部环境信 息以及所述语音问答指令， 获取所述语音问答指令对应的问答结 果； 基于所述问答结果进行语音播报。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述外部环境信 息以及所述语音 问答指令， 获取 所述语音问答指令对应的问答结果， 包括： 基于所述语音问答指令， 从所述外部环境信息中提取目标外部环境信息， 所述目标外 部环境信息与所述语音问答指令的相关性高于其他外部环境信息与所述语音问答指令的 相关性； 基于所述目标外部环境信 息以及所述语音问答指令， 获取所述语音问答指令对应的问 答结果。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述语音问答指令， 从所述外部 环境信息中提取目标外 部环境信息， 包括： 对所述语音问答指令对应的语音问答文本进行问题维度识别， 得到所述语音问答文本 对应的问题维度， 所述问题维度包括图像维度和声 音维度中的至少一种； 基于所述问题维度以及所述外部环境信 息的类型， 从所述外部环境信 息中提取所述目 标外部环境信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述问题维度以及所述外部环境 信息对应的类型， 从所述外 部环境信息中提取 所述目标外 部环境信息， 包括： 在所述问题维度为所述图像维度的情况下， 从所述外部环境信 息中提取外部环境影像 作为所述目标外 部环境信息； 在所述问题维度为所述声音维度的情况下， 从所述外部环境信 息中提取外部环境音频 作为所述目标外 部环境信息 。 5.根据权利要求2所述的方法， 其特征在于， 所述基于所述语音问答指令， 从所述外部 环境信息中提取目标外 部环境信息， 包括： 基于所述语音问答指令的接收时刻以及所述外部环境信 息的采集 时刻， 从所述外部环 境信息中提取 所述目标外 部环境信息 。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述语音问答指令的接收时刻以 及所述外部环境信息的采集时刻， 从所述外部环境信息中提取所述 目标外部环境信息， 包 括： 在识别出所述语音问答指令对应的语音问答文本中包含时间关键字的情况下， 基于所 述时间关键字以及所述接 收时刻， 确定第一采集时段； 将所述采集时刻位于所述第一采集 时段的所述外 部环境信息确定为所述目标外 部环境信息； 在识别出所述语音问答指令对应的语音问答文本中不包含时间关键字的情况下， 基于 所述接收时刻确定第二采集时段； 将所述采集时刻位于所述第二采集时段的所述外部环境 信息确定为所述目标外 部环境信息 。权　利　要　求　书 1/4 页 2 CN 115312061 A 27.根据权利要求1所述的方法， 其特征在于， 所述基于所述外部环境信 息以及所述语音 问答指令， 获取 所述语音问答指令对应的问答结果， 包括： 基于所述外部环境信 息以及所述语音问答指令， 生成所述语音问答指令对应的所述问 答结果； 或， 在网络状态满足传输条件的情况下， 将所述外部环境信 息和所述语音问答指令上报至 服务器， 以便所述服务器基于所述外部环境信息以及所述语音问答指令， 生成所述语音问 答指令对应的所述问答结果； 接收所述 服务器下发的所述问答结果； 或， 在网络状态不满足传输条件的情况下， 基于设备算力从近场设备中确定出目标近场设 备； 向所述 目标近场设备发送所述外部环境信息和所述语音问答指令， 以便所述 目标近场 设备基于所述外部环 境信息以及所述语音问答指 令， 生成所述语音问答指 令对应的所述问 答结果； 接收所述目标近场设备发送的所述问答结果。 8.根据权利要求7所述的方法， 其特征在于， 所述基于所述外部环境信 息以及所述语音 问答指令， 生成所述语音问答指令对应的所述问答结果， 包括： 对所述外 部环境信息进行 特征提取， 得到 外部环境特 征； 对所述外部环境特征和所述语音问答指令对应的语音问答文本的文本特征进行特征 拼接， 得到融合特 征； 将所述融合特 征输入问答模型， 得到所述问答模型输出的所述问答结果。 9.根据权利要求8所述的方法， 其特 征在于， 所述外 部环境信息包括外 部环境影 像； 所述对所述外 部环境信息进行 特征提取， 得到 外部环境特 征之前， 所述方法还 包括： 确定观察视角， 所述观察视角为触发所述语音问答指令的观察 者的视角； 基于所述观察视角以及所述外部环境影像的拍摄视角， 对所述外部环境影像进行图像 仿射变换， 得到变换后的所述外 部环境影 像； 所述对所述外 部环境信息进行 特征提取， 得到 外部环境特 征， 包括： 对变换后的所述外 部环境影 像进行特征提取， 得到所述外 部环境特 征。 10.根据权利要求1所述的方法， 其特征在于， 所述在接收到语音问答指令的情况下， 获 取外部环境信息， 包括： 在接收到语音指令的情况 下， 对所述语音指令进行指令类型识别； 在所述语音指令的指令类型为问答指令的情况下， 确定接收到所述语音问答指令， 并 获取所述外部环境信息 。 11.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 在所述外部环境信 息包括外部环境影像的情况下， 确定所述外部环境影像中所述问答 结果对应的关联图像帧； 对所述关联图像帧进行展示。 12.一种驾驶场景中的语音问答装置， 其特 征在于， 所述装置包括： 信息获取模块， 用于在接收到语音问答指令的情况下， 获取外部环境信息， 所述外部环 境信息由环境信息采集组件在载具行驶过程中采集得到， 且所述外部环境信息用于表征所 述载具所处的外 部环境；权　利　要　求　书 2/4 页 3 CN 115312061 A 3