standard download
文库搜索
切换导航
首页
频道
仅15元无限下载
联系我们
问题反馈
首页
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210924688.7 (22)申请日 2022.08.03 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 张新钰 张世焱 李骏 杨昊波 杨卓异 吴新刚 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 张建纲 (51)Int.Cl. G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度神经网络信息熵估计的熵优 化方法 (57)摘要 本发明公开了一种基于深度神经网络信息 熵估计的熵优化方法, 所述方法包括: 步骤1) 对 待优化的深度神经网络的输入数据与输出数据 基于通信理论进行建模, 得到对于信息熵的期望 与约束; 所述深度神经网络包括n个网络层, 第n 层网络层为输 出层; 步骤2) 根据所述深度神经网 络的各层网络结构, 对深度神经网络的训练过程 建立概率模型; 步骤3) 采用K ‑近临熵估计方法计 算训练过程中所述深度神经网络每层网络层输 出的信息熵; 步骤4) 依据信息熵的期望与约束, 建立信息熵的损失函数, 指导深度神经网络的训 练过程与优化方向。 本发明提高了对深度神经网 络训练过程的可解释性, 使训练过程更加透明, 并可以量 化评价。 权利要求书2页 说明书8页 附图2页 CN 115019061 A 2022.09.06 CN 115019061 A 1.一种基于深度神经网络信息熵估计的熵优化方法, 其特 征在于, 所述方法包括: 步骤1) 对待优化的深度神经网络的输入数据与输出数据基于通信理论进行建模, 得到 对于信息熵的期望与约束; 所述深度神经网络包括 n层网络层, 第n层网络层为输出层; 步骤2) 根据所述深度神经网络的各层网络结构, 对深度神经网络的训练过程建立概率 模型; 步骤3) 采用K ‑近临熵估计方法计算训练过程中所述深度神经网络每层网络层输出的 信息熵; 步骤4) 依据信息熵的期望与约束, 建立信息熵 的损失函数, 指导深度神经网络的训练 过程与优化方向。 2.根据权利要求1所述的基于深度神经网络信 息熵估计的熵优化方法, 其特征在于, 所 述步骤1) 信息熵的期 望与约束包括: 每轮次训练中, 深度神经网络输出层的熵 值递减; 训练 后的每层网络层的输出与该深度神经网络 输入的信息熵相同。 3.根据权利要求2所述的基于深度神经网络信 息熵估计的熵优化方法, 其特征在于, 所 述步骤2) 的概 率模型包括: 对于共有n层的深度神经网络, 将每层网络层的输出作为一个多维连续随机变量 , 每 层的第i个通道作为多维连续随机变量 的一个采样样本xi, 每个通道的像素点个数d为 xi的维数d, 每层共有m个采样 样本。 4.根据权利要求3所述的基于深度神经网络信 息熵估计的熵优化方法, 其特征在于, 所 述步骤3) 的K ‑近临熵估计方法包括: 根据下式计算采样 样本xi的球 体邻域半径 : 其中, 为d维样本xi和最近的第k个样本点之间的欧氏距离, Vd为d维单位球体的 体积, 为 函数; 根据下式计算熵估计的修 正项 为: 其中, 表示样本xi附近半径 为 的邻域球体体积, 表示随机变量 的 边界约束; 根据下式得到每层网络层输出的信息熵 为: 其中, ; 是Digamma函数, (1) = − γ, γ为欧拉 ‑马舍罗尼常数, (m) ∼ lg(m − 1),∼表示近似等于 。 5.根据权利要求4所述的基于深度神经网络信 息熵估计的熵优化方法, 其特征在于, 所权 利 要 求 书 1/2 页 2 CN 115019061 A 2述步骤3) 包括: 步骤3‑1) 遍历n个多维连续随机变量 ; 步骤3‑2) 对于每个 , 遍历所在网络层的每个采样样本xi, 确定每个样本xi的椭球体 邻域; 对于采样样本xi的d维椭球体的半径, 按照由大到小进行排序, 得到采样样本xi的修 正项 , 结合每层网络层输出的信息熵 , 得到修正后的熵估计 。 6.根据权利要求5所述的基于深度神经网络信 息熵估计的熵优化方法, 其特征在于, 所 述步骤3‑2) 包括: 步骤3‑2‑1) 选取xi周围与其距离最近的k个样本点, 对包含xi在内一共k+1个样本点进 行PCA处理, 用k+1个样本点计算d维随机变量的协方差矩阵, 并计算协方差矩阵的d个特征 向量; 步骤3‑2‑2) 将d个特征向量的方向作为d维椭球体的轴, 在选取的k+1个样本中寻找沿 每个特征向量方向距离最远的样本点, 并以此样本点在这一方向的距离作为椭球体在该轴 的半径, 从而确定采样 样本xi的椭球 体邻域; 步骤3‑2‑3) 将d维椭球 体的半径由大到小依次排序, 则样本xi的修 正项 为: 其中, D维椭球 体的半径由大到小依次为 ; 根据每层网络层的信息熵 , 得到修正后的熵估计 为: 。 7.根据权利要求6所述的基于深度神经网络信 息熵估计的熵优化方法, 其特征在于, 所 述步骤4) 包括: 设计损失函数 : 其中, 为原始输入数据的信息熵, 为深度神经网络第j层输出的信息熵, n为网络 层数; 根据每轮次训练中, 深度神经网络输出层的熵值递减, 判断如果第 次训练后输出 的信息熵大于第 次, 则增加损失函数 : 其中, 分别为第 次和第 次训练后输出的信息熵; 将 、 作为辅助项, 结合网络的交叉熵损失构成深度神经网络训练的损失函数。权 利 要 求 书 2/2 页 3 CN 115019061 A 3
专利 一种基于深度神经网络信息熵估计的熵优化方法
文档预览
中文文档
13 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 人生无常 于
2024-03-18 04:38:25
上传分享
举报
下载
原文档
(863.9 KB)
分享
友情链接
DB41-T 2150-2021 地质公园数字化建设规范 河南省.pdf
DB43-T 2256-2021 信息技术应用创新工程建设规范第 13 部分:国产化信息系统运行维护规范 湖南省.pdf
GB-T 40148-2021 科技评估基本术语.pdf
T-SDL 3.4—2021 10 kV智能电缆系统技术规范 第4部分 10 kV交联聚乙烯绝缘智能电力电缆附件.pdf
GB-T 35589-2017信息技术大数据技术参考模型.pdf
T-ZZB 1136—2019 汽车发动机冷却用膨胀水壶.pdf
DB32-T 3514.8-2019 电子政务外网建设规范 第8部分:运维服务 江苏省.pdf
DB5201-T 108-2020 旅游企业诚信服务规范 贵阳市.pdf
GB-T 42044-2022 空间站应用有效载荷通用设计要求.pdf
GB-T 70.3-2008 内六角沉头螺钉.pdf
GB-T 31506-2015 信息安全技术 政府门户网站系统安全技术指南.pdf
GB-T 19315-2003 小艇 最大装载量.pdf
GB-T 42461-2023 信息安全技术 网络安全服务成本度量指南.pdf
GB-T 42615-2023 在用电梯安全评估规范.pdf
GB-T 19568-2017 风力发电机组 装配和安装规范.pdf
美创 数据安全全流程审计和溯源技术的应用.pdf
T-CSEIA 1003—2023 能源工业互联网平台 发电侧电力数据的分类分级规范.pdf
GB-T 37681-2019 大型铸钢件 通用技术规范.pdf
GB-T 29240-2012 信息安全技术 终端计算机通用安全技术要求与测试评价方法.pdf
GB-T 34953.2-2018 信息技术 安全技术匿名.pdf
1
/
3
13
评价文档
赞助2.5元 点击下载(863.9 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。