standard download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210971424.7 (22)申请日 2022.08.12 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 陈思萌 赵建强 陈诚 彭闯 张辉 韩名羲 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06Q 50/00(2012.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01)G06F 40/295(2020.01) (54)发明名称 一种基于多模态数据的社交关系分析方法、 系统和存 储介质 (57)摘要 本发明提出一种基于多模态数据的社交关 系分析方法, 包括: S1, 提取人员的社交文本和社 交图像信息, 分别转换为文本特征和图像特征, 并统计人员亲密度, 基于人员亲密度构建人员社 交网络图; S2, 将文本特征和图像特征输入基于 transformer的多模态融合模型, 获得融合特征; S3, 采用Si ‑SCAN图聚类算法对人员社交网络图 进行分析, 获得社交关系聚类结果, 其中, Si ‑ SCAN图聚类算法通过在SCAN算法基础上引入人 员亲密度和融合特征信息构建。 本发明基于文 本、 图像两个模态的信息对社交关系进行深入分 析, 通过多模态信息融合模型的设计, 学习跨模 态间的交互关系, 生成多模态融合的图节点嵌入 表征。 通过图聚类分析, 实现对社交网络的深层 关系分析, 能够有效发现潜在的社交关联。 权利要求书2页 说明书9页 附图3页 CN 115293920 A 2022.11.04 CN 115293920 A 1.一种基于多模态数据的社交关系分析 方法, 其特 征在于, 包括以下步骤: S1, 提取人员的社交文本和社交图像信息, 分别转换为文本特征和图像特征, 并统计人 员亲密度, 基于所述人员亲密度构建人员社交网络图; S2, 将所述文本特征和图像特征输入基于transformer的多模态融合模型, 获得融合特 征; S3, 采用Si ‑SCAN图聚类算法对所述人员社交网络图进行分析, 获得社交关系聚类结 果, 所述Si ‑SCAN图聚类算法通过在SCAN算法基础上引入所述人员亲密度和所述融合特征 信息构建。 2.根据权利要求1所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S2包 括: 将所述文本特 征和图像特 征拼接后输入所述多模态融合模型的编码器。 3.根据权利要求2所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S2还 包括: 构建文本 ‑图像特征对Z0=[CLS, E, SEP, Q], 其中, E为人员i的文本特征, Q为人员i的图 像特征, [CLS]为标识符, [ SEP]为分隔符; 构建文本位置编码和图像位置编码; 将文本特 征和文本位置编码、 图像特 征和图像位置编码分别相加, 输入到所述编码器; 选用最后一层编码器的标识符位置的输出向量作为融合特 征向量z。 4.根据权利要求1所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S1所 述构建人员社交网络图包括, 以人员作为所述人员社交网络图的节点, 在同一张社交图像 中出现的两个人员所对应的节点间由一条 无向边连接 。 5.根据权利要求1所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S3所 述Si‑SCAN图聚类算法中节点相似度包括结构相似度、 人员亲密度和融合特 征相似度。 6.根据权利要求5所述的一种基于多模态数据的社交关系分析 方法, 其特 征在于, 所述结构相似度为两节点的共同邻居数与几何平均数的比值, 用公式表示 为: 其中, σ1(v, w)为节点v和 节点w的结构相似度, Γ(v)、 Γ(w)分别为节点v、 w的邻居节点 的集合; 所述人员亲密度用公式表示 为: σ2(v, w)=α·p(v, w) 其中, σ2(v, w)为节点v和节点w的人员亲密度, p(v, w)为两个节点在社交图像中的共现 次数, α 为调节系数; 所述融合特 征相似度用公式表示 为: 其中, σ3(v, w)为节点v和节点w的融合特征相似度, zv、 zw分别为节点v、 w的融合特征向 量; 节点v和节点 w的节点相似度σ(v, w)用公式表示 为: σ(v, w)=σ1(v, w)+σ2(v, w)+σ3(v, w)。权 利 要 求 书 1/2 页 2 CN 115293920 A 27.根据权利要求1所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S1具 体包括: 采用BiLSTM‑CRF模型从社交文本中提取文本标签信息; 采用词向量模型将所述文本标签信息转换为文本特 征。 8.根据权利要求1所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S1具 体包括: 选用FACENet模型提取图像特 征。 9.一种基于多模态数据的社交关系分析系统, 其特 征在于, 包括: 信息提取和特征转换模块, 配置用于提取人员的社交文本和社交图像信息, 分别转换 为文本特 征和图像特 征, 并统计人员亲密度, 基于所述人员亲密度构建人员社交网络图; 多模态数据融合模块, 配置用于将所述文本特征和图像特征输入基于transformer的 多模态融合模型, 获得融合特 征; 社交关系聚类模块, 配置用于采用Si ‑SCAN图聚类算法对所述人员社交网络图进行分 析, 获得社交关系聚类结果, 所述Si ‑SCAN图聚类算法在S CAN算法基础上引入 所述人员亲密 度和所述融合特 征信息。 10.一种用于基于多模态数据的社交关系分析的计算机可读存储介质, 其上存储有一 或多个计算机程序, 其特征在于, 该一或多个计算机程序被计算机处理器执行时实施权利 要求1至8任一项所述的方法。权 利 要 求 书 2/2 页 3 CN 115293920 A 3
专利 一种基于多模态数据的社交关系分析方法、系统和存储介质
文档预览
中文文档
15 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-18 22:28:49
上传分享
举报
下载
原文档
(567.9 KB)
分享
友情链接
NB-T 10533-2021 采煤沉陷区治理技术规范.pdf
T-CSAE 90—2019 汽车用电动热泵空调系统性能测试规范.pdf
DB3418-T 022-2022 检验检测机构远程检测服务规范 宣城市.pdf
GM-T 0035.2-2014 射频识别系统密码应用技术要求 第2部分:电子标签芯片密码应用技术要求.pdf
NB-T 10165-2019 矿用本质安全型电动球阀.pdf
GB-T 29716.1-2013 机械振动与冲击 信号处理 第1部分:引论.pdf
GB-T 31250-2014 电子电气产品环境信息基本要求.pdf
NY-T 3928-2021 农作物品种试验规范 茶树.pdf
T-CEC 5069—2022 飞轮储能电站设计规范.pdf
DB23-T 3104—2022 油田含油污泥处置与利用污染控制要求 黑龙江省.pdf
SN-T 3323.6-2013 氧化铁皮 第6部分:散装氧化铁皮手工取样方法.pdf
T-CACM 1374.1—2021 中药材规范化生产技术规程通则植物药材.pdf
DB5134-T 9-2021 地理标志产品 西昌洋葱生产技术规程 凉山彝族自治州.pdf
GB-T 34532-2017 焦化废水 氨氮含量的测定 甲醛法.pdf
渗透测试战技101.pdf
DB63-T1868-2020 市场监管信息系统运维规范 青海省.pdf
Microsoft SQL Server安全配置基线.doc
T-HFS 001—2023 商业银行外部数据价值评估指南.pdf
GB-T 35273-2019 信息安全技术 个人信息安全规范.pdf
GB-T 36558-2023 电力系统电化学储能系统通用技术条件.pdf
1
/
15
评价文档
赞助2.5元 点击下载(567.9 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。