standard download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210971424.7 (22)申请日 2022.08.12 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 陈思萌 赵建强 陈诚 彭闯 张辉 韩名羲 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06Q 50/00(2012.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01)G06F 40/295(2020.01) (54)发明名称 一种基于多模态数据的社交关系分析方法、 系统和存 储介质 (57)摘要 本发明提出一种基于多模态数据的社交关 系分析方法, 包括: S1, 提取人员的社交文本和社 交图像信息, 分别转换为文本特征和图像特征, 并统计人员亲密度, 基于人员亲密度构建人员社 交网络图; S2, 将文本特征和图像特征输入基于 transformer的多模态融合模型, 获得融合特征; S3, 采用Si ‑SCAN图聚类算法对人员社交网络图 进行分析, 获得社交关系聚类结果, 其中, Si ‑ SCAN图聚类算法通过在SCAN算法基础上引入人 员亲密度和融合特征信息构建。 本发明基于文 本、 图像两个模态的信息对社交关系进行深入分 析, 通过多模态信息融合模型的设计, 学习跨模 态间的交互关系, 生成多模态融合的图节点嵌入 表征。 通过图聚类分析, 实现对社交网络的深层 关系分析, 能够有效发现潜在的社交关联。 权利要求书2页 说明书9页 附图3页 CN 115293920 A 2022.11.04 CN 115293920 A 1.一种基于多模态数据的社交关系分析 方法, 其特 征在于, 包括以下步骤: S1, 提取人员的社交文本和社交图像信息, 分别转换为文本特征和图像特征, 并统计人 员亲密度, 基于所述人员亲密度构建人员社交网络图; S2, 将所述文本特征和图像特征输入基于transformer的多模态融合模型, 获得融合特 征; S3, 采用Si ‑SCAN图聚类算法对所述人员社交网络图进行分析, 获得社交关系聚类结 果, 所述Si ‑SCAN图聚类算法通过在SCAN算法基础上引入所述人员亲密度和所述融合特征 信息构建。 2.根据权利要求1所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S2包 括: 将所述文本特 征和图像特 征拼接后输入所述多模态融合模型的编码器。 3.根据权利要求2所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S2还 包括: 构建文本 ‑图像特征对Z0=[CLS, E, SEP, Q], 其中, E为人员i的文本特征, Q为人员i的图 像特征, [CLS]为标识符, [ SEP]为分隔符; 构建文本位置编码和图像位置编码; 将文本特 征和文本位置编码、 图像特 征和图像位置编码分别相加, 输入到所述编码器; 选用最后一层编码器的标识符位置的输出向量作为融合特 征向量z。 4.根据权利要求1所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S1所 述构建人员社交网络图包括, 以人员作为所述人员社交网络图的节点, 在同一张社交图像 中出现的两个人员所对应的节点间由一条 无向边连接 。 5.根据权利要求1所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S3所 述Si‑SCAN图聚类算法中节点相似度包括结构相似度、 人员亲密度和融合特 征相似度。 6.根据权利要求5所述的一种基于多模态数据的社交关系分析 方法, 其特 征在于, 所述结构相似度为两节点的共同邻居数与几何平均数的比值, 用公式表示 为: 其中, σ1(v, w)为节点v和 节点w的结构相似度, Γ(v)、 Γ(w)分别为节点v、 w的邻居节点 的集合; 所述人员亲密度用公式表示 为: σ2(v, w)=α·p(v, w) 其中, σ2(v, w)为节点v和节点w的人员亲密度, p(v, w)为两个节点在社交图像中的共现 次数, α 为调节系数; 所述融合特 征相似度用公式表示 为: 其中, σ3(v, w)为节点v和节点w的融合特征相似度, zv、 zw分别为节点v、 w的融合特征向 量; 节点v和节点 w的节点相似度σ(v, w)用公式表示 为: σ(v, w)=σ1(v, w)+σ2(v, w)+σ3(v, w)。权 利 要 求 书 1/2 页 2 CN 115293920 A 27.根据权利要求1所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S1具 体包括: 采用BiLSTM‑CRF模型从社交文本中提取文本标签信息; 采用词向量模型将所述文本标签信息转换为文本特 征。 8.根据权利要求1所述的一种基于多模态数据的社交关系分析方法, 其特征在于, S1具 体包括: 选用FACENet模型提取图像特 征。 9.一种基于多模态数据的社交关系分析系统, 其特 征在于, 包括: 信息提取和特征转换模块, 配置用于提取人员的社交文本和社交图像信息, 分别转换 为文本特 征和图像特 征, 并统计人员亲密度, 基于所述人员亲密度构建人员社交网络图; 多模态数据融合模块, 配置用于将所述文本特征和图像特征输入基于transformer的 多模态融合模型, 获得融合特 征; 社交关系聚类模块, 配置用于采用Si ‑SCAN图聚类算法对所述人员社交网络图进行分 析, 获得社交关系聚类结果, 所述Si ‑SCAN图聚类算法在S CAN算法基础上引入 所述人员亲密 度和所述融合特 征信息。 10.一种用于基于多模态数据的社交关系分析的计算机可读存储介质, 其上存储有一 或多个计算机程序, 其特征在于, 该一或多个计算机程序被计算机处理器执行时实施权利 要求1至8任一项所述的方法。权 利 要 求 书 2/2 页 3 CN 115293920 A 3
专利 一种基于多模态数据的社交关系分析方法、系统和存储介质
文档预览
中文文档
15 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-18 22:28:49
上传分享
举报
下载
原文档
(567.9 KB)
分享
友情链接
专利 一种电源芯片质量检测方法及系统.PDF
SC-T 4001-2021 渔具基本术语.pdf
信通院 数据治理标准化白皮书 2021.pdf
T-CES 144—2022 变压器类产品用频域介电谱测试仪 校验导则.pdf
DB23-T 2575—2020 智慧城市建设运营管理与运行维护 黑龙江省.pdf
DB13-T 5628-2022 旅游节庆活动服务规范 河北省.pdf
GM-T 0070-2019 电子保单密码应用技术要求.pdf
GB-T 39505-2020 家用电理发剪及修发器性能测试方法.pdf
TB-T 3210.1-2020 铁路煤炭运输抑尘技术条件 第1部分:抑尘剂.pdf
SN-T 5350.1-2021 硫磺 酸度的测定 自动电位滴定法.pdf
DB52-T 1656-2022 磷石膏抹灰砂浆通用技术要求 贵州省.pdf
T-LYCY 018—2020 文冠果油.pdf
GB-T 41870-2022 工业互联网平台 企业应用水平与绩效评价.pdf
GB-T 18884.3-2015 家用厨房设备 第3部份:试验方法与检验规则.pdf
GB-T 37433-2019 低功率燃油燃烧器通用技术要求.pdf
T-WX 0002—2017 移动终端数字证书应用标准- 术语标识规范.pdf
GB-T 36896.2-2018 轻型有缆遥控水下机器人 第2部分:机械手与液压系统.pdf
DB3206-T 1040-2022 叉车司机实际操作技能考核规范 南通市.pdf
GB-T 33848.1-2017 信息技术 射频识别 第1部分:参考结构和标准化参数定义.pdf
GB-T 35782-2017 道路甩挂运输车辆技术条件.pdf
1
/
15
评价文档
赞助2.5元 点击下载(567.9 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。