近期，我校计算机科学与技术学院李祖贺副教授团队在国际知名期刊《Information Fusion》（中科院一区TOP期刊，IF=18.6）上发表了题为“Multi-level correlation mining framework with self-supervised label generation for multimodal sentiment analysis”（用于多模态情感分析的自监督标签生成的多层次关联挖掘框架）的研究论文。
多模态情感分析旨在从文本、音频和视觉等多模态数据中挖掘用户情感信息，现有大多数方法忽略了模态之间的隐藏关系，未能最大限度地利用它们的潜在相关性，也未充分利用资源丰富的模态知识来帮助资源匮乏的模态。为了应对这些挑战，李祖贺副教授团队提出了一种基于多层次关联挖掘和自监督多任务学习的多模态情感分析方法。首先，为了克服多模态信息融合的困难，使用一种基于模态特征融合和语言学引导的Transformer框架来挖掘模态之间的相关性信息。其次，将多模态情感分析任务分为一个多模态任务和三个单模态任务，并设计了一个自监督标签生成模块（SLGM）来生成单模态任务的情感标签，为其他研究人员提供了新颖思路。
该论文是以js333线路检测中心为第一署名单位完成，李祖贺为第一作者，硕士研究生郭青冰为第二作者。
《Information Fusion》创刊于2000年，是一本由ELSEVIER出版的理论方法学术刊物，该刊是国际一流期刊，发文范围涵盖计算机人工智能等领域。此刊已入选SCI、SCIE来源期刊，是中科院分区1区TOP期刊，2023年影响因子18.6。
此项研究成果得到了国家自然科学基金和河南省科技攻关项目的资助。
论文连接：https://www.sciencedirect.com/science/article/abs/pii/S1566253523002075
豫公网安备 41010502004744号