冯广, 项峰, 黄荣灿, 周垣桦, 郑润庭, 杨燕茹, 刘天翔, 李伟辰
录用日期: 2025-07-31
在多模态情感分析任务中,传统方法依赖于直接融合多模态信息,而每个模态特有的私有特征往往被跨模态交互所忽略,这可能导致模型在处理复杂情感表达时的准确性和鲁棒性不足。特别是在智慧教育场景中,教师需要通过学生的语音、表情和文本反馈来精准判断其学习状态和情绪波动,因此,提升多模态情感分析的精度对于个性化教学和课堂交互具有重要意义。为了解决这一问题,本研究提出了一种结合私有特征学习和对比学习的情感分析模型。首先,为了充分利用私有特征,该模型将共享特征与原始的文本、音频和视觉特征进行相似性比较,从而识别在跨模态交互中被忽视的私有特征,再通过融合私有特征和共享特征来增强模型的表达能力。其次,提出了一种模态无关对比损失(Modality-Agnostic Contrastive Loss,MACL),该方法通过对多模态融合特征进行对比学习,有效利用多模态数据中的情感信息,减少模态间的差距,进而获得统一的情感表示。实验结果表明,在CMU-MOSI和CMU-MOSEI数据集上,该模型的F1值分别提升到了85.98%和85.95%,二分类准确率分别提升到了86.01%和85.97%,显著高于次优模型,验证了该模型的有效性。