多模态情感视角：民航旅客异常行为预警研究

【类型】期刊

【作者】付永华  司俊勇 

【刊名】郑州航空工业管理学院学报

【关键词】 民航安检,多模态数据,异常行为预警,情感计算,航空安全

【摘要】通过构建基于多模态情感计算的民航旅客异常行为预警模型，使用GEMEP语料库中音视频数据模拟旅客可能出现的异常行为，在对面部表情、肢体姿态和语音三模态数据识别后，采取赋予各模态情感识别模型权重和赋予各模态情感识别模型中不同情感权重两种决策级融合方法，感知旅客生气、厌恶、焦虑、害怕、悲伤等5类情感，并依据判定结果实现异常行为分级预警。研究发现，赋予各模态情感识别模型中不同情感权重的方法为最优情感计算模型，能够有效识别旅客存在潜在异常行为的相关情感，其整体识别准确率达到了82.76%。其中，生气、厌恶、焦虑、害怕、悲伤5类情感识别准确率分别为81.9%、78.5%、81.3%、83.2%、81.7%。

【年份】2024

【作者单位】郑州航空工业管理学院;

【期号】03

【页码】39-46