基于视觉Transformer飞行员姿态估计

【类型】期刊

【作者】吴红兰  刘豪  孙有朝 

【刊名】北京航空航天大学学报

【关键词】 卷积神经网络,智能驾驶舱,民用飞机,飞行员姿态估计,自注意力,可解释性

【摘要】人体姿态估计是行为感知领域中的一个重要环节，也是民用飞机驾驶舱智能交互方式的一项关键技术。为建立民用飞机驾驶舱复杂光照环境与飞行员姿态估计模型性能的可解释联系，提出基于视觉Transformer飞行员姿态(ViTPPose)估计模型，该模型在卷积神经网络(CNN)主干网络末端使用包含多层编码层的双支路Transformer模块，编码层联合Transformer和空洞卷积，在增大感受野的同时捕捉后期高阶特征的全局相关性。基于飞行机组标准操作程序，建立飞行模拟场景下的飞行员操纵行为关键点检测数据集，ViTPPose估计模型在此数据集上完成飞行员坐姿估计，并通过与基准模型对比，验证了其有效性。在驾驶舱复杂光照的背景下，构建坐姿估计热图，分析ViTPPose估计模型对光照强度的偏好，测试其在不同光照等级下的性能，揭示其对不同光照强度的依赖关系。

【年份】2024

【作者单位】南京航空航天大学民航学院;

【期号】10

【页码】3100-3110