基于BERT与生成对抗的民航陆空通话意图挖掘

【类型】期刊

【作者】马兰 孟诗君 吴志军  

【刊名】系统工程与电子技术

【关键词】 民航陆空通话,信息提取,生成对抗网络,双向转换编码器,本体

【摘要】针对民航陆空通话领域语料难以获取、实体分布不均，以及意图信息提取中实体规范不足且准确率有待提升等问题，为了更好的提取陆空通话意图，本文提出一种融合本体的基于双向转换编码器（bidirectional encoder representations from transformers，BERT）与生成对抗网络（generative adversarial network，GAN）的陆空通话意图信息挖掘方法，并引入航班池信息对提取的部分信息进行校验修正，形成空中交通管制（air traffic control，ATC）系统可理解的结构化信息。首先使用改进的GAN模型进行陆空通话智能文本生成，可有效进行数据增强，平衡各类实体信息分布并扩充数据集；接着根据欧洲单一天空空中交通管理项目定义的本体规则进行意图的分类与标注；之后通过BERT预训练模型生成字向量并解决一词多义问题；然后利用双向长短时记忆（bidirectional long short-term memory，BiLSTM）网络双向编码提取上下句语义特征；同时送入条件随机场（conditional random field，CRF）模型进行推理预测，学习标签的依赖关系并加以约束获取全局最优结果；最后根据编辑距离（edit distance，ED）算法进行意图信息合理性校验与修正。对比实验结果表明，本文所提方法的宏平均F1值达到了98.75%，在民航陆空通话数据集上的意图挖掘的性能优于其他主流模型，为其加入数字化进程奠定了基础。

【年份】2023

【作者单位】中国民航大学空中交通管理学院;中国民航大学电子信息与自动化学院;中国民航大学安全科学与工程学院;

【页码】15