基于Hadoop的民航日志分析系统及应用

【类型】期刊

【作者】李建 曾新励  

【刊名】软件导刊

【关键词】 Hadoop,并行计算,KNN算法,MapReduce,日志分析

【摘要】民航信息系统日志包含大量信息,但由于日志数据非结构化,不易被读取且数据量巨大,难以通过人工分析得出有价值信息。Hadoop分布式计算技术恰好可以很好地解决这个问题。设计了基于Hadoop的民航日志分析系统,系统结合数据挖掘领域经典的KNN分类算法,对算法进行了并行化改进,给出算法在Hadoop平台的MapReduce编程模型上的执行流程。对系统进行单机和集群测试,集群系统在处理较大规模数据时更高效。实验结果证明,系统具有较高的执行效率和可扩展性,对民航日志分析具有较高的实用价值。

【年份】2017

【期号】第1期

【页码】100-103