全部
图书
期刊
学位论文
会议论文
报纸
图片
视频
新闻
关键词
- 基于Hadoop的民航日志分析系统及应用
- 作者： 李建 曾新励 来源： 软件导刊 年份： 2017 文献类型 ： 期刊 关键词： Hadoop 并行计算 KNN算法 MapReduce 日志分析
- 描述： 民航信息系统日志包含大量信息,但由于日志数据非结构化,不易被读取且数据量巨大,难以通过人工分析得出有价值信息。Hadoop分布式计算技术恰好可以很好地解决这个问题。设计了基于Hadoop的民航日志分析系统,系统结合数据挖掘领域经典的KNN分类算法,对算法进行了并行化改进,给出算法在Hadoop平台的MapReduce编程模型上的执行流程。对系统进行单机和集群测试,集群系统在处理较大规模数据时更高效。实验结果证明,系统具有较高的执行效率和可扩展性,对民航日志分析具有较高的实用价值。
- 基于Hadoop的民航日志分析系统及应用
- 作者： 李建 曾新励 来源： 软件导刊 年份： 2017 文献类型 ： 期刊 关键词： Hadoop 并行计算 KNN算法 MapReduce 日志分析
- 描述： 民航信息系统日志包含大量信息,但由于日志数据非结构化,不易被读取且数据量巨大,难以通过人工分析得出有价值信息。Hadoop分布式计算技术恰好可以很好地解决这个问题。设计了基于Hadoop的民航日志分析系统,系统结合数据挖掘领域经典的KNN分类算法,对算法进行了并行化改进,给出算法在Hadoop平台的MapReduce编程模型上的执行流程。对系统进行单机和集群测试,集群系统在处理较大规模数据时更高效。实验结果证明,系统具有较高的执行效率和可扩展性,对民航日志分析具有较高的实用价值。