全部
图书
期刊
学位论文
会议论文
报纸
图片
视频
新闻
- 基于Hadoop的航空货运海量小文件存储研究
- 作者： 李汶晓 来源： 中国民航大学 年份： 2018 文献类型 ： 学位论文 关键词： 航空货运 HDFS PageRank 海量小文件 缓存
- 描述： 基于Hadoop的航空货运海量小文件存储研究
- 航空货运中海量小文件的存储优化
- 作者： 李国 李汶晓 徐俊洁 来源： 计算机工程与设计 年份： 2018 文献类型 ： 期刊 关键词： 网页排序算法 航空货运数据交换平台 预取缓存 海量小文件 Hadoop分布式文件系统
- 描述： 针对Hadoop分布式文件系统在航空货运中海量小文件存储方面存在的低效率问题,提出一种面向航空货运中海量小文件的存储优化方法。通过分析航空货运数据交换平台中历史报文数据,构建用户的报文类型访问模型,计算报文类型的关联度,根据关联度将小文件合并成大文件后存储至HDFS;建立小文件索引以及数据缓存和相关小文件预取机制。实验结果表明,该方法对于Hadoop分布式文件系统存取航空货运海量小文件时NameNode的压力有明显缓解,提升了存取文件的时间效率,为航空货运中海量小文件的存储问题提供了技术支持。