全部
图书
期刊
学位论文
会议论文
报纸
图片
视频
新闻
关键词
- 基于NoSQL的海量航空物流小文件分布式多级存储方法
- 作者： 丁建立 郑峰弓 李永华 罗云生 曹卫东 来源： 计算机应用研究 年份： 2016 文献类型 ： 期刊 关键词： 小文件 Redis HDFS 多级存储 预取机制
- 描述： 为了解决航空物流领域海量小文件存储效率和访问效率不高的问题，提出一种基于Nosql的海量小文件分布式多级存储方法，充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性，先根据相关性将文件合并，然后采用分布式多级存储，使用内存式Redis数据库做缓存，HDFS做数据的持久化存储，其过程采用预取机制。实验结果表明，该方法有效提高了小文件的存取效率和磁盘的利用率，显著地降低了网络的带宽占用和集群NameNode的内存消耗，适合解决航空领域海量小文件存储问题。