基于NoSQL的海量航空物流小文件分布式多级存储方法

【类型】期刊

【作者】丁建立 郑峰弓 李永华 罗云生 曹卫东 

【刊名】计算机应用研究

【关键词】 小文件 Redis HDFS 多级存储 预取机制

【摘要】为了解决航空物流领域海量小文件存储效率和访问效率不高的问题，提出一种基于Nosql的海量小文件分布式多级存储方法，充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性，先根据相关性将文件合并，然后采用分布式多级存储，使用内存式Redis数据库做缓存，HDFS做数据的持久化存储，其过程采用预取机制。实验结果表明，该方法有效提高了小文件的存取效率和磁盘的利用率，显著地降低了网络的带宽占用和集群NameNode的内存消耗，适合解决航空领域海量小文件存储问题。

【年份】2016

【作者单位】中国民航大学计算机科学与技术学院；中国民航大学；天津市智能信号与图像处理重点实验室

【期号】第5期

【全文挂接】全文挂接