基于Ceph文件系统的元数据缓存备份

doi:10.3969/j.issn.1000-3428.2017.04.011

计算机工程

基于Ceph文件系统的元数据缓存备份

詹玲¹,方协云 ²,李大平²,万继光²

(1.文华学院信息学部,武汉 430074; 2.华中科技大学武汉光电国家实验室,武汉 430074)

收稿日期:2016-04-11 出版日期:2017-04-15 发布日期:2017-04-14
作者简介:詹玲(1973—),女,讲师、博士,主研方向为网络存储系统;方协云,硕士研究生;李大平,博士研究生;万继光,副教授、博士。
基金资助:
国家自然科学基金面上项目“混合式瓦记录磁盘阵列系统理论、结构和实现技术研究”(61472152);湖北省高等学校优秀中青年科技创新团队计划项目(T201431);湖北省教育厅科学技术研究计划指导性项目（B2015189）；文华学院博士基金“高性价比云存储网点的结构和原理研究”(2016Y01);田家炳基金(1602-07-411)。

Metadata Cache Backup Based on Ceph File System

ZHAN Ling¹,FANG Xieyun ²,LI Daping ²,WAN Jiguang ²

(1.College of Information,Wenhua College,Wuhan 430074,China;2.Wuhan National Laboratory for Optoelectronics,Huazhong University of Science and Technology,Wuhan 430074,China)

Received:2016-04-11 Online:2017-04-15 Published:2017-04-14

摘要/Abstract

摘要： 针对Ceph文件系统元数据写操作响应时间较长的问题,提出一种对元数据缓存进行备份的方案。该方案采用多个元数据服务器之间互相备份写缓存数据的方法,保证元数据的可靠性,并设计基于元数据热度的多队列缓存组织结构,以及相应的缓存预取与倒盘算法。实验结果表明,与原始的Ceph系统相比,该方案的元数据访问性能提升15.7%。

关键词: Ceph文件系统, 元数据, 热数据, 缓存, 备份

Abstract: In order to solve the problem of long response time of metadata writing in Ceph file system,a metadata cache backup scheme is proposed.The scheme backups the metadata among multiple servers to guarantee the reliability of the metadata,and multi-queue cache organization structure based on the heat of the metadata and the relevant cache prefetching and destage algorithms are designed.Compared with the performance of the Ceph metadata management subsystem,experiment results show that the performance of the proposed scheme is improved by 15.7%.

Key words: Ceph file system, metadata, hot data, cache, backup

中图分类号:

N945

詹玲,方协云,李大平,万继光. 基于Ceph文件系统的元数据缓存备份[J]. 计算机工程, doi: 10.3969/j.issn.1000-3428.2017.04.011.

ZHAN Ling,FANG Xieyun,LI Daping,WAN Jiguang. Metadata Cache Backup Based on Ceph File System[J]. Computer Engineering, doi: 10.3969/j.issn.1000-3428.2017.04.011.

http://www.ecice06.com/CN/Y2017/V43/I4/67

参考文献

参考文献［1］Braam P J.The Coda Distributed File System［J］.Linux Journal,1998,50(6):10-20. ［2］Fetterly D,Haridasan M,Isard M,et al.TidyFS:A Simple and Small Distributed File System［C］//Proceedings of USENIX Annual Technical Conference.Berkeley,USA:USENIX,2011:34-48. ［3］Kubiatowicz J,Bindel D,Chen Y,et al.Oceanstore:An Architecture for Global-scale Persistent Storage［J］.ACM Sigplan Notices,2000,35(11):190-201. ［4］Weil S A,Brandt S A,Miller E L,et al.Ceph:A Scalable,High-performance Distributed File System［C］//Proceedings of the 7th Symposium on Operating Systems Design and Implementation.Berkeley,USA:USENIX,2006:307-320. ［5］Schmuck F B,Haskin R L.GPFS:A Shared-disk File System for Large Computing Clusters［C］//Proceedings of Conference on File and Storage Technologies.Berkeley,USA:USENIX Association,2002:19-33. ［6］Ghemawat S,Gobioff H,Leung S T.The Google File System［C］//Proceedings of ACM SIGOPS Operating Systems Review.New York,USA:ACM Press,2003:29-43. ［7］Shvachko K,Kuang H,Radia S,et al.The Hadoop Distributed File System［C］//Proceedings of the 26th IEEE Symposium on Mass Storage Systems and Technologies.Washington D.C.,USA:IEEE Press,2010:1-10. ［8］Miller E L,Brandt S A,Long D D E.HeRMES:High-performance Reliable MRAM-enabled Storage［C］//Proceedings of the 8th Workshop on Hot Topics in Operating Systems.Washington D.C.,USA:IEEE Press,2001:95-99. (下转第83页) (上接第72页) ［9］Edel N K,Tuteja D,Miller E L,et al.MRAMFS:A Compressing File System for Non-volatile RAM［C］//Proceedings of the IEEE Computer Society’s 12th Annual International Symposium on Modeling,Analysis,and Simulation of Computer and Telecommunications Systems.Washington D.C.,USA:IEEE Press,2004:596-603. ［10］Doh I H,Choi J,Lee D,et al.Exploiting Non-volatile RAM to Enhance Flash File System Performance［C］//Proceedings of the 7th ACM & IEEE International Conference on Embedded Software.New York:ACM Press,2007:164-173. ［11］Doh I H,Lee H J,Moon Y J,et al.Impact of NVRAM Write Cache for File System Metadata on I/O Performance in Embedded Systems［C］//Proceedings of the 2009 ACM Symposium on Applied Computing.New York,USA:ACM Press,2009.1658-1663. ［12］Suk J,No J.HybridFS:Integrating NAND Flash-based SSD and HDD for Hybrid File System［C］//Proceedings of the 10th WSEAS International Conference on Applied Informatics and Communications.New York,USA:ACM Press,2010:178-185. ［13］Wang A I A,Kuenning G,Reiher P,et al.The Conquest File System:Better Performance Through a Disk/persistent-ram Hybrid Design［J］.ACM Transactions on Storage,2006,2(3):309-348. ［14］刘扬宽.分布式文件系统中新型元数据管理子系统的研究与实现［D］.镇江:江苏大学,2012. ［15］李帅.分布式文件系统中基于非易失存储器的缓存子系统［D］.镇江:江苏大学,2013. 编辑刘冰

[1]	殷文君, 黄建华, 纪元法. 基于改进密集卷积网络的皮肤肿瘤分类方法[J]. 计算机工程, 2023, 49(7): 288-294.
[2]	石小容, 李爱萍, 牛保宁, 段利国, 赵菊敏. 兼顾个性化需求的云边协作两级内容缓存研究[J]. 计算机工程, 2023, 49(5): 223-230.
[3]	桑永宣, 魏江坡, 王博, 宋莹. 具有边缘缓存机制的混合启发式任务卸载算法[J]. 计算机工程, 2023, 49(4): 149-158.
[4]	曾畅, 蒋文保, 郭阳楠. 基于有序哈希链的文件数据同步方法[J]. 计算机工程, 2023, 49(1): 181-190,200.
[5]	杨周凡, 韩林, 李冰洋, 谢景明, 韩璞, 刘勇杰. 基于“嵩山”超级计算机系统的大规模管网仿真[J]. 计算机工程, 2022, 48(9): 155-161.
[6]	杨珂, 张帆, 郭威, 赵博, 穆清. 一种拟态存储元数据随机性问题解决方法[J]. 计算机工程, 2022, 48(2): 140-146,155.
[7]	杨涛, 郑烇, 徐正欢, 施钱宝, 彭思伟. 通用缓存替换策略下的缓存强一致性研究[J]. 计算机工程, 2022, 48(12): 180-188,195.
[8]	何晓斌, 高洁, 肖伟, 陈起, 刘鑫, 陈左宁. 应用透明的超算多层存储加速技术研究[J]. 计算机工程, 2022, 48(12): 1-8.
[9]	李昭, 刘有耀, 焦继业, 潘树朋. 超标量处理器乱序提交机制的研究与设计[J]. 计算机工程, 2021, 47(4): 180-186.
[10]	焦童, 陈玲玲, 安鑫, 李建华. 基于重用信息的非易失性缓存动态旁路策略[J]. 计算机工程, 2021, 47(4): 158-165.
[11]	高子轩, 郑烇. NDMANET中基于内容优先级的缓存策略研究[J]. 计算机工程, 2021, 47(3): 190-195.
[12]	郭渝洛, 边浩东, 董润婷, 唐嘉豪, 王晓英, 黄建强. 基于SIMD的并行傅里叶空间图像相似度计算[J]. 计算机工程, 2021, 47(11): 247-253.
[13]	陈清林, 邝祝芳. 基于DDPG的边缘计算任务卸载和服务缓存算法[J]. 计算机工程, 2021, 47(10): 26-33.
[14]	石怀峰, 王成功, 蔡睿妍, 魏德宾. 天地一体化智能网络节点静态处理与缓存策略[J]. 计算机工程, 2021, 47(1): 30-36.
[15]	徐文娟, 贾向东, 陈玉宛. 缓存与MIMO回程联合的内容传递方法[J]. 计算机工程, 2020, 46(6): 164-171.

选择文件类型/文献管理软件名称

选择包含的内容

基于Ceph文件系统的元数据缓存备份

Metadata Cache Backup Based on Ceph File System

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

模态框（Modal）标题

选择文件类型/文献管理软件名称

选择包含的内容

基于Ceph文件系统的元数据缓存备份

Metadata Cache Backup Based on Ceph File System

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价