服务质量感知的云系统数据副本恢复算法

doi:10.19678/j.issn.1000-3428.0052483

计算机工程 ›› 2019, Vol. 45 ›› Issue (9): 17-22.doi: 10.19678/j.issn.1000-3428.0052483

服务质量感知的云系统数据副本恢复算法

徐超¹, 邓君华¹, 姜丽丽², 吉明涛³, 李鑫⁴

1. 国网江苏省电力有限公司电力科学研究院, 南京 210008;
2. 江苏方天电力技术有限公司, 南京 210036;
3. 南京大学计算机软件新技术国家重点实验室, 南京 210023;
4. 南京航空航天大学计算机科学与技术学院, 南京 211106

收稿日期:2018-08-27 修回日期:2018-10-27 出版日期:2019-09-15 发布日期:2019-09-03
作者简介:徐超(1989-),男,工程师、硕士,主研方向为电力信息系统、云计算;邓君华,高级工程师、硕士;姜丽丽,工程师、硕士;吉明涛,硕士研究生;李鑫(通信作者),副教授、博士
基金项目:
江苏省自然科学基金（BK20160813）。

QoS-Aware Data Replica Recovery Algorithm for Cloud System

XU Chao¹, DENG Junhua¹, JIANG Lili², JI Mingtao³, LI Xin⁴

1. Electric Power Research Institute, State Grid Jiangsu Electric Power Co., Ltd., Nanjing 210008, China;
2. Jiangsu Frontier Electric Technology Co., Ltd., Nanjing 210036, China;
3. State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210023, China;
4. College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China

Received:2018-08-27 Revised:2018-10-27 Online:2019-09-15 Published:2019-09-03
Supported by:
This work is supported by National Science and Technology Major Project (No.2015ZX02301), Science and Technology Projects of SGCC (No.GEIRI-GB-71-17-001).

摘要/Abstract

摘要： 针对云数据中心环境下的数据副本丢失问题，提出2种服务质量感知的数据副本恢复算法。基于数据副本的分布情况，在考虑数据副本安全规则的前提下，对数据安全等级进行划分，给出分阶段数据副本恢复算法。在此基础上，依据数据冷热程度，建立数据副本稀有度模型，设计稀有度感知的分阶段数据副本恢复算法。实验结果表明，与直接数据副本恢复算法相比，所提出的算法可有效提高云数据中心的应用服务质量及数据安全保障能力。

关键词: 数据中心, 数据管理, 服务质量, 副本分布, 副本恢复, 安全规则

Abstract: To address the problem of data replica loss in cloud data center environment,two kinds of Quality of Service(QoS) aware data replica recovery algorithms are proposed.Based on the distribution of data replicas,it divides the data security level on the premise of considering the data replica security rules,and a phased data replica recovery algorithm is given.On this basis,according to how often the data is accessed or transited,the data replica rarity model is established to realize the rarity-aware phased data replica recovery algorithm.Experimental results show that compared with the direct data replica recovery algorithm,the proposed algorithms can effectively improve the application service quality and data security guarantee ability of the cloud data center.

Key words: data center, data management, Quality of Service(QoS), replica distribution, replica recovery, security rule

中图分类号:

TP393

徐超, 邓君华, 姜丽丽, 吉明涛, 李鑫. 服务质量感知的云系统数据副本恢复算法[J]. 计算机工程, 2019, 45(9): 17-22.

XU Chao, DENG Junhua, JIANG Lili, JI Mingtao, LI Xin. QoS-Aware Data Replica Recovery Algorithm for Cloud System[J]. Computer Engineering, 2019, 45(9): 17-22.

图/表 3

参考文献

[1] 朱家稷,张海勇.大规模云计算平台的技术挑战[J].程序员,2012(2):8-10.
[2] 吴洋.阿里云飞天分布式存储系统实践[EB/OL].[2018-03-04].https://yq.aliyun.com/edu/lesson/play/392.
[3] 蔡斌,陈湘萍.Hadoop技术内幕[M].北京:机械工业出版社,2013.
[4] VAVILAPALLI V K,MURTHY A C,DOUGLAS C,et al.Apache Hadoop YARN:yet another resource negotiator[C]//Proceedings of the 4th Annual Symposium on Cloud Computing.New York,USA:ACM Press,2013:5-10.
[5] DU Yao,XIONG Runqun,JIN Jiahui,et al.A cost-efficient data placement algorithm with high reliability in Hadoop[C]//Proceedings of the 5th International Conference on Advanced Cloud and Big Data.Washington D.C.,USA:IEEE Press,2017:100-105.
[6] PREMKUMAR P,GANAJEYARAMAN R.A secure erasure code-based cloud storage system with secure data forwarding[J].IEEE Transactions on Parallel and Distributed Systems,2012,23(6):995-1003.
[7] GREENAN K M,LI Xiaozhou,WYLIE J J.Flat XOR-based erasure codes in storage systems:constructions,efficient recovery,and tradeoffs[C]//Proceedings of the 26th Symposium on Mass Storage Systems and Technologies.Washington D.C.,USA:IEEE Press,2010:1-14.
[8] LUO Xianghong,SHU Jiwu.Load-balanced recovery schemes for single-disk failure in storage systems with any erasure code[C]//Proceedings of the 42nd International Conference on Parallel Processing.Washington D.C.,USA:IEEE Press,2013:552-561.
[9] KHAN O,BURNS R C,PLANK J S,et al.Rethinking erasure codes for cloud file systems:minimizing I/O for recovery and degraded reads[C]//Proceedings of the 10th USENIX Conference on File and Storage Technologies.New York,USA:ACM Press,2012:20-28.
[10] FU Yingxun,SHU Jiwu,LUO Xianghong.A stack-based single disk failure recovery scheme for erasure coded storage systems[C]//Proceedings of the 33rd International Symposium on Reliable Distributed Systems.Washington D.C.,USA:IEEE Press,2014:136-145.
[11] SHEN Zhirong,LEE P P C,SHU Jiwu,et al.Cross-rack-aware single failure recovery for clustered file systems[EB/OL].[2018-03-04].https://www.computer.org/csdl/journal/tq/5555/01/08113513/13rRUyuNsyx.
[12] 李成华,张新访,金海,等.MapReduce:新型的分布式并行计算编程模型[J].计算机工程与科学,2011,33(3):129-135.
[13] 赵建光.云计算环境下数据库系统的分层排队网络模型[D].太原:太原理工大学,2012.
[14] DataFlair team.HDFS erasure coding in big data Hadoop——an introduction[EB/OL].[2018-07-09].https://data-flair.training/blogs/hadoop-hdfs-erasure-coding/.
[15] 吴均平.阿里云平台的优化实践[EB/OL].[2018-07-09].http://qiusuoge.com/13816.html.

服务质量感知的云系统数据副本恢复算法

QoS-Aware Data Replica Recovery Algorithm for Cloud System

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 3

参考文献

相关文章 15

Metrics

本文评价

推荐阅读 10

[1]	董思岐, 吴嘉慧, 李海龙, 屈毓锛, 胡磊. 面向优先级任务的移动边缘计算资源分配方法[J]. 计算机工程, 2020, 46(3): 18-23.
[2]	樊玉琦, 张蓓, 王伦飞. 面向电耗与网络同步代价优化的数据副本放置研究[J]. 计算机工程, 2020, 46(2): 110-117.
[3]	谭文安, 吴嘉凯. 基于改进花朵授粉算法的Web服务组合优化[J]. 计算机工程, 2020, 46(12): 67-72.
[4]	张杰鑫, 庞建民, 张铮, 邰铭, 张浩, 聂广来. 面向拟态构造Web服务器的执行体调度算法[J]. 计算机工程, 2019, 45(8): 14-21.
[5]	魏德宾, 刘健, 潘成胜, 邹启杰. 卫星网络中基于多QoS约束的蚁群优化路由算法[J]. 计算机工程, 2019, 45(7): 114-120.
[6]	臧韦菲,兰巨龙,胡宇翔,陈文涛. 基于多目标离散差分进化的网络感知虚拟机放置算法[J]. 计算机工程, 2019, 45(6): 96-102.
[7]	张钊,李海龙,董思歧,胡磊,马景仁. 基于SDN的数据中心网络流概率路径选择方法[J]. 计算机工程, 2019, 45(4): 36-40.
[8]	许子微,刘广钟. 基于服务质量的WiMAX前向兼容LTE上行调度算法[J]. 计算机工程, 2019, 45(4): 93-99.
[9]	海梅生,伊鹏,江逸茗. 基于服务质量与资源约束的服务链部署策略[J]. 计算机工程, 2019, 45(3): 54-59.
[10]	陆贝妮,杜育根. 基于社区发现的Web服务QoS预测[J]. 计算机工程, 2019, 45(3): 117-124.
[11]	高田翔,石英,刘子伟,伍龙昶. 基于路网与QoS模型的GPSR改进协议[J]. 计算机工程, 2019, 45(2): 7-12.
[12]	李文信, 周晓波, 徐仁海, 齐恒, 李克秋. 一种近似最小有效瓶颈优先的Coflow调度机制[J]. 计算机工程, 2019, 45(10): 19-25,32.
[13]	刘开南. 云数据中心基于任务映射的虚拟机选择策略[J]. 计算机工程, 2019, 45(10): 33-39.
[14]	刘岗,李大力,赵杭生,曹龙. D2D网络中具有动态配额的资源分配算法 [J]. 计算机工程, 2018, 44(4): 98-102.
[15]	郭月月,黄家玮,刘敬玲,王建新. 数据中心网络中高并发TCP传输的随机退避方法[J]. 计算机工程, 2018, 44(4): 135-139,144.