云计算环境下的改进型Map-Reduce模型

doi:10.3969/j.issn.1000-3428.2012.11.009

计算机工程 ›› 2012, Vol. 38 ›› Issue (11): 27-29,37. doi: 10.3969/j.issn.1000-3428.2012.11.009

所属专题：云计算专题；

云计算环境下的改进型Map-Reduce模型

李震，杜中军

(四川大学计算机学院，成都 610065)

收稿日期:2011-08-15 出版日期:2012-06-05 发布日期:2012-06-05
作者简介:李震(1986－)，男，硕士研究生，主研方向：云计算，数据库系统；杜中军，副教授

Improved Map-Reduce Model in Cloud Computing Environment

LI Zhen, DU Zhong-jun

(College of Computer Science, Sichuan University, Chengdu 610065, China)

Received:2011-08-15 Online:2012-06-05 Published:2012-06-05

摘要/Abstract

摘要： Map-Reduce模型在分配输入文件时没有考虑集群中大量异构节点的计算性能，导致运行map任务时网络数据传送量增加。针对该问题，提出一种云计算环境下的改进型Map-Reduce模型。根据集群中大量节点计算性能不同的特点，采用最小化最大计算时间的目标函数进行建模，利用遗传算法求解该模型得到分配方案。仿真结果证明了该模型的有效性。

关键词: 云计算, Map-Reduce模型, 异构环境, 计算性能, 遗传算法

Abstract: Map-Reduce model does not consider the computing performance in large number of heterogeneous nodes when allocating the input files in the cluster, and this leads to network data transfer increase to run the map task. Addressing this issue, this paper proposes the improved Map-Reduce model under the cloud computing environment. For a large number of nodes in the cluster calculation with different performance, it raises the maximum computational time minimal objective function model, uses Genetic Algorithm(GA) to solve the model to get the distribution plan. Simulation results prove the validity of the model.

Key words: cloud computing, Map-Reduce model, heterogeneous environment, calculated performance, Genetic Algorithm(GA)

中图分类号:

TP338.8

李震, 杜中军. 云计算环境下的改进型Map-Reduce模型[J]. 计算机工程, 2012, 38(11): 27-29,37.

LI Shen, DU Zhong-Jun-. Improved Map-Reduce Model in Cloud Computing Environment[J]. Computer Engineering, 2012, 38(11): 27-29,37.

http://www.ecice06.com/CN/Y2012/V38/I11/27

参考文献

[1] Foster I, Zhao Yong, Raicu I, et a1. Cloud Computing and Grid Computing 360-degree Compared[C]//Proc. of GCE’08. Washington D. C., USA: IEEE Computer Society, 2008.
[2] Ghemawat S, Gobioff H, Leung S. The Google File System[C]// Proc. of SOSP’03. New York, USA: ACM Press, 2003.
[3] Chang F, Dean J, Ghemawat S, et al. BigTable: A Distributed Storage System for Structured Data[J]. ACM Trans. on Computer Systems, 2008, 26(2): 1-26.
[4] Dean J, Ghemawat S. Map-Reduce: Simplified Data Processing on Large Clusters[C]//Proc. of the 6th Symposium on Operating System Design and Implementation. New York, USA: ACM Press, 2004. (下转第37页)
[5] Nurmi D, Wolski R, Grzegorczyk C, et a1. The Eucalyptus Open- source Cloud-computing System[C]//Proc. of the 9th IEEE/ACM International Symposium on Cluster Computing and the Grid. [S. l.]: IEEE Computer Society, 2009.
[6] Armbrust M, Fox A, Griffith R, et al. Abore the Clouds: Aberkeley View of Cloud Computing[R]. Berkeley, USA: University of California, Berkeley: Technical Report: UCB/EECS-2009-28, 2009.
[7] Yan Baoqiang, Rhodes P J. Toward Automatic Parallelization of Spatial Computation for Computing Clusters[C]//Proc. of the 17th International Symposium on High Performance Distributed Computing. New York, USA: ACM Press, 2008.
[8] Nagarajan A B, Mueller F, Engelmann C, et al. Proactive Fault Tolerance for HPC with Xen Virtualization[C]//Proc. of the 21st Annual International Conference on Supercomputing. New York, USA: ACM Press, 2007.
[9] Pinar A, Hendrickson B. Exploiting Flexibly Assignable Work to Improve Load Balance[C]//Proc. of the 14th Annual ACM Symposium on Parallel Algorithms. New York, USA: ACM Press, 2002.
[10] 刘怡, 张勘. 基于负载均衡和经验值的工作流任务分配策略[J]. 计算机工程, 2009, 35(21): 57-59.
[11] 陈国良. 遗传算法及其应用[M]. 北京: 人民邮电出版社, 1996.
[12] Liang Yanchun, Ge Hongwei, Zhou Chunguang. Solving Tra- veling Salesman Problem by Genetic Algorithms[J]. Progress in Natural Science, 2003, 13(2): 135-142.

[1]	白祉旭, 王衡军. 基于改进遗传算法的对抗样本生成方法[J]. 计算机工程, 2023, 49(5): 139-149.
[2]	桑永宣, 魏江坡, 王博, 宋莹. 具有边缘缓存机制的混合启发式任务卸载算法[J]. 计算机工程, 2023, 49(4): 149-158.
[3]	刘志彬, 黄秋兰, 胡庆宝, 程耀东, 胡誉, 田浩来. Kubernetes异构资源细粒度调度策略的设计与实现[J]. 计算机工程, 2023, 49(2): 31-36,45.
[4]	马华伟, 马凯, 郭君. 考虑多投递的带无人机车辆路径规划问题研究[J]. 计算机工程, 2022, 48(8): 299-305.
[5]	奚智雯, 蔡晶晶, 阳文敏, 柴志雷. 基于微服务架构FPGA云平台的并发请求调度机制[J]. 计算机工程, 2022, 48(7): 206-213.
[6]	贺小伟, 徐靖杰, 王宾, 吴昊, 张博文. 基于GRU-LSTM组合模型的云计算资源负载预测研究[J]. 计算机工程, 2022, 48(5): 11-17,34.
[7]	宋勇春, 王茜竹, 高正念. 基于HAGA的D2D-NOMA资源分配优化算法[J]. 计算机工程, 2022, 48(2): 275-280,290.
[8]	缪欣, 陈璇, 鲍红莹, 张静轩, 余炜. 移动传感器网络中路径扫描覆盖问题研究[J]. 计算机工程, 2022, 48(12): 150-155,164.
[9]	吴铁洲, 邹智, 姜奔, 张晓星. 基于TLBGA-GRU神经网络的短期负荷预测[J]. 计算机工程, 2022, 48(11): 69-76.
[10]	曾蓉晖, 林兵, 王明芬, 林凯, 卢宇. 超密集边缘计算网络中面向能耗优化的任务卸载方法[J]. 计算机工程, 2022, 48(11): 39-48.
[11]	赵宇峰, 雷晟, 张国钢, 耿英三. 基于容器技术的电力设备仿真云平台设计与开发[J]. 计算机工程, 2021, 47(9): 171-177,184.
[12]	杜秀丽, 周敏, 吕亚娜, 邱少明. 基于RBF神经网络优化的装备保障系统效能评估[J]. 计算机工程, 2021, 47(9): 282-287,296.
[13]	施凌鹏, 朱征, 周俊松, 李鑫, 李静. 面向微服务架构的云系统负载均衡机制[J]. 计算机工程, 2021, 47(9): 44-50,58.
[14]	魏秀然, 王峰. 基于协调器与遗传算法的云存储数据复制策略[J]. 计算机工程, 2021, 47(8): 124-130,139.
[15]	刘丹, 耿娜. 基于两阶段随机仿真优化算法的体检顾客预约调度[J]. 计算机工程, 2021, 47(7): 281-288.

选择文件类型/文献管理软件名称

选择包含的内容

云计算环境下的改进型Map-Reduce模型

Improved Map-Reduce Model in Cloud Computing Environment

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

模态框（Modal）标题

选择文件类型/文献管理软件名称

选择包含的内容

云计算环境下的改进型Map-Reduce模型

Improved Map-Reduce Model in Cloud Computing Environment

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价