面向通用计算GPU集群的任务自动分配系统

doi:10.3969/j.issn.1000-3428.2014.03.021

计算机工程

面向通用计算GPU集群的任务自动分配系统

胡新明，盛冲冲，李佳佳，吴百锋

(复旦大学计算机科学技术学院，上海 201023)

收稿日期:2013-02-27 出版日期:2014-03-15 发布日期:2014-03-13
作者简介:胡新明(1989－)，男，硕士研究生，主研方向：面向GPU的大规模并行计算；盛冲冲、李佳佳，硕士研究生；吴百锋，教授。

Automatic Task Assignment System of General Computing Oriented GPU Cluster

HU Xin-ming, SHENG Chong-chong, LI Jia-jia, WU Bai-feng

(School of Computer Science, Fudan University, Shanghai 201203, China)

Received:2013-02-27 Online:2014-03-15 Published:2014-03-13

摘要/Abstract

摘要： 当前GPU集群的主流编程模型是MPI与CUDA的松散耦合，采用这种编程模型进行编程，存在编程复杂度大、程序的可移植性差、执行效率低等问题。为此，提出一种面向通用计算GPU集群的任务自动分配系统StreamMAP。对编译器进行改造，以编译制导的方式提供集群任务的计算资源需求，通过运行时系统动态地发现、建立并维护系统资源拓扑，设计一种较为契合GPU集群应用特征的任务分配策略。实验结果表明，StreamMAP系统能降低集群应用程序的编程复杂度，使之较为高效地利用GPU集群的计算资源，且程序的可移植性和可扩展性也得到了保证。

关键词: GPU集群, 异构, 编程模型, 任务分配, 可移植性, 可扩展性

Abstract: MPI+CUDA are the mainstream programming models of current GPU cluster architecture. However, by using such a low level programming model, programmers require detailed knowledge of the underlying architecture, which exerts a heavy burden. Besides, the program is less portability and inefficient. This paper proposes StreamMAP, an automatic task assignment system on GPU clusters. It provides powerful, yet concise language extension suitable to describe the compute resource demands of cluster tasks. It develops a run time system to maintain resource information, and supplies an automatic task assignment for GPU cluster. Experiments show that StreamMAP provides programmability, portability and scalability for GPU cluster application.

Key words: GPU cluster, heterogeneous, programming model, task assignment, portability, scalability

中图分类号:

N945

胡新明，盛冲冲，李佳佳，吴百锋. 面向通用计算GPU集群的任务自动分配系统[J]. 计算机工程, doi: 10.3969/j.issn.1000-3428.2014.03.021.

HU Xin-ming, SHENG Chong-chong, LI Jia-jia, WU Bai-feng. Automatic Task Assignment System of General Computing Oriented GPU Cluster[J]. Computer Engineering, doi: 10.3969/j.issn.1000-3428.2014.03.021.

参考文献

参考文献 [1] Jacobsen D A, Thibault J C, Senocak I. An MPI-CUDA Implementation for Massively Parallel Incompressible Flow Computations on Multi-GPU Clusters[C]//Proc. of the 48th AIAA Aerospace Sciences Meeting and Exhibit. Orlando, USA: [s. n.], 2010: 1065-1072. [2] 张繁, 王章野, 姚建, 等. 应用GPU集群加速计算蛋白质分子场[J]. 计算机辅助设计与图形学学报, 2010, 22(3): 412-419. [3] 龙桂华, 赵宇波. 三维交错网格有限差分地震波模拟的GPU集群实现[J]. 地球物理学进展, 2011, 26(6): 1938-1949. [4] 苏丽丽. 基于CPU-GPU集群的分子动力学并行计算研究[D]. 大连: 大连理工大学, 2009. [5] 朱晓敏, 陆配忠. 异构集群系统中安全关键实时应用调度研究[J]. 计算机学报, 2010, 33(12): 2364-2377. [6] 陈勇, 陈国良, 李春生, 等. SMP机群混合编程模型研究[J]. 小型微型计算机系统, 2004, 25(10): 1763-1767. [7] 王惠春, 朱定局, 曹学年, 等. 基于SMP集群的混合并行编程模型研究[J]. 计算机工程, 2009, 35(3): 271-273. [8] Phillips J C, Stone J E, Schulten K. Adapting a Message- driven Parallel Application to GPU-accelerated Clusters[C]// Proc. of ACM/IEEE Conference on Supercomputing. Piscataway, USA: IEEE Press, 2008: 81-89. [9] 许彦芹, 陈庆奎. 基于SMP集群的MPI+CUDA模型的研究与实现[J]. 计算机工程与设计, 2010, 31(15): 3408-3412. [10] University of Illinois at Urbana-Champaign. Accelerator Cluster Webpage[EB/OL]. [2013-03-12]. http://iacat.illinois. edu/resources/cluster/. [11] National Center for Supercomputing Applications. Intel 64 Tesla Linux Cluster Lincoln Webpage[EB/OL]. [2013-03-18]. http://www.ncsa.illinois.edu/UserInfo/Resources/Hardware/Intel64TeslaCluster/. [12] Message Passing Interface Forum. MPI: A Message-passing Interface Standard[EB/OL]. [2013-02-10]. http://www.mcs.anl. gov/rresearch/projects/mpi/. [13] OpenACC Forum. OpenACC.1.0.pdf[EB/OL]. [2013-02-20]. http://openacc.org/Downloads. 编辑任吉慧

[1]	龙恳, 李伟, 鲁江丽, 蒋明均, 隆泉. 基于匹配理论的NOMA异构网络资源分配算法[J]. 计算机工程, 2021, 47(1): 165-171.
[2]	邢虎, 陈荣, 唐文君. 基于预测算法的在线空间众包任务分配策略[J]. 计算机工程, 2020, 46(9): 27-34,43.
[3]	刘旭, 张曦煌, 刘钊, 吕小敬, 朱光辉. 基于神威太湖之光的宇宙学多体模拟[J]. 计算机工程, 2020, 46(9): 35-43.
[4]	何卓桁, 刘志勇, 李璐, 李长明, 张琳. 异构文本数据转换中XML解析方法对比研究[J]. 计算机工程, 2020, 46(7): 286-293,299.
[5]	徐文娟, 贾向东, 陈玉宛. 缓存与MIMO回程联合的内容传递方法[J]. 计算机工程, 2020, 46(6): 164-171.
[6]	尚蕾, 刘茜萍. 基于任务分配和数据集副本的科学工作流数据布局[J]. 计算机工程, 2020, 46(5): 122-130,138.
[7]	武兆琪, 张帆, 郭威, 卫今, 谢光伟. 一种基于执行体异构度的拟态裁决优化方法[J]. 计算机工程, 2020, 46(5): 12-18.
[8]	付琳, 邵培南, 应飞, 解维. 拟态通用运行环境的框架设计[J]. 计算机工程, 2020, 46(3): 24-33.
[9]	范巧玲, 贾向东, 纪澎善, 路艺. 异构网络解耦与耦合级联方案覆盖性能比较[J]. 计算机工程, 2020, 46(3): 151-156.
[10]	霍立田, 邵培南, 徐李定, 徐骏. 拟态通用运行环境的资源管理与调度技术[J]. 计算机工程, 2020, 46(2): 159-169.
[11]	马千里, 袁易, 申朝晖. 异构无线传感器网络中继节点部署算法[J]. 计算机工程, 2020, 46(12): 171-178.
[12]	彭龙, 陈俊仕, 安虹. 基于神威太湖之光的AMBER软件移植与优化[J]. 计算机工程, 2020, 46(12): 12-20.
[13]	陈玉宛, 贾向东, 纪澎善, 吕亚平. 基于泊松簇过程的毫米波异构网络频谱分析[J]. 计算机工程, 2020, 46(11): 194-200.
[14]	王毅然, 经小川, 贾福凯, 孙宇健, 佟轶. 基于多智能体协同强化学习的多目标追踪方法[J]. 计算机工程, 2020, 46(11): 90-96.
[15]	徐昌彪, 郭瑞博, 鲜永菊. 异构网络下带内回程基站部署方案[J]. 计算机工程, 2020, 46(1): 150-156,163.

面向通用计算GPU集群的任务自动分配系统

Automatic Task Assignment System of General Computing Oriented GPU Cluster

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

Metrics

本文评价

推荐阅读 10