基于MPI的分布式数据处理系统

doi:10.19678/j.issn.1000-3428.0051077

计算机工程 ›› 2019, Vol. 45 ›› Issue (7): 20-25. doi: 10.19678/j.issn.1000-3428.0051077

基于MPI的分布式数据处理系统

赵宝琦^1,2, 李卫东^1,2, 邹佳恒², 林韬², 颜田²

1. 中国科学院大学计算机与控制学院, 北京 100049;
2. 中国科学院高能物理研究所, 北京 100049

收稿日期:2018-04-03 修回日期:2018-05-25 出版日期:2019-07-15 发布日期:2019-07-15
作者简介:赵宝琦(1993-),男,硕士研究生,主研方向为分布式计算;李卫东,研究员、博士、博士生导师;邹佳恒,副研究员、博士;林韬、颜田,博士。
基金资助:
中国科学院战略性先导科技专项（A类）（XDA10010900）；大科学装置联合基金（U1532258）。

Distributed Data Processing System Based on MPI

ZHAO Baoqi^1,2, LI Weidong^1,2, ZOU Jiaheng², LIN Tao², YAN Tian²

1. School of Computer and Control Engineering, University of Chinese Academy of Sciences, Beijing 100049, China;
2. Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049, China

Received:2018-04-03 Revised:2018-05-25 Online:2019-07-15 Published:2019-07-15

摘要/Abstract

摘要： 为简化江门中微子实验的离线数据处理流程，减少资源消耗，提出一种在分布式计算环境中进行数据处理的通用软件系统。基于信息传递接口实现节点间的通信与数据交换，使用Master/Worker架构对计算作业生命周期进行管理，包括计算作业拆分、计算资源分配以及计算任务执行与监控。测试结果表明，该系统具有良好的可扩展性，其产生的数据与人工逐步执行作业脚本运行模拟软件产生的数据一致。

关键词: 高能物理, 江门中微子实验, 离线数据处理, 分布式计算, 信息传递接口

Abstract: In order to simplify the off-line data processing flow of Jiangmen Underground Neutrino Observation(JUNO) and reduce resource consumption,a general software system is proposed to process data in distributed computing environment.Based on Message Passing Interface(MPI),communication and data exchange between nodes are realized.Master/Worker architecture is used to manage the life cycle of computing jobs,including computing job splitting,computing resource allocation,computing task execution and monitoring.Test results show that the proposed system has good scalability,and the data generated by the system is consistent with the data generated by manual step-by-step execution of job scripts to run simulation software.

Key words: high energy physics, Jiangmen Underground Neutrino Observation(JUNO), off-line data processing, distributed computing, Message Passing Interface(MPI)

中图分类号:

TP391

赵宝琦, 李卫东, 邹佳恒, 林韬, 颜田. 基于MPI的分布式数据处理系统[J]. 计算机工程, 2019, 45(7): 20-25.

ZHAO Baoqi, LI Weidong, ZOU Jiaheng, LIN Tao, YAN Tian. Distributed Data Processing System Based on MPI[J]. Computer Engineering, 2019, 45(7): 20-25.

http://www.ecice06.com/CN/Y2019/V45/I7/20

参考文献

[1] DJURCIC Z,GUARINO V,CABRERA A,et al.JUNO conceptual design report[EB/OL].[2018-03-20].https://arxiv.org/vc/arxiv/papers/1508/1508.07166v1.pdf.
[2] AN Fengpeng,AN Guangpeng,AN Qi,et al.Neutrino physics with JUNO[J].Journal of Physics G:Nuclear and Particle Physics,2016,43(3):030401.
[3] WANG Zhimin.JUNO central detector and its prototyping[J].Journal of Physics:Conference Series,2016,718(6):062075.
[4] MOSCICKI J T.Diane-distributed analysis environment for grid-enabled simulation and analysis of physics data[C]//Proceedings of 2003 IEEE Nuclear Science Symposium.Washington D.C.,USA:IEEE Press,2003:1617-1620.
[5] ILCDirac for ILC users[EB/OL].[2018-03-20].http://flcwiki.desy.de/ILCDirac.
[6] HUANG Xingtao,LI Tao,ZOU Jiaheng,et al.Offline data processing software for the JUNO experiment[EB/OL].[2018-03-15].https://indico.cern.ch/event/432527/contributions/1072223/contribution.pdf.
[7] 李腾.江门中微子实验离线软件系统的设计与开发[D].济南:山东大学,2017.
[8] ZOU J H,HUANG Xiangjie,LI W D,et al.SNiPER:an offline software framework for non-collider physics experiments[J].Journal of Physics:Conference Series,2015,664(7):072053.
[9] LIN Tao,ZOU Jiaheng,LI Weidong,et al.The application of SNiPER to the JUNO simulation[J].Journal of Physics:Conference Series,2017,898(4):042029.
[10] LI Teng,XIA Xin,HUANG Xingtao,et al.Design and development of JUNO event data model[J].Chinese Physics C,2017,41(6):066201.
[11] CLARKE L,GLENDINNING I,HEMPEL R.The MPI message passing interface standard[M]//DECKER K M,REHMANN R M.Programming environments for massively parallel distributed systems.Berlin,Germany:Springer,1994:213-218.
[12] LUSK E,GROPP W.The MPI message-passing interface standard:overview and status[J].Advances in Parallel Computing,1995,10(6):265-269.
[13] GROPP W,LUSK E,DOSS N,et al.MPICH:a high-performance,portable implementation for the MPI message-passing interface[J].Parallel Computing,1998,22(6):789-828.
[14] 鄢锋,桂卫华,胡志坤,等.一种网络节点通信控制的心跳模型[J].信息与控制,2008,37(5):524-528.
[15] THAIN D,TANNENBAUM T,LIVNY M.Distributed computing in practice:the condor experience[J].Concurrency and Computation Practice and Experience,2005,17(2-4):323-356.

选择文件类型/文献管理软件名称

选择包含的内容

基于MPI的分布式数据处理系统

Distributed Data Processing System Based on MPI

RichHTML

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	张琨, 贾金芳, 严文昕, 黄建强, 王晓英. GRAPES动力框架中大规模稀疏线性系统并行求解及优化[J]. 计算机工程, 2022, 48(1): 149-154,162.
[2]	易培淮, 李卫东, 林韬, 邹佳恒, 邓子艳, 刘言. GPU在缪子快速模拟中的应用[J]. 计算机工程, 2021, 47(8): 100-108.
[3]	张基, 谢在鹏, 毛莺池, 徐媛媛, 朱晓瑞, 李博文. MapReduce框架下结合分布式编码计算的容错算法[J]. 计算机工程, 2021, 47(4): 173-179.
[4]	孙震宇, 石京燕, 孙功星, 杜然, 姜晓巍, 邹佳恒, 谭宏楠. 大规模异构计算集群的双层作业调度系统[J]. 计算机工程, 2020, 46(1): 187-195.
[5]	张璐, 朱海婷. 一种高效的分布式水军群组检测算法[J]. 计算机工程, 2019, 45(7): 6-12.
[6]	任良育,赵成萍,严华. 基于任务复制与冗余消除的多核调度算法[J]. 计算机工程, 2019, 45(5): 59-65.
[7]	谭宏楠,石京燕,邹佳恒,杜然,姜晓巍,孙震宇. 应用于JUNO实验的容器技术研究[J]. 计算机工程, 2019, 45(4): 1-5.
[8]	高军,黄献策. 基于Hadoop平台的相关性权重算法设计与实现[J]. 计算机工程, 2019, 45(3): 26-31.
[9]	李云洋,周川,王琦. 异构分布式计算环境下一种新型表调度算法[J]. 计算机工程, 2018, 44(8): 43-47.
[10]	高燕军,张雪英,李凤莲,田玉楚. 基于图覆盖的大数据全比较数据分配算法[J]. 计算机工程, 2018, 44(4): 17-22,27.
[11]	杨光, 谢锐, 薛广涛. 私有云平台资源监控与优化系统[J]. 计算机工程, 2018, 44(3): 1-7.
[12]	陈新荃,陈晓东,蒋林华. 基于Spark平台的人脸图像检索系统[J]. 计算机工程, 2018, 44(2): 251-256.
[13]	汪丽丽,邓丽,余玥,费敏锐. 基于Spark的肿瘤基因混合特征选择方法[J]. 计算机工程, 2018, 44(11): 1-6.
[14]	邢海洋,张军,王楠. 自动导引车云导引平台的研究与设计[J]. 计算机工程, 2017, 43(7): 64-69.
[15]	黄廷辉,王玉良,汪振,崔更申. 基于内存与文件共享机制的Spark I/O性能优化[J]. 计算机工程, 2017, 43(3): 1-6.

模态框（Modal）标题

选择文件类型/文献管理软件名称

选择包含的内容

基于MPI的分布式数据处理系统

Distributed Data Processing System Based on MPI

RichHTML

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价