计算机工程 ›› 2019, Vol. 45 ›› Issue (7): 20-25.doi: 10.19678/j.issn.1000-3428.0051077

• 先进计算与数据处理 • 上一篇    下一篇

基于MPI的分布式数据处理系统

赵宝琦1,2, 李卫东1,2, 邹佳恒2, 林韬2, 颜田2   

  1. 1. 中国科学院大学 计算机与控制学院, 北京 100049;
    2. 中国科学院高能物理研究所, 北京 100049
  • 收稿日期:2018-04-03 修回日期:2018-05-25 出版日期:2019-07-15 发布日期:2019-07-15
  • 作者简介:赵宝琦(1993-),男,硕士研究生,主研方向为分布式计算;李卫东,研究员、博士、博士生导师;邹佳恒,副研究员、博士;林韬、颜田,博士。
  • 基金项目:
    中国科学院战略性先导科技专项(A类)(XDA10010900);大科学装置联合基金(U1532258)。

Distributed Data Processing System Based on MPI

ZHAO Baoqi1,2, LI Weidong1,2, ZOU Jiaheng2, LIN Tao2, YAN Tian2   

  1. 1. School of Computer and Control Engineering, University of Chinese Academy of Sciences, Beijing 100049, China;
    2. Institute of High Energy Physics, Chinese Academy of Sciences, Beijing 100049, China
  • Received:2018-04-03 Revised:2018-05-25 Online:2019-07-15 Published:2019-07-15

摘要: 为简化江门中微子实验的离线数据处理流程,减少资源消耗,提出一种在分布式计算环境中进行数据处理的通用软件系统。基于信息传递接口实现节点间的通信与数据交换,使用Master/Worker架构对计算作业生命周期进行管理,包括计算作业拆分、计算资源分配以及计算任务执行与监控。测试结果表明,该系统具有良好的可扩展性,其产生的数据与人工逐步执行作业脚本运行模拟软件产生的数据一致。

关键词: 高能物理, 江门中微子实验, 离线数据处理, 分布式计算, 信息传递接口

Abstract: In order to simplify the off-line data processing flow of Jiangmen Underground Neutrino Observation(JUNO) and reduce resource consumption,a general software system is proposed to process data in distributed computing environment.Based on Message Passing Interface(MPI),communication and data exchange between nodes are realized.Master/Worker architecture is used to manage the life cycle of computing jobs,including computing job splitting,computing resource allocation,computing task execution and monitoring.Test results show that the proposed system has good scalability,and the data generated by the system is consistent with the data generated by manual step-by-step execution of job scripts to run simulation software.

Key words: high energy physics, Jiangmen Underground Neutrino Observation(JUNO), off-line data processing, distributed computing, Message Passing Interface(MPI)

中图分类号: