作者投稿和查稿 主编审稿 专家审稿 编委审稿 远程编辑

计算机工程 ›› 2011, Vol. 37 ›› Issue (12): 242-244. doi: 10.3969/j.issn.1000-3428.2011.12.082

• 开发研究与设计技术 • 上一篇    下一篇

基于Hadoop的海量农业数据资源管理平台

杨 锋,吴华瑞,朱华吉,张海辉,孙 想   

  1. (国家农业信息化工程技术研究中心,北京 100097)
  • 收稿日期:2010-11-15 出版日期:2011-06-20 发布日期:2011-06-20
  • 作者简介:杨 锋(1981-),男,助理工程师、硕士,主研方向:资源检索,智能系统;吴华瑞,副研究员;朱华吉,博士;张海辉,副教授;孙 想,副研究员
  • 基金资助:
    国家自然科学基金资助项目(60871042);国家“863”计划基金资助项目(2006AA10Z237, 2007AA10Z235);农业部“948”计划基金资助项目(2006-G63);国家科技支撑计划基金资助项目(2008BADA0B05, 2009BADA1B01)

Massive Agricultural Data Resource Management Platform Based on Hadoop

YANG Feng, WU Hua-rui, ZHU Hua-ji, ZHANG Hai-hui, SUN Xiang   

  1. (National Engineering Research Center for Information Technology in Agriculture, Beijing 100097, China)
  • Received:2010-11-15 Online:2011-06-20 Published:2011-06-20

摘要: 使用传统分布式数据库架构存储和管理海量农业数据存在资源效率不高及存储能力不足的问题,为此,在Hadoop的基础上研究海量农业数据资源组织存储与检索技术,提出基于Hadoop的大文件分块存储方法和海量农业数据资源检索方法。测试及实践结果表明,该方法为构建海量农业数据资源管理平台提供了支持,实现了海量农业数据资源高效的组织和管理。

关键词: 海量农业数据, 管理平台, 分布式存储, 元数据, 资源检索

Abstract: This paper proposes the method of large file storage by blocking partition based on Hadoop and massive agricultural resources retrieval method, and establishes the massive agricultural data management platform based on Hadoop. Test and practice results show that this platform provides a technical direction for the realization of massive, distributed, heterogeneous unified agricultural knowledge resources, efficient organization and management.

Key words: massive agricultural data, management platform, distributed storage, meta data, resource retrieval

中图分类号: