%0 Journal Article %A 刘贤熜 %A 宋斌 %T 基于Hadoop的海量数据TCP报文重组技术 %D 2016 %R 10.3969/j.issn.1000-3428.2016.10.020 %J 计算机工程 %P 113-117,123 %V 42 %N 10 %X 当前基于单机系统的传输控制协议(TCP)报文重组工具随着数据量的增大,运行效率越来越低,难以满足大数据时代的需求。为此,提出一种基于Hadoop的海量数据TCP报文重组系统。利用Hadoop分布式文件系统(HDFS)以及MapReduce并行处理框架,对TCP报文重组中的数据读取和结果输出步骤进行并行化处理。采用MapReduce辅助排序技术实现海量TCP数据流的分类。测试结果表明,与基于单机系统的报文重组工具相比,基于Hadoop的报文重组系统工作效率更高,并且当数据量达到100 GB时,运行效率可提升近84%。 %U http://www.ecice06.com/CN/10.3969/j.issn.1000-3428.2016.10.020