开放科学(资源服务)标志码(OSID)：

0 概述

随着网络安全形势日趋严峻，网络靶场^[1]已经成为支撑网络空间安全技术研究、攻防对抗试验的重要基础设施，为大规模网络用户行为仿真提供灵活逼真的仿真环境。同时网络用户行为仿真作为网络靶场的重要组成部分，也为靶场平台提供了注入背景流量、构建真实网络场景的有效手段，对于真实网络场景重现、网络安全态势评估、网络安全实验等方面研究具有重要意义。

网络用户行为仿真^[2]的关键目标在于如何能够真实地还原现实网络用户行为，主要体现在仿真的逼真性及规模性。传统的网络用户行为主要通过对单个行为特征分析建立通用仿真模型，然后在NS3^[3]、OPNET^[4]等网络仿真软件上进行模拟，仿真的用户行为类型较为单一，无法体现网络用户行为多样性的特点，仿真的逼真度不高，且NS3等软件仿真的规模有限，无法支撑大规模高逼真的网络用户行为仿真。流量回放近年来在网络安全、网络测试评估^[5]等领域越发受到关注，通过流量回放的方式重现真实网络场景，对目标设备进行评估。随着云平台^[6]兴起，可将回放目标扩大为整个虚拟网络，使得通过流量回放的方式在虚拟网路中复现真实网络场景，将网络流量作为用户行为仿真的载体，向虚拟目标网络注入背景流量的方案变得可行。

本文结合真实流量回放的方式进行大规模高逼真网络用户行为仿真，向虚拟目标网络注入现实网络中的用户行为流量，设计一个面向云平台的网络用户行为仿真系统。通过真实流量回放的网络注入多样化的网络用户行为，解决基于仿真模型模拟用户行为单一、逼真度低的问题，在此基础上，研究复杂目标网络回放时确保回放的交互性和逼真度，以及基于互动式流量回放驱动的大规模高逼真网络行为仿真的可行性与逼真性。

1 相关工作

与本文相关的工作主要体现在基于模型驱动的流量生成方法、基于真实流量驱动的回放方法和用户行为建模与仿真方法3个方面。

在基于模型驱动的流量生成方法^[7]方面，文献[8-10]基于流量模型的回放方法根据真实网络中流量的数学特征建立相关模型生成仿真流量，由于该方式回放的流量逼真性取决于建立的相关流量模型是否逼真准确。而真实网络场景复杂多变，几乎难以建立一个与真实网络场景完全一致的流量模型，因此该方式存在一定的局限性。

在基于真实流量驱动的回放方法方面，由于该回放方式生成的流量直接来自真实网络中，因此能够完整且精确地重现真实网络中的用户流量以及数据包层面的内容。相比基于流量模型回放的方式，该回放方式关注在回放过程中数据报文层面的应用有效载荷，更加符合网络用户行为仿真的高逼真需求。目前基于真实流量驱动的流量方式研究热点开始转向交互式流量回放，即更加注重回放过程中报文状态交互准确。文献[11]提出交互式流量回放这一概念，并开发了交互式回放系统TCPOpera，通过模拟TCP/IP协议栈维护请求与响应端的会话状态，基于状态判定控制报文的收发。文献[12]提出一种有状态流量回放方式，维护请求响应端的交互状态，重放应用层的流量用于测试应用代理服务器的安全性能。文献[13]引入收发平衡机制，提出一种基于收发平衡和状态判断相结合的TCP流量回放方法，在发送报文前通过优先收法平衡判定，减少状态判定的开销，提高回放性能。但是以上方法都只局限于物理回放设备，并且是单个DUT设备的回放场景，无法在虚拟网络中进行回放。针对现有回放方法难以在复杂的虚拟目标网络上实现回放问题，文献[14]论述了网络环境对回放的影响，通过计算物理网络与虚拟网络的相似度和IP映射的方法将流量回放到虚拟网络中，但该方法并没有实现交互式流量回放。文献[15]提出一种基于云平台的虚拟网络交互回放的方法ITRM，重点研究在一个缩小规模的虚拟网络场景下如何进行多节点的交互流量回放的问题，但该方法回放规模相对较小，前提条件需要保证各回放节点时钟高度同步，虚拟网络中时钟同步的精度无法满足此需求，而且该方法并未考虑到延时等网络环境对回放造成的影响，因此无法在复杂的目标网络场景下保证流量回放的交互性。

目前关于大规模多用户的行为仿真的研究较少，文献[16]基于目前用户网络行为研究现状，将目前研究方向细分为个人与群体网络行为，将用户网络行为定义为用户通过操作某个或某种应用程序与他人或服务进行交互的行为以及产生的网络流量。文献[17]对用户访问HTTP服务的行为进行了建模，并以此模型对HTTP协议流量进行模拟，且模拟的网络流量满足流量的自相似性。但上述方法都只是针对单个用户行为进行仿真研究，且模型无法灵活模拟真实用户的行为，仿真的逼真性不高。文献[18]提出一种基于云平台的多用户行行仿真的方法，针对天地一体化网络^[19]中的多用户并发行为，通过模型驱动卫星用户行为仿真，但是该研究只停留在窄带用户行为。文献[20]提出基于“录制-回放”策略的网络桌面应用行为仿真方案，通过录制单个用户的应用操作行为，然后在虚拟机上进行回放，由此仿真出具有真实负载的交互流量，但该方法耗费的资源相对较高，仿真规模会受到一定的限制。

本文提出一种面向目标网络的流量回放方法，并设计一套多用户行为仿真架构，以解决无法在目标网络中进行精确交互流量回放以及目前用户行为仿真规模逼真度不高的问题。

2 体系结构 2.1 现有方法存在问题与设计思路

目前大部分的交互式回放工具为面向DUT设备(如路由器、防火墙)测试的应用需求而设计^[21]，因此回放场景通常是回放设备的端口与DUT设备串接测试，如图 1(a)所示，无需考虑链路延时等网络环境对回放性能的影响，这显然与基于云平台的目标网络仿真场景需求不符：即链路回放的场景更为复杂。图 1(b)所示为一个目标网络的回放场景，回放的对象为虚拟目标网络，即回放的流量需要经过整条链路，因此在面向云平台设计时，需要考虑延时导致的数据包乱序问题。同时，在进行大规模行为仿真实验时，设计的体系架构需满足多条链路并发交互式回放的需求。

2.2 基于交互式流量回放的用户行为仿真体系

本文提出的用户行为仿真架构面向OpenStack作为仿真平台，采用分布式架构可按需灵活地将用户行为仿真节点加载到任意目标网络实验中，较好地满足用户行为仿真对多样性和灵活性的需求。该仿真体系如图 2所示。其中仿真控制端部署在控制节点上，仿真用户节点由KVM或Docker生成。

具体仿真流程如下：

1) 用户行为流量模板生成。控制端负责用户行为仿真模板的生成、配置和下发，并且具有一个用户行为数据库，用于存放各种类型的用户行为流量模板。试验人员可以将现实网络中采集的混杂流量导入仿真控制端，仿真控制端首先按照输入配置对输入流量过滤清洗，然后匹配流量中各个报文的五元组(源/目的IP地址、源/目的MAC地址、协议类型)识别特征行为流量，再根据协议的端口号、状态码、载荷抽取出单个完整的会话流，按照请求-响应标记分类，最后生成行为流量模板存入用户行为数据库中。

2) 行为仿真任务配置与下发。在一次行为仿真任务过程中，首先仿真控制端解析试验人员的配置文件，获取目标网络部署信息，创建所需的回放节点并接入到目标网络中，并根据配置文件在目标网络中自动化配置路由。同时，从用户行为数据库中加载对应类型的用户行为流量模板进行处理，修改数据包MAC地址等字段保证用户行为流量能够在目标网络中转发。然后建立用户行为仿真模型，该模型包括目标网络链路信息以及用户规模数、行为类型、仿真时间等具体的仿真运行参数，将生成的仿真模型以及流量模板通过配置下发模块下发至对应的仿真节点中。

3) 行为仿真任务并行控制。在所有实例模型以及流量模板下发到回放节点后，仿真控制端通过消息队列控制各仿真节点启动运行，按照时间线实现对不同节点不同用户行为仿真事件的集群调度。仿真节点在收到仿真指令后，调用回放模块报文发送函数将用户行为流量注入到虚拟目标网络中，并实时采集仿真运行状态。

3 交互式流量回放关键技术

交互式流量回放最为关键的目标就是保证回放流量过程中数据包的时序状态以及报文内容与原始流量一致，该目标也是评估回放逼真性的重要指标之一。为实现该目标，现有主流的交互式回放方法普遍将请求和响应端放在同一服务器上，以便于更加精确地协同控制请求和响应。本文采用此架构，但是回放的对象为目标网络，即回放的流量需要经过整条链路，因此，需要考虑延时导致的数据包乱序问题：

1) 原始流量文件中可能出现部分相邻报文间隔极短的特殊情况，造成此情况的原因之一可能是采集过程中采集点没有选取请求与响应端链路的中点，或者是在一个超低延时的网络环境下进行流量采集。因此，有必要针对该情况进行时间戳校正。

2) 回放过程中链路延时、抖动以及回放节点处理延时对回放效果的影响。面向云平台的流量回放相比于DUT测试场景更为复杂，延时和抖动会随着链路的复杂度增大而增加，尤其是大规模的网络试验场景。不同于实物回放设备，在时间精度方面，实物网卡往往可以达到微秒级时钟控制，而虚拟机的时钟无法达到此精度，因此，还需要考虑报文处理阶段虚拟机的I/O性能，包处理能力等造成的回放误差。

基于上述问题，本文设计一种基于RTT校正的时间戳修复算法和延时补偿策略，通过对原始流量文件进行RTT时间戳修正，链路延时补偿，解决因延时造成的误差。在保证报文顺序准确的前提下，尽可能将回放时间误差降至最低。

此外，在基于流量回放的用户行为仿真过程中，保证回放数据包的顺序准确性优先级比保证时序的精确性更高。因为采集的数据包的时间戳是按网卡接收数据包的时间记录的，从而无法获取数据包真实发送时间，而且有的协议例如TCP协议具有延时确认机制。较小的时间误差(微秒级)通常对一个会话流状态的影响很小，但是请求与响应顺序会决定会话流的协议状态。因此，设计回放算法的原则应在保证回放数据包顺序一致的前提下尽可能将时间精度误差降低，以维持重放的会话状态，保证用户行为仿真的逼真度。为此，本文采用的报文发送函数基于相邻报文时间间隔进行发送，而非距离第1个报文的时间间隔进行发送，该方式能够有效确保报文顺序的精确性。

3.1 RTT时间戳修复算法

回放时需要维持整个会话的状态，即数据报文交互的顺序需与原始流量文件保持一致，否则将会导致协议状态错乱。图 3所示为一个TCP会话建立连接过程，当采集点不是客户/服务端之间的中间节点，或者是采集网络延迟非常低时，流量会话中SYN请求报文与SYN-ACK响应报文的时间间隔非常短，则回放时就有可能因为传输延时出现SYN-ACK响应报文比SYN请求报文先到达目标节点的状态错乱情况。因此，有必要对采集的用户行为流量进行延时修复处理，保证其在回放过程中顺序的一致性，以维持正确的用户行为协议状态。

本文提出一个基于RTT修复算法解决流量采集时采集点不在中间节点的问题。其中心思想是：根据TCP会话3次握手中第1次握手SYN报文与第3次握手SYN-ACK时间戳可计算出原网络RTT往返延时，再根据RTT将报文修复为在中心节点采集时的时间戳，具体的伪代码描述如算法1所示。

算法1   基于RTT校正的时间戳修复算法

1.first_syn_pkt ← False

2.for packet in origin_pcap do

3.if first_syn_pkt is False and packet_p == TCP and TCP_flag == SYN

4.first_syn_pkt ← True

5.ts_syn ← packet_ts

6.client_tuple ← packet_tuple

7.server_tuple ← swap(client_tuple)

8.if first_syn_flag is True and packet_tuple == server_ tuple and tcp_flag == ACK

9.ts_syn_ack ← packet_ts

10.delta ← ts_syn_ack‒ts_syn

11.if first_syn_flag is True and tuple == client_tuple and tcp_flag == ACK

12.rtt ← packet_ts - ts_syn

13.break

14.end for

15.tc ← delta/2-rtt/4

16.pcap_fix ← create a new pcap file

17.client_IP，server_IP ← get source IP and destion IP from the client_tuple

18.for packet in origin_pcap do

19.if src_IP == client_IP then

20.packet_ts ← packet_ts + tc

21.else

22.packet_ts ← packet_ts - tc

23.add packet to fix_pcap

24.end if

25.end for

26.return fix_pcap

3.2 低延时补偿策略

因为RTT修复算法只有在原始流量中包含TCP会话时才有效，当原始流量中不包含完整TCP会话则无法预估采集时的RTT延时，所以需要对其他低延时的情况进行延时补偿。假设原始流量相邻报文间隔为$ {T}_{d} $，回放时链路的抖动为$ {T}_{j} $，当$ {T}_{j} $ > $ {T}_{d} $时，则有可能发生数据包乱序的情况，为尽可能避免这一问题，本文提出一种低时延补偿策略。通过对报文较小的包进行延时补偿，尽可能消除抖动对回放造成的误差。

本文具体策略如下：在仿真实验前，设定一组等同数量具有固定间隔的流量文件进行回放。比较原始流量与回放流量中每对相邻报文的时间间隔$ \mathrm{\Delta }o $、$ \mathrm{\Delta }r $，得到一个误差均值。计算公式如下：

$ {E}_{{}_{\mathrm{a}\mathrm{v}\mathrm{g}}}^{\mathrm{E}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}=\frac{\sum\limits_{i=1}^{n}\left(\right|\mathrm{\Delta }{r}_{i}-\mathrm{\Delta }{o}_{i}\left|\right)}{n}，i=\mathrm{1, 2}, \cdots , n $

将得到的误差均值对原始流量进行补偿，具体操作如下：从原始流量中第2个报文开始顺序遍历，当报文满足$ \mathrm{\Delta }{o}_{i} <{E}_{\mathrm{a}\mathrm{v}\mathrm{g}}^{\mathrm{E}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}} $且与上一条报文不同侧时，则对当前报文的时间戳$ T{s}_{i} $进行误差补偿：$ T{s}_{i}=T{s}_{i}-1+{E}_{\mathrm{a}\mathrm{v}\mathrm{g}}^{\mathrm{E}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}} $，并更新报文时间戳，直至最后一个报文。使得每个报文间隔始终不小于平均误差，以此减小延时在回放延时中造成的误差。

4 实验验证与评估

本节对基于交互式流量回放的用户行为仿真方法进行实验验证。

4.1 实验环境

该用户行为仿真体系部署在基于Openstack Mitaka版本搭建的云平台上，控制节点采用Intel Xeon E5-2620 v2×4机架式处理器，内存为32 GB；网络节点处理器为Intel Xeon E5-4607 v2×8，内存为32 GB；计算节点1处理器为Intel Xeon E5-2620 v3×4，内存为32 GB；计算节点2、3、4处理器均为IntelXeon E5-2620 v3×4，内存为32 GB；采用OVS提供虚拟网络；所有节点的操作系统均为CentOS 7.5。

实验场景如图 4所示，目标网络为一个普通的多尺度虚拟网络拓扑，图中灰色节点均为虚拟路由器，实验场景两端为本仿真方法生成的用户节点，中心黑色路由节点为实验采集点。共设计了3个验证实验分别对链路交互流量回放方法的逼真性与精准度，以及用户行为仿真的可行性与逼真性进行验证。

4.2 实验结果 4.2.1 交互式流量链路回放方法逼真性验证实验

为验证本文所提出的链路交互式流量回放方法可满足大规模高逼真用户行为仿真的需求，对该方法进行逼真性实验评估。在图 4的目标网络中，创建一个回放节点接入目标网络中，仿真一对Web请求响应会话；链路延时为1.21 ms，在整条链路上回放了5组采集自互联网的真实的TCP流量文件(数据报文个数依次为2万、5万、10万、20万、30万个)，对本文所设计的交互式流量链路回放方法在顺序的准确性以及时间的精确度2个方面进行评估，以验证该回放方法的逼真性。基于该评估方法对比直接回放方法，具体的评估方法如下：

通过对回放后的流量文件与原始流量文件进行遍历，比较两组在同一位置的每个报文内容是否相同，统计错误的报文数以验证该方法的顺序准确性。通过计算回放与原始流量中每个相邻报文的时间间隔的误差验证时间精确度，即设$ \mathrm{\Delta }r $为回放流量中2个相邻报文的时间间隔，$ \mathrm{\Delta }o $为原始流量中对应的2个相邻报文的时间间隔，可以计算出：

$ {E}_{\mathrm{a}\mathrm{v}g}^{\mathrm{E}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}=\frac{\sum\limits_{i=1}^{n}\left(\right|\mathrm{\Delta }{r}_{i}-\mathrm{\Delta }{o}_{i}\left|\right)}{n} $

在5组回放实验中，本文方法产生的乱序报文数分别为2、4、4、6、4个。如图 5所示，随着回放数据包的增多，直接回放方法产生的乱序报文数明显增多，在回放30万个数据包时，直接回放共产生乱序报文5 900个，而本文方法仅为4个。

本文所提出延迟补偿策略极大地减少了回放中产生错误数据包的数量，在回放的顺序准确性上具有一定的优势，能够保证流量回放不乱序这一基本目标。相比未经过延时补偿的直接回放方法，本文方法经过延时补偿后回放产生的乱序报文数并不会随着回放报文数增加而大幅增加，回放的准确率稳定在99.99%。

由于直接回放法在报文的顺序准确率低，无法准确验证其回放误差，因此本文通过对比经典单机流量回放软件Tcpreplay回放效果进行时间精确度验证。对比结果如图 6所示，本文所设计的链路交互式流量回放方法平均误差均小于0.026 ms，与流量回放软件Tcpreplay基本持平，但是Tcpreplay为单机回放，无需考虑链路延时问题，且无法实现在链路中交互回放。

表 1为本文方法与目前主流的回放方法的对比分析。在回放的逼真性方面，Tcpreplay由于是单机回放，在时序的准确性和精确度上要略优于本文方法，但是其无法面向目标网络回放，ITRM和本文方法都是面向虚拟网络回放的，但是其无法保证各回放节点的高精度的同步时钟，且其回放机制是根据第1个报文间隔进行回放，没有考虑到复杂网络环境产生乱序报文的问题。因此，本文设计的链路交互式流量回放方法在回放时间和顺序的精确性上具有一定的逼真性，特别是在复杂网络的情况下，能够满足用户行为仿真对于回放逼真度的需求。

4.2.2 交互式流量链路回放方法多样性验证实验

真实网络中多用户行为具有多样化、大规模并发的特点。因此，多用户行为仿真也应具备大规模实验的能力。为验证本文仿真方法的多样性与规模，在图 4网络场景下设计了基于Web请求、数据库操作、邮件操作3种行为的多用户并发仿真实验，目标网络两端为本文方法创建的3组仿真节点，通过消息队列下发用户仿真配置参数，并进行分布式协同控制。本次仿真规模为36 000个用户，仿真时间设置为315 s，共回放了917 000个报文。具体的行为参数及回放结果如表 2所示。

在保证不丢包和回放的数据包内容与原始报文一致的前提下，表 2结果显示在回放的917 000个数据报文中共产生了66个乱序报文，3种行为仿真准确率均维持在99.99%，回放的精确度能够满足多用户并发行为仿真的逼真需求。

4.2.3 恶意用户行为仿真逼真性验证安全实验

恶意用户行为仿真对于网络安全研究有着重要意义，本文通过重放复现攻击场景进行恶意用户为行为分析。本文用户行为仿真方法亦可构建恶意用户行为模型，根据基于重放攻击的安全实验验证恶意用户行为模型的逼真性。在图 4目标网络中设置了一组通话节点sip_client1与sip_client2，并在中间路由节点添加了一个通信代理服务节点sip_server，该节点集成开源通信代理软件SIPp，对通话进行验证。采用本文行为仿真方法创建恶意用户节点mal_user进行重放攻击，具体攻击流程如下：首先截获sip_client1到sip_server的通话请求流量，构造通话用户行为模型，具体的通话用户模型如表 3所示。然后在恶意用户节点mal_user上进行重放攻击，即在链路2(mal_user- > sip_server)中重放链路1中(sip_client1- > sip_server)的通话请求行为。

本次实验共重放500组用户通话行为，图 7为代理节点sip_server实时统计的通话成功数，图 8为通话节点sip_client2最终显示的通话成功用户数。在图 7中，曲线呈线性增长的趋势符合预设的正常通话速率。实验结果证明，通过恶意节点重放的通话流量能够通过代理服务器的交互验证，并实现与SIP_c2节点上的用户成功通话对正常通话行为进行干扰。该行为仿真方法具有一定的逼真性。

5 结束语

本文通过流量回放的方式进行网络用户行为仿真，提出一种交互式流量链路回放的方法。将回放对象从单个节点扩大到整个目标网络链路，并基于该方法设计一个高逼真大规模的网络用户行为仿真体系。实验结果表明，该方法能够在保证会话顺序与内容的准确性前提下，达到与现有单机回放方法同等的精确性及逼真性。基于该回放方法的网络安全仿真体系具有可行性，其仿真体系可实现灵活构建大规模高逼真的用户行为仿真目标，从而满足基于云平台构建的目标网络注入网络用户行为背景流量的需求。下一步将融合虚实互连技术，研究面向大规模目标网络的高逼真用户行为仿真方法。