0 概述

随着网络技术的快速发展, 互联网已成为人们日常交流的重要工具, 其给人们的生活带来极大帮助的同时, 也可能造成巨大的安全隐患。因此, 网络信息安全检测对于保障人们生活乃至国家安全具有重要意义。入侵检测系统(Intrusion Detection Systems, IDS)^[1-2]的改进日益成为网络安全技术的研究热点。

2014年前, 用于网络入侵检测的机器学习算法主要基于决策树^[3]、贝叶斯网络模型^[4]和支持向量机^[5]实现。2015年, 文献[6-7]将机器学习算法运用在网络入侵检测系统中以提高分类性能, 使系统更加智能和高效, 但其误报率偏高, 准确率有待提高。文献[8]将深度神经网络(Deep Neural Network, DNN)运用到网络入侵检测中, 利用DNN进行数据特征提取, 采用无监督方式训练初始化参数, 以提高检测精度, 但其并没有考虑网络对误报率的影响。文献[9]利用深度学习算法解决人工特征提取耗费大量人力物力的问题, 在识别攻击特征方面实现自动化、智能化, 对发现潜在安全隐患提供极大的帮助, 可提高检测效率, 降低误报率。文献[10]利用公认的KDD99数据集进行实验, 在实验过程中, 运用长短期记忆(Long Short-Term Memory, LSTM)网络完成参数的选取, 取得了较理想的实验效果, 但该方法由于训练参数选用不当导致误报率偏高。文献[11]将深度置信网络(Deep Belief Network, DBN)分类模型运用到网络入侵检测中, 并对其有效性进行验证, 结果表明该方法具有可行性。文献[12]以字节为单位, 将数据流量转换成各个像素点, 得到由流量生成的图片, 然后将图片输入到卷积神经网络(Convolutional Neural Network, CNN)中进行卷积、池化等操作, 最后得到分类结果, 该方法在二分类、多分类问题中取得了较高的准确率。

目前, 网络入侵检测常用的深度学习算法有基于DNN的算法^[13]、基于BP神经网络的算法^[14]、基于CNN的算法、基于循环神经网络(Recurrent Neural Network, RNN)的算法和基于DBN的算法。深度学习方法与传统机器学习方法相比在检测性能上有较大提升, 但其还存在一些不足^[15]。在特征提取方面, 虽然CNN能够学习到时间或空间局部特征, 避免人工提取过程, 但是其缺乏学习序列相关性的能力, 因此无法解决较长信息的长期依赖问题。LSTM特征提取的准确率较高, 能够解决长期依赖问题, 但其误报率偏高, 并且由于LSTM只能读取一个方向的序列数据, 不能充分考虑之后的属性信息的影响。在特征学习方面, 深度学习算法未能解释特征和类别标签的相关性。在自适应性方面, 如何在不降低准确率和不提高误报率的情况下让模型具有自适应更新的能力, 还有待进一步研究。此外, 注意力机制^[16-17]算法在自然语言处理、文本分类等领域中应用较多, 并且可取得良好的分类效果, 但其很少应用于网络入侵检测。

本文设计一种融合CNN和双向长短期记忆网络的模型CNN-BiLSTM, 并引入注意力机制。通过CNN抽取属性信息的平行局部特征, 利用双向LSTM提取长距离依赖信息的特征, 以充分考虑前后属性信息之间的影响, 最后应用注意力机制计算各属性特征的重要性。

1 相关工作 1.1 基于CNN的网络入侵检测方法

在网络入侵检测领域, CNN是一种分层模型, 在抽取局部特征方面具有良好的性能。典型的CNN模型通常由输入层、卷积层、池化层、全连接层4个部分组成, 其网络架构融合了局部感受野、共享权重以及空间或时间采样3种思想, 这使其在处理具有统计平稳性和局部关联性的数据时, 具有独特的优势。基于CNN的网络入侵检测系统的原理框图如图 1所示。

基于CNN的网络入侵检测系统的工作流程可分为4个步骤:

步骤1  对入侵检测数据集中的每条记录进行预处理, 使得其数据类型格式能作为CNN模型的输入。

步骤2  将处理好的数据输入到CNN的输入层, 然后卷积层对其进行卷积操作, 以精确提取每条记录的特征信息。

步骤3  池化层将小邻域内的特征点进行整合处理, 从而得到新的特征, 池化操作的目的是加快网络训练速度, 常用的方法有平均池化和最大池化^[18]。本文采用最大池化的方法对邻域内的特征点取最大值。

步骤4  通过全连接层将数据输入到softmax分类器中对入侵类型进行分类。

基于CNN的网络入侵检测方法在分类精度方面优于传统方法, 能够准确提取局部特征信息。然而, 该方法在学习序列相关性信息方面依然有所欠缺, 无法解决长期依赖问题, 其精确率有待提升。

1.2 基于LSTM的网络入侵检测方法

RNN擅长处理序列数据, 但其在训练过程中会出现梯度消失、梯度爆炸^[19]以及长期依赖的问题, 而LSTM模型中的长短期记忆模块可以解决RNN引发的长期依赖问题^[20]。长短期记忆模块是在RNN模型中的隐藏层增加3个门(遗忘门、输入门、输出门)和1个细胞状态更新, 如图 2所示。

遗忘门对上一层细胞状态进行筛选, 留下有用信息并遗忘无用信息, 计算公式如下:

$ \boldsymbol{f}_{t}=\sigma\left(\boldsymbol{w}_{f} \cdot\left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_{t}\right]+\boldsymbol{b}_{f}\right) $

(1)

其中, w_f和b_f分别是遗忘门的权重矩阵和偏置项, h_t－1为上层LSTM的输出值, σ为sigmoid激活函数, [, ]表示把2个向量连接成一个向量。

输入门对信息进行重要性判断, 将重要信息送入细胞状态更新处, 完成对细胞状态的更新。该过程由2个部分组成, 第1部分利用sigmoid函数确定需加入细胞状态的新信息, 第2部分应用tanh函数生成一个新的候选向量, 计算过程如式(2)所示。

$ \left\{\begin{array}{l}{\boldsymbol{f}_{t}=\sigma\left(\boldsymbol{w}_{i} \cdot\left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_{t}\right]+\boldsymbol{b}_{i}\right)} \\ {\tilde{\boldsymbol{c}}_{t}=\tanh \left(\boldsymbol{w}_{c} \cdot\left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_{t}\right]+\boldsymbol{b}_{c}\right)}\end{array}\right. $

(2)

其中, w_i和b_i为输入门的权重和偏置, w_c和b_c是细胞状态的权重和偏置。经过以上处理, 便将原细胞状态c_t－1更新为当前细胞状态c_t, 公式如式(3)所示。

$ \boldsymbol{c}_{t}=\boldsymbol{f}_{t} * \boldsymbol{c}_{t-1}+\boldsymbol{i}_{t} * \tilde{\boldsymbol{c}}_{t} $

(3)

其中, *表示元素乘运算, f_t*c_t－1表示删除信息, $ {\mathit{\boldsymbol{i}}_t}*{\mathit{\boldsymbol{\widetilde c}}_t} $表示新添信息。

输出门对该层细胞状态进行输出控制, 决定哪些细胞状态输入到下一层, 计算公式如式(4)所示。

$ \left\{\begin{array}{l}{\boldsymbol{o}_{t}=\sigma\left(\boldsymbol{w}_{o} \cdot\left[\boldsymbol{h}_{t-1}, \boldsymbol{x}_{t}\right]+\boldsymbol{b}_{o}\right)} \\ {\boldsymbol{h}_{t}=\boldsymbol{o}_{t} * \tanh \left(\boldsymbol{c}_{t}\right)}\end{array}\right. $

(4)

基于LSTM的网络入侵检测方法首先将原始的检测数据集进行数值化、标准化和归一化处理, 然后将预处理后的数据集输入到训练好的LSTM模型中, 最后将LSTM模型的结果输入到softmax分类器中得到分类结果。该方法在处理序列数据时, 虽然可以提取更全面的特征并提高网络入侵检测的准确率, 但其误报率较高。

2 CNN-BiLSTM模型结构

为优化网络入侵检测系统, 提高准确率并降低系统误报率, 本文使用one-hot对KDDcup99数据集进行预处理。利用CNN提取局部平行特征, 以获得更全面的局部特征。为解决各属性特征点的前、后特征对该属性特征点的影响, 采用由4个记忆模块构成的BiLSTM模型提取长距离依赖特征, 每个模块由2个细胞的拓扑结构构成。最后, 利用注意力机制对各属性特征的重要性进行计算, 通过softmax分类器获得分类结果, 以提高准确率, 降低误报率。本文算法的原理框图如图 3所示。

引入注意力机制的CNN-BiLSTM模型结构主要由预处理层、记录表示层、卷积层、BiLSTM层、注意力机制层和softmax层组成, 结构如图 4所示。

2.1 预处理层

预处理层将KDDcup99数据集符号型特征转化为数值型特征, 然后进行标准化、归一化处理, 具体过程分为3步。

1) 用one-hot方法对KDDcup99数据集进行处理, 将符号性特征转化为数值型特征。

2) 对数值型特征进行标准化, 如式(5)~式(7)所示。

$ {r_{ij}^\prime = \frac{{{r_{ij}} - AV{G_j}}}{{STA{D_j}}}} $

(5)

$ {AV{G_j} = \frac{1}{n}\left( {{r_{1j}} + {r_{2j}} + \cdots + {r_{nj}}} \right)} $

(6)

$ {STA{D_j} = \frac{1}{n}\left( {\left| {{r_{1j}} - AV{G_j}} \right| + \left| {{r_{2j}} - AV{G_j}} \right| + \cdots + } \right.}\\{\left. {\left| {{r_{nj}} - AV{G_j}} \right|} \right)} $

(7)

其中, r_ij为预处理后的数值特征, 标准化后的值为r′_ij, AVG_j为平均值, STAD_j表示平均绝对偏差。若AVG_j=0, 则r′_ij=0;若STAD_j=0, 则r′_ij=0。

3) 归一化处理。将标准化后的数值归一化到[0, 1]区间, r′_ij归一化后的值为r′′_ij, 计算公式如式(8)所示。

$ \left\{\begin{array}{l}{r_{i j}^{\prime \prime}=\frac{r_{i j}^{\prime}-r_{\min }}{r_{\max }-r_{\min }}} \\ {r_{\max }=\max \left\{r_{i j}^{\prime}\right\}}\end{array}\right. $

(8)

2.2 记录表示层

预处理后的一个记录序列表示为s=[r₁, r₂, …, r_n], 作为CNN-BiLSTM网络模型的输入, v_rn是s中r_n的嵌入表示, 分别对每条记录进行嵌入表示, 得到V_s=v_r1, v_r2, …, v_rn」。

2.3 卷积层

卷积层对V_s进行卷积操作, 根据式(9)得到新的特征h_i^d。

$ \boldsymbol{h}_{i}^{d}=f\left(\boldsymbol{w}_{d} \cdot \boldsymbol{V}_{i}+\boldsymbol{b}_{d}\right) $

(9)

其中, f为ReLU函数。对于V_s中记录的具体特征V_i进行卷积操作, 为提取更加全面的局部特征, 设置d个不同大小的卷积核分别对V_i进行特征提取, w_d表示卷积核大小为d, b_d为偏置。当特定卷积核完成V_s中的所有特征卷积之后, 输出特征H_d, 计算公式如式(10)所示。

$ \boldsymbol{H}_{d}=\left\lfloor\boldsymbol{h}_{1}^{d}, \boldsymbol{h}_{2}^{d}, \cdots, \boldsymbol{h}_{n-d_{r}+1}^{d}\right\rfloor $

(10)

将所有卷积核大小的卷积操作得到的特征H_d进行叠加, 得到特征序列H_s=h₁, h₂, …, h_n－dr+1」。

2.4 池化层

得到特征序列H_s以后, 对其进行池化操作, 本文采用平均池化的方法, 具体过程如式(11)所示。

$ \boldsymbol{p}^{d M}=\text { chunkAve }\left\{\boldsymbol{H}_{d}\right\}=\left\lfloor\boldsymbol{h}_{m_{1}}^{d}, \boldsymbol{h}_{m_{2}}^{d}, \cdots, \boldsymbol{h}_{M}^{d}\right\rfloor $

(11)

预先给定一个块数M, 将H_d划分成M个小块, 将每个小块中的平均值进行拼接, 由此得到一个特征向量p^dM, 其长度为M, 对全部模块的平均值进行拼接得到P_s=p_m1, p_m2, …, p_M」。其中, p_mi是第m_i个小块平均池化后得到的向量。

2.5 BiLSTM层

为获得长距离依赖特征, 将P_s输入到BiLSTM模型中。该模型由2个方向上的LSTM模块连接而成, 具有多个共享权值。在每个时间步上, BiLSTM模块的输出由遗忘门(f_t)、输入门(i_t)、输出门(o_t)和一个细胞状态更新共同控制, 每个门都由前一模块的输出b_t－1和当前时刻的输入p_t表示, 3个门共同工作来完成对属性信息的选择、遗忘和细胞状态的更新。在时间步t上, 利用BiLSTM模块的正向和反向部分对p_t进行特征提取, 具体如式(12)、式(13)所示。

$ \text {正向 LSTM } \Rightarrow\left\{\begin{array}{l}{\boldsymbol{i}_{t}=\sigma\left(\boldsymbol{w}_{i} \cdot\left[\boldsymbol{h}_{t-1}, \boldsymbol{p}_{t}\right]+\boldsymbol{b}_{i}\right)} \\ {\boldsymbol{f}_{t}=\sigma\left(\boldsymbol{w}_{f} \cdot\left[\boldsymbol{h}_{t-1}, \boldsymbol{p}_{t}\right]+\boldsymbol{b}_{f}\right)} \\ {\boldsymbol{q}_{t}=\tanh \left(\boldsymbol{w}_{q} \cdot\left[\boldsymbol{h}_{t-1}, \boldsymbol{p}_{t}\right]+\boldsymbol{b}_{q}\right)} \\ {\boldsymbol{o}_{t}=\sigma\left(\boldsymbol{w}_{o} \cdot\left[\boldsymbol{h}_{t-1}, \boldsymbol{p}_{t}\right]+\boldsymbol{b}_{o}\right)} \\ {\boldsymbol{c}_{t}=\boldsymbol{f}_{t} * \boldsymbol{c}_{t-1}+\boldsymbol{i}_{t} * \boldsymbol{q}_{t}} \\ {\boldsymbol{b}_{t}=\boldsymbol{o}_{t} * \tanh \left(\boldsymbol{c}_{t}\right)}\end{array}\right. $

(12)

$ \text {反向 LSTM } \Rightarrow\left\{\begin{array}{l}{\boldsymbol{i}_{t}=\sigma\left(\boldsymbol{w}_{i} \cdot\left[\boldsymbol{h}_{t+1}, \boldsymbol{p}_{t}\right]+\boldsymbol{b}_{i}\right)} \\ {\boldsymbol{f}_{t}=\sigma\left(\boldsymbol{w}_{f} \cdot\left[\boldsymbol{h}_{t+1}, \boldsymbol{p}_{t}\right]+\boldsymbol{b}_{f}\right)} \\ {\boldsymbol{q}_{t}=\tanh \left(\boldsymbol{w}_{q} \cdot\left[\boldsymbol{h}_{t+1}, \boldsymbol{p}_{t}\right]+\boldsymbol{b}_{q}\right)} \\ {\boldsymbol{o}_{t}=\sigma\left(\boldsymbol{w}_{o} \cdot\left[\boldsymbol{h}_{t+1}, \boldsymbol{p}_{t}\right]+\boldsymbol{b}_{o}\right)} \\ {\boldsymbol{c}_{t}=\boldsymbol{f}_{t} * \boldsymbol{c}_{t+1}+\boldsymbol{i}_{t} * \boldsymbol{q}_{t}} \\ {\boldsymbol{b}_{t}=\boldsymbol{o}_{t} * \tanh \left(\boldsymbol{c}_{t}\right)}\end{array}\right. $

(13)

其中, σ是sigmoid激活函数, tanh为双曲正切函数, *为元素乘运算, i_t是对输入信息进行选择操作, 控制信息的输入过程, f_t是对前一模块需要被遗忘的信息进行遗忘操作, 控制信息遗忘过程, c_t用来判断哪些信息应该存储到当前细胞状态, 对信息的存储进行控制, o_t则是输出门对输出信息进行选择, 控制输出信息。

在时间步t上, BiLSTM层最终输出的特征向量P_t为:

$ {\mathit{\boldsymbol{P}}_t} = \left[ {{\rm{正向}}\;{\rm{LSTM, 反向}}\;{\rm{LSTM}}} \right] $

(14)

2.6 注意力机制层

为提高分类精度, 将BiLSTM的结果输入到注意力机制层, 处理过程如式(15)~式(17)所示。

$ {\mathit{\boldsymbol{u}}_t} = \tanh \left( {{\mathit{\boldsymbol{W}}_w}{\mathit{\boldsymbol{P}}_t} + {\mathit{\boldsymbol{b}}_w}} \right) $

(15)

$ {\mathit{\boldsymbol{a}}_t} = {\mathop{\rm softmax}\nolimits} \left( {\mathit{\boldsymbol{u}}_t^{\rm{T}}, {\mathit{\boldsymbol{u}}_w}} \right) $

(16)

$ \mathit{\boldsymbol{v}} = \sum {{\mathit{\boldsymbol{a}}_t}} {\mathit{\boldsymbol{P}}_t} $

(17)

其中, u_t是P_t的属性表示, W_w为上下文向量, 其在训练过程中随机生成, a_t为重要性权重, v表示对P_t进行重要性加权求和得到的高级表示。

最后, 将注意力机制层的输出结果v输入到softmax分类器中, 得到分类结果。

CNN-BiLSTM模型具有如下特点:

1) 采用one-hot预处理方法, 将符号特征转化为数值特征, 相比其他预处理方法, 可提高转化效率。

2) 利用CNN模型对于局部平行特征提取的优势, 对属性特征进行提取操作, 解决局部特征丢失的问题。

3) 基于LSTM处理长序列数据的优势, 采用BiLSTM模型对长距离依赖特征进行特征提取, 考虑序列数据中每个属性点的前后属性对特征提取的影响, 从而达到降低网络入侵检测误报率的目的。

4) 引入注意力机制对各属性特征的重要性进行计算, 对重要特征给予更多关注, 从而得到更好的入侵检测效果。

3 实验结果与分析 3.1 实验数据集与环境

在网络入侵检测领域, 可用于训练深度学习算法的数据集较少, 本文选用KDDcup99数据集进行训练。KDDcup99数据集含有5种攻击类型, 分别是DoS、Normal、Probe、R2L和U2R。数据包含41个固定特征属性和1个类别标识, 用类别标识表示记录是否异常。KDDcup99有500万条记录, 用全部数据的10%作为测试和训练子集, 本文实验数据的具体信息如表 1、表 2所示, 实验环境配置如表 3所示。

3.2 实验评价指标与超参数分析

本文采用训练的准确率(AC)及误报率(FA)作为实验效果的评价标准, 具体如下:

$ AC=\frac{正确分类的样本数目}{总样本数}\times 100\% $

(18)

$ FA=\frac{被误报为入侵的正常样本数}{正常样本数}\times 100\% $

(19)

本文从3个方面分析各种因素对检测效果的影响:

1) 输入维度对检测性能的影响

不同的输入维度会对实验性能产生影响, 为了寻找合适的输入维度, 本文设置8组不同的数值来观察其对实验效果的影响。将输入维度设为10~220, 步长为30, 实验结果如图 5所示。

由图 5可以看出, 当输入维度为10~130时, 准确率呈上升趋势, 当输入维度为130时, 准确率最高, 与输入维度为100时的准确率相差极小, 当输入维度为130~220时, 准确率呈下降趋势。在误报率方面, 当输入维度为10~100时, 误报率呈下降趋势, 当输入维度为100时, 其误报率最低, 为12.51%, 当输入维度为100~220时, 误报率呈上升趋势。综合考虑实验准确率与误报率, 当维度为100时, 准确率较高, 误报率最低; 当维度为130时, 准确率最高但误报率也高, 因此, 本文数据的输入维度设为100。

2) 卷积核大小对检测性能的影响

卷积核大小会直接影响特征提取的质量, 卷积核大小不合适会导致特征提取不全。为研究卷积核大小对检测性能的影响, 本文设置6个不同大小的卷积核, 分别为1~6, 实验结果如图 6所示。

由图 6可知, 卷积核大小对准确率的影响较明显, 当卷积核大小为3时, 准确率最高, 卷积核继续增大, 其准确率反而下降, 因此, 卷积核不宜过大。卷积核大小对误报率的影响相对较小, 并且当卷积核大小为3时, 其误报率最低。综上, 当卷积核大小为3时, 取得的实验效果较好。

3) LSTM的记忆模块对检测性能的影响

LSTM的记忆模块是LSTM模型的核心, 在处理长距离依赖信息的过程中起着至关重要的作用, 其可决定记录信息中的特征是否遗忘, 合适的记忆模块会改善误报率偏高的现象。为了找到最适合本文方法的LSTM结构, 设置5种不同的LSTM拓扑结构并进行对比实验, 其具体信息如下:

(1) 1个记忆模块, 每个模块有1个细胞;

(2) 2个记忆模块, 每个模块有2个细胞;

(3) 4个记忆模块, 每个模块有2个细胞;

(4) 4个记忆模块, 每个模块有4个细胞;

(5) 8个记忆模块, 每个模块有4个细胞。

5种LSTM拓扑结构的实验结果如图 7所示。可以看出, 由于LSTM可控制一些特征是否遗忘, 因此其拓扑结构对误报率的影响较大。当记忆模块数为1且各模块细胞数为1时, 准确率最低; 当记忆模块数为2且各模块细胞数为2时, 误报率最高; 当记忆模块数为4且各模块细胞数为2时, 误报率最低, 准确率也较理想。综上, 当记忆模块数为4且各模块细胞数为2时, 取得最佳的实验结果。

3.3 与其他检测方法的比较

本文将CNN-BiLSTM方法与单纯基于CNN的方法、基于LSTM的方法进行对比, 3种方法对于5种不同攻击类型的分类准确率的结果对比如图 8所示。

由图 8可以看出, 基于LSTM的方法的准确率高于基于CNN的方法, 证明与CNN相比, LSTM方法具有处理长距离依赖信息的优势。本文CNN-BiLSTM方法对于DoS、Normal、Probe、U2R和R2L这5种攻击类型的检测准确率分别为95.0%、94.3%、93.8%、93.1%和91.5%, 均高于其他2种方法, 证明了该方法的有效性。3种方法在误报率方面的实验结果如图 9所示。

由图 9可知, 与基于CNN和基于LSTM的方法相比, 本文CNN-BiLSTM方法的误报率较低, 对于DoS、Normal、Probe、U2R和R2L这5种攻击类型的误报率分别为5.1%、6.5%、6.0%、6.9%和7.4%。

4 结束语

本文提出一种融合CNN和BiLSTM的网络入侵检测方法。通过CNN提取局部平行特征, 弥补局部特征提取不全的问题。利用BiLSTM提取长距离依赖特征, 从而更好地考虑序列数据中每个属性点的前后属性的影响, 降低误报率。引入注意力机制, 加大重要特征权重并减小次要特征权重, 以提高检测性能。实验结果表明, 与基于CNN和基于LSTM的方法相比, 该方法的准确率较高、误报率较低。下一步将使用深度学习模型, 如DBN、DNN等, 改善特征学习的性能, 或者从网络的自适应角度入手, 在提高网络入侵检测准确率的同时, 加快训练速度。