开放科学（资源服务）标志码（OSID）：

0 概述

信息技术水平的提高使得计算模式由最初集中交付式发展为云计算模式^[1]，云计算^[2]是新一轮IT革命的标志性成果，已经成为社会创新发展的战略性关键技术和平台。作为云计算物理承载基础的数据中心，近年来其不论在规模还是数量上都得到了快速发展，并已被相关行业广泛采用，但是，数据中心中的许多问题尚未得到完全解决，行业应用中仍面临各种问题和挑战^[3-4]，这些问题集中体现在2个方面，一是数据中心给运营商带来了日益庞大的电力开销，相关统计结果表明^[5]，2014年美国数据中心电能消耗总量占据全美全年总耗电量的1.8%，预计到2020年，全球数据中心耗电量将占到当年全球总耗电量的8%^[6]；二是大型数据中心给社会带来了沉重的环保压力，全球环保组织(GeSI)估计，到2020年数据中心温室气体排放总量将占到IT领域总排放量的18%^[7]。因此，在提供高质量服务的同时如何降低数据中心对资源的消耗以及对环境的负面影响，成为近年来学术界和工业界广泛关注的焦点。

目前，常见的降低数据中心能耗的措施是根据数据中心当前负载情况进行硬件资源调度，使得数据中心在保证服务质量的前提下尽可能高效使用硬件资源，将空转服务器进行休眠或者关机从而降低能耗。由于到达数据中心的任务量是一个随机值，随时都在发生变化，因此主机负载也在不断变化，准确预测负载就成为降低数据中心硬件资源消耗的关键所在。

与传统的网格系统或HPC相比^[8]，承载云计算的数据中心任务提交频率较高，且任务长度大约只有网格计算任务长度的$ \left[\frac{1}{20}, \frac{1}{2}\right] $。因此，云计算数据中心在任务调度和资源分配方面更加灵活，从而导致主机负载具有噪声高和波动大的特点。另外，由于不同数据中心所承载的任务不同，其主机负载波动情况和影响主机负载的主要因素也都不同。研究结果表明^[9-11]，在网格系统中表现良好的主机负载预测方法很难在云计算数据中心中获得较好的精度。文献[12-13]中的模型虽然能够在具体数据中心中获得一个较高的准确度，但在不同数据中心中仍然需要对模型进程重新训练。因此，设计一个能自适应具体数据中心特点的在线学习模型具有重要意义。

本文建立一种基于深度循环神经网络编码器-解码器(GRU-ED)的多步在线预测模型。设计一个监控模块，对在线模型输出进行实时监控，从而及时调整学习速率并回滚到历史状态。利用实际数据中心所监控的数据进行实验，以验证多步在线预测模型的可行性。

1 相关工作

准确预测主机负载在诸如动态资源分配、虚拟机调度和能耗管理等方面具有重要意义，因此，近年来很多学者对主机负载预测进行了研究。主机负载预测主要分为单步预测和多步预测，多步预测指通过一段给定的历史信息一次性预测未来的多个主机负载值，从而避免使用多次迭代所造成的误差累计。

针对传统网格系统或HPC系统，有很多有效的主机预测方法。文献[9]提出一种在网格系统中基于马尔科夫模型的单步主机负载预测方法。文献[11]建立一种基于卡尔曼滤波和自回归的多步预测模型，其能够预测未来多步主机负载。文献[10]将人工神经网络(ANN)应用于主机负载预测任务，与线性模型和基于趋势的模型相比，ANN将主机负载预测的误差和标准差分别降低了60%和70%。

与网格系统相比，数据中心的任务请求更加频繁且任务长度更短，主机负载具有更大的波动，导致基于传统网格系统的主机负载预测方法很难在数据中心环境中取得较好的预测性能。如文献[14]提出的线性回归模型、文献[15]提出的差分整合移动平均自回归模型(ARIMA)等，均无法从历史负载数据中提取足够的特征信息，导致预测精度较低。

近年来，数据中心中主机负载预测取得了很多成果。文献[16]提出一种基于支持向量机(SVM)的预测模型，该模型利用混合遗传算法和粒子群算法来选择最优参数，从而训练得到一个性能较好的预测模型。文献[17]提出一种混合模型HARMA-E，其使用ARMA模型实现预测，然后使用ENN模型对ARMA模型的误差进行预测，最终得到一个修正误差之后的预测值，但是在实际使用中，ENN可能会出现梯度消失或梯度爆炸问题而导致算法性能不稳定。文献[18]提出一种基于朴素贝叶斯的预测模型，为了能够充分刻画主机负载波动程度，该文设计9个用来描绘主机负载波动的特征。但是，该模型并未充分考虑历史信息对当前负载可能产生的影响，并且手动设计的特征很难真正刻画主机负载的实际波动情况，因此，该模型实际中只使用了其中的2个特征进行训练。文献[19]提出一种基于ESN(Echo State Network)的多步主机负载预测方法，ESN的基本思想是使用随机、大型且稀疏的动态矩阵作为非线性高维扩展并同时对输入进行长期存储。文献[12]提出基于长短期记忆(LSTM)网络的负载预测模型，其大幅提升了模型在多步预测中的性能。

以上研究都重点关注离线模型训练，即已经存在足够多的训练数据，通过改变模型架构或设计新的预测方法来提升预测精度。然而，不同数据中心所承担的任务特征不同，例如计算密集型和IO密集型数据中心所采用的硬件存在区别，同时，位于不同地点的数据中心也会受到物理环境的影响，如气候、海拔等。因此，不存在一种在所有数据中心中都通用的预测模型，同一个模型在不同数据中心中进行切换往往需要重新训练。此外，离线模型所有训练工作都在线下完成，需要事先采集到足够多的历史数据，但由于数据中心长时间运行，导致影响数据中心主机负载的因素有很多，如季节、年份、硬件损耗程度等，这些因素都需要模型具有一定的自适应性，自动调节模型参数以适应变化的环境。

为解决上述问题，本文设计一种基于深度循环神经网络编码器-解码器的多步在线预测模型。使用编码器来学习序列历史信息，利用在线学习特性使得模型可以在进行简单预训练之后部署到数据中心，利用数据中心实时数据对模型进行快速调整以适应数据中心的特定环境。此外，模型使用解码器对序列进行预测，利用GRU降低计算复杂度，并设计一个实时监控模块对模型预测结果进行评估，灵活调整模型学习率并在必要时使得模型回滚到历史状态。

2 数据中心主机负载多步在线预测模型 2.1 模型框架

如图 1所示，在线预测模型主要包含历史负载信息、预训练模型、负载采集系统、在线模型和监控系统5个相关模块。历史负载信息是用于预训练的少量数据中心主机负载信息。预训练模型是通过少量负载信息进行训练的通用预测模型，预训练在线部署后成为在线模型。负载采集系统是数据中心主机负载采集模块，用来采集并存储主机相关负载信息，并将处理后的信息实时传递给在线模型。监控模块对在线模型输出进行实时评估，并对在线模型做出相应调整。

给定一段历史负载信息，通过一个循环神经网络(RNN)输出下一个时间点或多个时间点的负载信息。其中，历史负载信息被固定为相同大小，预测值可以是未来一个或多个时间点的负载值或未来一段时间的平均值。为了更好地刻画主机负载的历史信息，本文设计一个循环门单元-编码器解码器(GRU-ED)模型，其结构如图 2所示。

2.2 循环神经网络

本文所使用的GRU和文献[12]所使用的LSTM同属于循环神经网络(RNN)。本质上而言，与主机负载相关的信息是一个多维时间序列，序列中每个点的维度与所使用的特征个数相关，如果仅使用历史负载信息，则每个点的维度为1；如果在使用历史负载信息的同时也使用CPU和内存信息，则每个点的维度为3。假设一个长度为$ t $的历史信息为$ ({x}_{n-t+1}, {x}_{n-t+2}, \cdots , {x}_{n}) $，其中$ ，{x}_{n} $表示当前时间点的负载信息，则经过GRU神经网络之后的m个预测值为$ ({\widehat{x}}_{n+1}, {\widehat{x}}_{n+2}, \cdots , {\widehat{x}}_{n+m}) $。传统的多层感知机模型(MLP)的目标是找到一个函数$ f $，使得：

$ \left({\widehat{x}}_{n+1}, {\widehat{x}}_{n+2}, \cdots , {\widehat{x}}_{n+m}\right)=f({x}_{n-t+1}, {x}_{n-t+2}, \cdots , {x}_{n}) $

(1)

不同的历史负载信息将影响负载预测结果，因此，使用MLP对未来负载进行预测很难达到理想效果。RNN在不同历史节点之间使用共享参数，并使用一个隐藏层记录历史信息，使得模型可以通过优化算法针对不同历史信息选择不同权重。

图 3所示为RNN结构，其中，$ {x}_{t} $指第$ t $个时间的负载信息，其作为模型输入，$ {h}_{t} $是隐藏信息，可以通过模型传递给后面的输入，$ {o}_{t} $指$ t $时刻的输出，$ W\mathrm{、}U\mathrm{、}V $均为模型参数。

RNN模型前向传播的公式如下：

$ {h}_{t}=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(W{h}_{t-1}+U{x}_{t}) $

(2)

$ {o}_{t}=V{h}_{t} $

(3)

RNN在不同历史节点之间使用共享参数$ (W, U, V) $，使得模型可以处理长度变化的输入，此外，使用共享参数可以减少参数总数，使得模型具有更好的泛化能力。

在一般情况下，可以使用BPTT(Backpropagation Through Time)^[20]算法对RNN进行训练。然而，传统的RNN在序列达到一定长度时会出现梯度消失或梯度爆炸问题，导致信息不能很好地向前传递。

2.3 循环门单元GRU

本文选择GRU代替传统RNN作为训练模型。与传统RNN模型相比，GRU使用不同的Cell替代$ \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h} $函数，在GRU Cell中使用门限机制避免长序依赖中的梯度消失问题。在增加门限机制之后，历史信息能够以类似线性组合的方式提供给当前节点，模型通过学习不同历史节点之间的线性组合可以自动选择要记住的历史信息长度。因此，相较于传统RNN，GRU可以记住更长的信息，并且GRU Cell与LSTM相比少了一个门限结构，可以减少训练所需的计算资源。图 4所示为GRU Cell结构。

与RNN类似，GRU当前节点的输出是由输入和蕴含历史信息的隐藏状态生成的。但是，由于增加了门限，因此历史信息$ {h}_{t-1} $能够更好地向前传递。GRU前向传播公式如下：

$ {r}_{t}=\sigma ({W}_{ir}{x}_{t}+{b}_{ir}+{W}_{hr}{h}_{t-1}+{b}_{hr}) $

(4)

$ {z}_{t}=\sigma ({W}_{iz}{x}_{t}+{b}_{iz}+{W}_{hz}{h}_{t-1}+{b}_{hz}) $

(5)

$ {n}_{t}=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}({W}_{in}{x}_{t}+{b}_{in}+{r}_{t}\otimes ({W}_{hn}{h}_{t-1}+{b}_{hn}\left)\right) $

(6)

$ {h}_{t}=(1-{z}_{t})\otimes {n}_{t}+{z}_{t}\otimes {h}_{t-1} $

(7)

其中：$ {r}_{t} $被称作复位门，用来控制历史信息对当前节点信息的影响程度。由式(6)容易得到，当$ {r}_{t}\to 0 $时历史信息$ {h}_{t-1} $对当前节点信息$ {n}_{t} $的影响可以忽略，而当$ {r}_{t}\to 1 $时历史节点信息对当前节点信息$ {n}_{t} $的影响最大。$ {z}_{t} $被称作更新门，用来控制历史信息传递到未来节点的信息量，由式(7)容易得到，当$ {z}_{t}\to 0 $时历史信息不能被传递到未来，而当$ {z}_{t}\to 1 $时会尽可能多地传递历史信息。

图 5所示为编码器-解码器模型结构，其中，Encoder是编码器，用来学习完整的历史表示，通过训练可以选择要学习的历史信息，编码器的输出$ {h}_{t} $代表了学到的完整的主机负载历史信息；Decoder是解码器，将过去一段完整的历史信息$ {h}_{t} $作为输入，通过解码器来预测未来一段时间的主机负载信息。通过使用2个RNN层避免了文献[12]中不能充分利用历史信息的问题，在实验中也验证了这一结论。

2.4 在线模型监控系统

本文设计一个在线模型监控系统，用以实时监控模型预测性能，根据预测模型的预测性能及时调整模型学习率，并对模型历史快照进行定时存储，在必要时将模型回滚到某个历史快照。

本文采用滑动平均值作为判定模型当前预测性能的指标，滑动平均值表达式如下：

$ {v}_{t}=\beta {v}_{t-1}+\left(1-\beta \right){\theta }_{t} $

(8)

其中：$ {v}_{t} $是$ t $时刻的滑动平均值；$ \beta \in \left[\mathrm{0, 1}\right) $是权重下降程度；$ {\theta }_{t} $是$ t $时刻的实际值。式(8)所求是$ \frac{1}{1-\beta } $个时间点的均值，因此，$ \beta $也可认为是监控的预测长度。式(8)中的$ {\theta }_{t} $取$ t $时刻模型的预测值$ {\widehat{y}}_{t} $和真实值$ {y}_{t} $差的平方，则式(8)可以表示为：

$ {v}_{t}=\beta {v}_{t-1}+\left(1-\beta \right){\left({\widehat{y}}_{t}-{y}_{t}\right)}^{2} $

(9)

在系统中设置一个可接受的阈值$ h $和表示监控长度的$ \beta $，$ h $和$ \beta $会根据不同数据中心或不同应用场景设置不同值，可通过统计历史负载数据结果选择一个适合特定系统的$ h $和$ \beta $，例如，$ h $可设置为与观测值相差5%的一个值，$ \beta $可以通过设定不同值来观察得到一个较优值。在系统运行时，模型输出$ {\widehat{y}}_{t} $和真实主机负载$ {y}_{t} $不断传递给监控模块，监控模块在收到预测模块数据之后，根据式(9)计算$ {v}_{t} $，如果$ {v}_{t}\le h $，认为模型性能良好，不做任何处理；如果$ {v}_{t}>h $，则对模型进行反馈，设置一个更大的学习率，使得模型可以尽快适应环境的变化；如果$ {v}_{t} $远远超过$ h $，并且在经过多次反馈预测结果后仍然不能达到理想的预测精度，则可以将模型回滚到某个历史快照或对模型参数进行重置以达到快速重置模型的目的。采用上述3种不同的粒度反馈机制，可以对模型输出进行实时监控，使模型具备一定的自适应能力。

3 实验结果与分析 3.1 实验数据集

本次实验采用Google于2011年开源的数据中心监控数据集^[13]，该数据集记录了超过12 000台服务器在一个月内的详细使用情况，其中包含超过2.5×10⁷个任务的提交时间和完成时间以及主机在此期间的详细使用情况。和其他预测方法类似^{[12, 18]}，本文实验将第1天~第20天的数据作为训练集，第21天~第26天的数据作为验证集，剩下的数据作为测试集。其中，训练集用来训练模型参数，验证集用来选择模型超参数和防止过拟合发生，当选择好模型超参数之后，训练集和验证集一起训练最终的模型，测试集用来检验模型性能。Google所开源的数据中心数据包含CPU利用率、内存利用率、磁盘利用率等在内的18项监控数据。为了与其他模型作比较，本文只采用主机CPU利用率历史监控信息，并且只对主机负载进行预测。图 6所示分别为Google数据中心29 d和12 h的主机负载信息，通过图 6能够看出，相较于传统网格系统，数据中心主机负载具有较大的方差和噪音。

3.2 实验环境

本文使用Pytorch构建模型，CPU为Intel^® Xeon^® Silver 4110，GPU为二路NVIDIA GeForce GTX 1080Ti (11 GB)，内存32 GB，在Ubuntu 16.04.10环境下进行实验，将本文所提模型与ESN模型以及当前最优的LSTM模型进行对比。

3.3 结果分析

实验对Google数据中心中的12 000台机器进行随机采样，选取其中的1 024台机器进行实验，对未来多步进行负载数值预测。与其他模型相同，本文模型采用MSE(Mean Square Error)评估预测结果，MSE具体计算公式如下：

$ {M}_{\mathrm{M}\mathrm{S}\mathrm{E}}=\frac{1}{N}\sum \limits_{i=1}^{N}({o}_{i}-{y}_{i}{)}^{2} $

(10)

其中：$ N $是样本个数；$ {o}_{i} $和$ {y}_{i} $分别是模型预测结果和主机真实负载。图 7所示为本文模型在不同隐藏层层数下的MSE变化，可以看出，当隐藏层层数增加时模型性能下降，这是由于随着模型隐藏层层数的增加，模型复杂度提升，导致出现过拟合现象。因此，本文后续实验中设置隐藏层层数为1。

图 8所示为GRU-ED、LSTM、ESN 3种模型在不同预测步长下的MSE情况。从图 8可以看出，随着预测步长的增加，模型性能有所下降，但本文GRU-ED模型性能较传统LSTM和ESN模型有一定提升，原因是本文所使用的编码器-解码器模型能够更好地刻画历史数据的波动情况以及主机历史负载情况。

4 结束语

本文构建一种基于深度循环神经网络编码器-解码器的多步在线预测模型，该模型采用一定长度的主机负载历史信息实时预测未来多步主机负载值，并通过真实数据中心主机负载数据验证其可行性。实验结果表明，该模型具备一定的自适应性，在对未来多个时间点的负载信息进行预测时，其预测准确性优于ESN和LSTM模型。但是，本文只考虑主机CPU利用率这一个维度的历史信息，影响主机负载的因素还包括内存和网络等，因此，下一步将结合主机所监控的其他维度信息提升模型的预测性能。