基于Q-learning的虚拟网络功能调度方法

doi:10.19678/j.issn.1000-3428.0049561

计算机工程 ›› 2019, Vol. 45 ›› Issue (2): 64-69. doi: 10.19678/j.issn.1000-3428.0049561

基于Q-learning的虚拟网络功能调度方法

王晓雷^1,2,陈云杰^1,2,王琛^1,2,牛犇^1,2

1.国家数字交换系统工程技术研究中心,郑州 450000; 2.移动互联网安全技术国家工程实验室,北京 100876

收稿日期:2017-12-04 出版日期:2019-02-15 发布日期:2019-02-15
作者简介:王晓雷(1982—),男,博士研究生,主研方向为移动通信网络、网络功能虚拟化;陈云杰,研究员;王琛、牛犇,硕士研究生
基金资助:
国家高技术研究发展计划(2015AA01A706);国家自然科学基金(61521003);国家重点研发计划(2016YFB0801605)。

Scheduling Method of Virtual Network Function Based on Q-learning

WANG Xiaolei^1,2,CHEN Yunjie ^1,2,WANG Chen ^1,2,NIU Ben ^1,2

1.National Digital Switching System Engineering Technological Research Center,Zhengzhou 450000,China; 2.National Engineering Laboratory for Mobile Network Security,Beijing 100876,China

Received:2017-12-04 Online:2019-02-15 Published:2019-02-15

摘要/Abstract

摘要：

针对现有调度方法多数未考虑虚拟网络功能在实例化过程中的虚拟机选择问题,提出一种新的虚拟网络调度方法。建立基于马尔科夫决策过程的虚拟网络功能调度模型,以最小化所有服务功能链的服务延迟时间。通过设计基于Q-learning的动态调度算法,优化虚拟网络功能的调度顺序和虚拟机选择问题,实现最短网络功能虚拟化调度时间。仿真结果表明,与传统的随机虚拟机选择策略相比,该方法能够有效降低虚拟网络功能调度时间,特别是在大规模网络中调度时间可降低约40%。

关键词: 网络功能虚拟化, 服务功能链, 调度模型, 马尔科夫决策过程, Q-学习

Abstract:

Most of the existing scheduling methods do not consider the virtual machine selection problem of the virtual network function in the instantiation process,a new virtual network scheduling method is proposed.It establishes virtual network function scheduling model based on Markov decision process,minimizes all Service Function Chain(SFC) service delay time.By designing a dynamic scheduling algorithm based on Q-learning,and optimizing the scheduling order of virtual network functions and virtual machine selection,the Network Function Virtualization(NFV) scheduling time is the shortest.Simulation results show that compared with the traditional random virtual machine selection strategy,this method can effectively reduce the virtual network function scheduling time,especally reduce the scheduling time by about 40% in large-scale networks.

Key words: Network Function Virtualization(NFV), Service Function Chain(SFC), scheduling model, Markov decision process, Q-learning

中图分类号:

TP391

王晓雷,陈云杰,王琛,牛犇. 基于Q-learning的虚拟网络功能调度方法[J]. 计算机工程, 2019, 45(2): 64-69.

WANG Xiaolei,CHEN Yunjie,WANG Chen,NIU Ben. Scheduling Method of Virtual Network Function Based on Q-learning[J]. Computer Engineering, 2019, 45(2): 64-69.

http://www.ecice06.com/CN/Y2019/V45/I2/64

参考文献

［1］张平,陶运铮,张治.5G若干关键技术评述［J］.通信学报,2016,37(7):15-29.
［2］刘彩霞,卢干强,汤红波,等.一种基于Viterbi算法的虚拟网络功能自适应部署方法［J］.电子与信息学报,2016,38(11):2922-2930.
［3］ABDELWAHAB S,HAMDAOUI B,GUIZANI M,et al.Network function virtualization in 5G［J］.IEEE Communications Magazine,2016,54(4):84-91.
［4］MARTINI B,PAGANELLI F,CAPPANERA P,et al.Latency-aware composition of virtual functions in 5G［C］//Proceedings of the 1st IEEE Conference on Network Softwarization.Washington D.C.,USA:IEEE Press,2015:1-6.
［5］HERRERA J G,BTERO J F.Resource allocation in NFV:a comprehensive survey［J］.IEEE Transactions on Network and Service Management,2016,13(3):518-532.
［6］RIERA J F,ESCALONA E,BATALLE J,et al.Virtual network function scheduling:concept and challenges［C］//Proceedings of 2014 International Conference on Smart Communications in Network Technologies.Washington D.C.,USA:IEEE Press,2014:1-5.
［7］LI X,QIAN C.Low-complexity multi-resource packet scheduling for network function virtualization［C］//Proceedings of 2015 IEEE Conference on Computer Communications.Washington D.C.,USA:IEEE Press,2015:1400-1408.
［8］MIJUMBI R,SERRAT J,GORRICHO J L,et al.Design and evaluation of algorithms for mapping and scheduling of virtual network functions［J］.Network Softwarization,2015,45(1):1-9.
［9］LONG Q,ASSI C,SHABAN K.Delay-aware scheduling and resource optimization with network function virtualization［J］.IEEE Transactions on Communications,2016,64(9):1-1.
［10］LUIZELLI M C,BAYS L R,BURIOL L S,et al.Piecing together the NFV provisioning puzzle:efficient placement and chaining of virtual network functions［C］//Proceedings of IFIP/IEEE International Symposium on Integrated Network Management.Washington D.C.,USA:IEEE Press,2015:98-106.
［11］BECK M T,BOTERO J F.Coordinated allocation of service function chains［C］//Proceedings of IEEE GLOBECOM’15.Washington D.C.,USA:IEEE Press,2015:1-6.
［12］GIANNOULAKIS I,KAFETZAKIS E,XYLOURIS G,et al.On the applications of efficient NFV management towards 5G networking［C］//Proceedings of IEEE International Conference on 5G for Ubiquitous Connectivity. Washington D.C.,USA:IEEE Press,2014:1-5.
［13］SONG H,LIU C,LAWARRE J,et al.Optimal electricity supply bidding by Markov decision process［J］.IEEE Transactions on Power Systems,2000,15(2):618-624.
［14］WATKINS C,DAYAN P.Q-learning［J］.Machine Learning,1992,8(3/4):279-292.
［15］ZEGURA E W,CALVERT K L,ACHARJEE S B.How to model an internet work［C］//Proceedings of the 15th IEEE INFCCOM’96.San Francisco,USA:IEEE Press,1996:594-602.

[1]	张冠莹, 伊鹏, 李丹, 朱棣, 毛明. 面向大规模网络的服务功能链部署方法[J]. 计算机工程, 2023, 49(8): 122-129.
[2]	吴仍裕, 周强, 于海龙, 王亚沙. 基于深度强化学习的深圳市急救车调度算法[J]. 计算机工程, 2022, 48(9): 298-304.
[3]	臧迪, 杨志刚, 王晶, 姚治成, 张伟功. 基于网卡虚拟化的高性能容器网络设计[J]. 计算机工程, 2022, 48(7): 214-219.
[4]	张青青, 汤红波, 游伟, 普黎明. 基于演化博弈的NFV拟态防御架构动态调度策略[J]. 计算机工程, 2022, 48(4): 30-38,49.
[5]	刘雅丽, 史久根. 基于成本的服务链组成与部署联合优化策略[J]. 计算机工程, 2022, 48(4): 106-112.
[6]	杨文琦, 章阳, 聂江天, 杨和林, 康嘉文, 熊泽辉. 基于联邦学习的无线网络节点能量与信息管理策略[J]. 计算机工程, 2022, 48(1): 188-196,203.
[7]	赵季红, 张文娟, 乔琳琳, 张梦雪. 服务功能链中基于机器学习的QoE评估与预测[J]. 计算机工程, 2022, 48(1): 163-169.
[8]	潘成胜, 梁芷铭, 石怀峰, 孔志翔. 面向并发业务的卫星网络服务功能链优化算法[J]. 计算机工程, 2021, 47(3): 196-201.
[9]	朱映波, 赵阳洋, 王佩, 尹凯, 王振宇. 融合马尔科夫决策过程与信息熵的对话策略[J]. 计算机工程, 2021, 47(3): 284-290.
[10]	周运腾, 张雪英, 李凤莲, 刘书昌, 焦江丽, 田豆. Q-learning算法优化的SVDPP推荐算法[J]. 计算机工程, 2021, 47(2): 46-51.
[11]	于丹宁, 倪坤, 刘云龙. 基于循环卷积神经网络的POMDP值迭代算法[J]. 计算机工程, 2021, 47(2): 90-94,102.
[12]	李凌书, 邬江兴. 面向云网融合SaaS安全的虚拟网络功能映射方法[J]. 计算机工程, 2021, 47(12): 30-39.
[13]	陈建平, 周鑫, 傅启明, 高振, 付保川, 吴宏杰. 基于二阶时序差分误差的双网络DQN算法[J]. 计算机工程, 2020, 46(5): 78-85,93.
[14]	朱国晖, 刘璐, 雷兰洁. 基于VNF组合的服务功能链设计及映射算法[J]. 计算机工程, 2020, 46(4): 183-188,197.
[15]	于金亮, 涂山山, 孟远. 移动雾计算中基于强化学习的伪装攻击检测算法[J]. 计算机工程, 2020, 46(1): 38-44.

选择文件类型/文献管理软件名称

选择包含的内容

基于Q-learning的虚拟网络功能调度方法

Scheduling Method of Virtual Network Function Based on Q-learning

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

模态框（Modal）标题

选择文件类型/文献管理软件名称

选择包含的内容

基于Q-learning的虚拟网络功能调度方法

Scheduling Method of Virtual Network Function Based on Q-learning

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价