基于分布式协作Q学习的信道与功率分配算法

doi:10.19678/j.issn.1000-3428.0050704

计算机工程 ›› 2019, Vol. 45 ›› Issue (6): 160-164,174.doi: 10.19678/j.issn.1000-3428.0050704

基于分布式协作Q学习的信道与功率分配算法

徐琳,赵知劲

杭州电子科技大学通信工程学院,杭州 310018

收稿日期:2018-03-09 出版日期:2019-06-15 发布日期:2019-06-15
作者简介:徐琳(1994—),女,硕士研究生,主研方向为认知无线电、信号处理;赵知劲,教授、博士生导师。
基金项目:
“十二五”国防预研项目(41001010401)。

Channel and power allocation algorithm based on distributed cooperative Q-learning

XU Lin,ZHAO Zhijin

School of Communication Engineering,Hangzhou Dianzi University,Hangzhou 310018,China

Received:2018-03-09 Online:2019-06-15 Published:2019-06-15

摘要/Abstract

摘要：

为提高分布式认知无线网络认知用户信道与功率分配算法的能量效率和收敛速度,将单位能量的平均比特数作为通信效率指标,平衡用户通信质量和系统能量消耗,提出一种基于多Agent协作强化学习的分布式信道与功率分配算法。在多Agent独立Q学习的基础上引入协作学习,各用户通过独立Q学习后,共享Q值并进行融合再学习。仿真结果表明,与基于能效的独立Q学习算法、独立Q学习算法以及随机功率分配算法相比,该算法能够有效提高认知用户发射功率和信道分配时的收敛速度。

关键词: 信道与功率分配, 协作Q学习, 认知无线电, 能量效率, 冲突概率

Abstract:

In order to improve the energy efficiency and convergence speed of cognitive user channel and power allocation algorithms in distributed cognitive wireless networks,use the average number of bits per unit of energy as a communication efficiency indicator,and balance user communication quality and system energy consumption,this paper proposes a distributed channel and power allocation algorithm based on multi-Agent cooperative reinforcement learning.The collaborative learning is introduced on the basis of multi-agent independent Q-learning is introduced,and users share Q values and fuse after independent Q-learning.Simulation results show that the algorithm can effectively improve the convergence speed of cognitive users in transmitting power and channel allocation compared with energy efficiency-based independent Q-learning algorithm,independent Q-learning algorithm and random power allocation algorithm.

Key words: channel and power allocation, cooperative Q learning, cognitive radio, energy efficiency, collision probability

中图分类号:

TP925.5

徐琳,赵知劲. 基于分布式协作Q学习的信道与功率分配算法[J]. 计算机工程, 2019, 45(6): 160-164,174.

XU Lin,ZHAO Zhijin. Channel and power allocation algorithm based on distributed cooperative Q-learning[J]. Computer Engineering, 2019, 45(6): 160-164,174.

参考文献［16］

［1］	罗骥.基于自适应中继的认知协作网络功率分配［J］.计算机工程,2017,43(7):151-155.
［2］	刁鸣,张志强,高洪元.离散量子粒子群优化的认知无线电频谱分配［J］.计算机工程,2015,41(11):126-130.
［3］	马朋委.Q_learning强化学习算法的改进及应用研究［D］.安徽淮南:安徽理工大学,2016.
［4］	LIN Yun,WANG Chao,WANG Jiaxing.A novel dynamic spectrum access framework based on reinforcement learning for cognitive radio sensor networks［J］.Sensors,2016,16(10):1-22.
［5］	YAO Yanjun,FENG Zhiyong.Centralized channel and power allocation for cognitive radio networks:a Q-learning solution［C］//Proceeding of FNMS’10.Washington D.C.,USA:IEEE Press,2010:1-8.
［6］	MOROZS N,CLARKE T,GRACE D.Distributed Q-learning based dynamic spectrum management in cognitive cellular systems:choosing the right learning rate［C］//Proceedings of IEEE Symposium on Computers and Communication.Washington D.C.,USA:IEEE Press,2014:1-10.
［7］	伍春,江虹,易克初.聚类多Agent强化学习认知无线电资源分配［J］.北京邮电大学学报,2014,37(1):80-84.
［8］	LALL S,SADHU A K,KONAR A.Multi-agent reinforcement learning for stochastic power management in cognitive radio network［C］//Proceedings of International Conference on Microelectronics,Computing and Communications.Washington D.C.,USA:IEEE Press,2016:1-6.
［9］	BOUMEDIENE L,GAO Zhenguo,LIU Sheng.Distributed multi-agent Q-learning for joint channel allocation and power control in cognitive radio networks［J］.Journal of Computational Information Systems,2012,8(17):7071-7078.
［10］	HE Jian,PENG Jun,JIANG Fu,et al.A distributed Q learning spectrum decision scheme for cognitive radio sensor network［J］.International Journal of Distributed Sensor Networks,2015(1):1-10.
［11］	胡图,景志宏,张磊,等.认知Ad hoc网络中基于凸优化的功率控制算法［J］.空军工程大学学报,2012,13(1):79-84.
［12］	WU Cheng,WANG Yiming,YIN Zhijie.Energy-efficiency opportunistic spectrum allocation in cognitive wireless sensor network［J］.Eurasip Journal on Wireless Communications and Networking,2018(1):13-24.
［13］	梁泉.未知环境中基于强化学习的移动机器人路径规划［J］.2012,29(4):477-481.
［14］	冯陈伟,袁江南.基于强化学习的异构无线网络资源管理算法［J］.电信科学,2015,31(8):99-106.
［15］	苏小红,杨博,王亚东.基于进化稳定策略的遗传算法［J］.软件学报,2003,14(11):1863-1868.
［16］	梶田秀司.类机器人［M］.管贻生,译.北京:清华大学出版社,2007.

[1]	冉超, 方志军, 张彦宇. 基于SDR和改进能量检测算法的频谱感知[J]. 计算机工程, 2020, 46(9): 198-204.
[2]	李建岐, 黄毕尧, 杨婷婷, 吴玉成. 230 MHz电力专属频段频谱认知技术研究[J]. 计算机工程, 2020, 46(7): 173-178.
[3]	高仲霞, 仇润鹤. 解码转发中继网络频谱与能量效率的均衡方案[J]. 计算机工程, 2020, 46(7): 185-191.
[4]	管亮, 郑霖, 张文辉. 认知无线电中子谱缺失下的似然恢复算法[J]. 计算机工程, 2020, 46(2): 201-206,213.
[5]	吴孟礼, 陈跃斌, 吴海锋, 李敏, 孙祥晟. 抵御SSDF攻击的维纳滤波器检测算法研究[J]. 计算机工程, 2020, 46(11): 187-193.
[6]	李新颖, 郝浩, 黄海燕. 基于信能同传的认知中继网络性能研究[J]. 计算机工程, 2020, 46(11): 201-206,213.
[7]	江泽远, 肖琨. 无线能量收集协作系统的节能中继选择方法[J]. 计算机工程, 2019, 45(9): 82-86,94.
[8]	唐丽萍, 江逸伦. 基于不完美频谱检测的认知无线电网络资源分配[J]. 计算机工程, 2019, 45(8): 173-177,197.
[9]	冯刚,覃锡忠,贾振红,牛红梅,王哲辉. 认知无线电环境下无线能量通信网能效研究[J]. 计算机工程, 2019, 45(3): 142-147.
[10]	王少迪,高宝建,张育铖,赵泽. 基于中继联合优化选择的物理层安全方案[J]. 计算机工程, 2019, 45(2): 148-153.
[11]	赵季红, 王文科, 曲桦, 徐西光, 闫飞宇, 颜皓靓. 基于绝对值累积的主用户动态到达频谱感知算法[J]. 计算机工程, 2019, 45(11): 81-85.
[12]	彭军伟,韩志韧,彭开志. 基于权值分簇的多门限联合频谱检测算法[J]. 计算机工程, 2018, 44(6): 29-33.
[13]	齐小刚,张丽敏,刘立芳. 基于改进Steiner树的CRN双信道连通拓扑控制[J]. 计算机工程, 2018, 44(6): 34-39.
[14]	金喜龙,章国安,杨羽琦. 认知车载网中基于路段划分的协作MAC协议研究[J]. 计算机工程, 2018, 44(10): 112-117.
[15]	高鹏,刘芸江,高维廷,李曼. 基于特征值极限分布的双门限DMM频谱感知算法[J]. 计算机工程, 2017, 43(9): 68-74.

基于分布式协作Q学习的信道与功率分配算法

Channel and power allocation algorithm based on distributed cooperative Q-learning

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献［16］

相关文章 15

Metrics

本文评价

推荐阅读 10

基于分布式协作Q学习的信道与功率分配算法

Channel and power allocation algorithm based on distributed cooperative Q-learning

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献 ［16］

相关文章 15

Metrics

本文评价

推荐阅读 10

参考文献［16］