开放科学(资源服务)标志码(OSID):
随着科学技术的快速发展,工农业生产、国防建设、医疗卫生、人民生活等各个领域对工程产品性能的要求不断提高,工程优化问题也变得越来越复杂。元启发式优化算法(包括进化算法和群智能优化算法)相比于传统的单点迭代算法对目标函数无连续可微的要求,具有更大的概率找到全局最优解,且不一定需要有显式的目标函数公式,在大型电力系统[1-2]、天线设计[3-4]、航空航天及汽车设计[5-6]等科学研究和工程优化中具有广泛应用。然而,元启发式优化算法在获得最优解之前通常需要进行多次目标函数评价。因此,在目标函数计算费时的情况下,很难应用元启发式优化算法来搜索问题的最优设计方案[7]。基于历史数据建立代理模型用来辅助元启发式优化算法,在评价次数有限的情况下搜索全局最优解是目前常用的求解计算费时问题的优化方法[8-9]。相比于计算费时的原优化问题的目标函数评价,训练代理模型所需计算时间成本是低廉的,主要包括多项式回归(Polynomial Regression,PR)[10]、径向基函数(Radical Basis Function,RBF)[11]、高斯过程(Gaussian Process,GP)[12]、人工神经网络(Artificial Neural Network,ANN)[13-14]和支持向量回归(Support Vector Regression,SVR)[15]等常见的代理模型。
元启发式优化算法中根据模型的用途可以将代理模型分为全局代理模型和局部代理模型。在通常情况下,全局代理模型用于平滑原问题的局部最优解,并引导搜索算法快速定位到最优解附近。LIU等[16]提出一个求解中等规模费时优化问题的高斯过程辅助的进化算法。SCHNEIDER等[17]采用高斯过程模型的贝叶斯优化以改进具有许多自由度的光学结构。TIAN等[12]提出一个高斯过程辅助的进化算法(MGP-SLPSO),采用多目标填充准则的方式选择真实评价的个体。YU等[18]提出一种最优重启策略代理辅助的社会学习粒子群优化算法(GORS-SSLPSO),集成了重启策略和全局RBF代理模型以提供功能强大的优化器来解决计算耗时的问题。局部代理模型则用于较好地拟合原问题在某一个区域中的函数形状,从而辅助算法在该区域中进行搜索,从而提高最优解精度。LIM等[7]使用集成和平滑的局部代理模型同时进行局部搜索,共同生成可靠的适应值预测和搜索改进策略。适应值继承是一种特殊的局部代理模型,SUN等[19-20]基于同一代兄弟个体和父代个体提出一种新的适应值估计策略。全局和局部混合代理模型相比于使用单全局代理模型或者单局部代理模型在辅助优化算法搜索最优解时具有较好的搜索性能。WANG等[21]提出基于主动学习的代理模型辅助的粒子群优化算法(CAL-SAPSO),结合全局和局部代理模型管理策略进行优化。SUN等[11]提出代理模型辅助的协同优化算法,利用RBF全局代理模型辅助社会学习微粒群算法进行全局最优解的探索,同时利用适应值估计策略辅助的微粒群算法进行局部开采,从而实现对高维计算费时优化问题的求解。YU等[22]提出代理模型辅助的分层粒子群优化算法(SHPSO),与代理模型辅助的协同优化算法不同,在SHPSO中,社会学习粒子群优化用于进行局部空间的开采,而粒子群优化用于在全局空间中进行探索,从而提高全局最优解的寻找性能。LI等[23]提出一种求解高维费时问题的代理辅助的多种群优化算法(SAMSO),全局和局部代理模型分别辅助两个种群进化,同时两个种群通过相互学习来提高算法的搜索性能。LIAO等[24]利用所有历史样本训练全局代理模型,采用最优的若干样本训练局部代理模型,并通过多任务优化方法搜索两个模型的最优解。
混合代理模型辅助的元启发式优化算法能够利用不同模型的优势,相比于单代理模型能够更好地辅助优化算法在评价次数或者计算资源有限的情况下找到较优解。本文基于已有的历史数据,通过不同的样本选择策略建立全局代理模型和局部代理模型。对全局代理模型和局部代理模型进行最优解的交互搜索,通过对全局代理模型的搜索实现对原问题最优解的探索,模型最优解根据真实计算用于更新局部代理模型,使其能够更好地拟合目前最优解附近的局部区域,通过对局部代理模型最优解的搜索提高获得更优解的概率。
1 相关技术 1.1 径向基函数网络径向基函数网络(Radial Basis Function Network,RBFN)是一种包含输入层、隐藏层和输出层共三层的神经网络。RBFN作为代理模型在辅助优化算法中具有较好的拟合效果,且其拟合效果对于问题维度的增加相对不敏感[25-26]。给定样本库
\widehat{f}\left(\boldsymbol{x}\right)=\sum\limits _{i=1}^{{N}_{\mathrm{c}}}{\boldsymbol{\omega }}_{i}\times \varphi \left(‖\boldsymbol{x}-{\boldsymbol{c}}_{i}‖\right) | (1) |
其中:
差分进化(Differential Evolution,DE)算法在许多优化问题上已被证明是一个简单有效的进化算法[28-29],遵循进化算法的一般流程,即首先在问题决策空间中产生一个初始化种群
{\boldsymbol{v}}_{i}\left(t+1\right)={\boldsymbol{x}}_{{r}_{0}}\left(t\right)+{F}_{i}\cdot \left({\boldsymbol{x}}_{{r}_{1}}\left(t\right)-{\boldsymbol{x}}_{{r}_{2}}\left(t\right)\right) | (2) |
其中:
每个个体根据一定的概率在各个维度上进行交叉操作,通过式(3)的交叉方法得到交叉后的向量
{u}_{ij}\left(t+1\right)=\left\{\begin{array}{l}{v}_{ij}\left(t+1\right), \mathrm{ }\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\le \mathrm{C}{\mathrm{R}}_{j}|j={j}_{\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{i}\mathrm{n}\mathrm{t}}\\ {x}_{ij}\left(t\right), \mathrm{其}\mathrm{他}\end{array}\right. | (3) |
其中:
{\boldsymbol{x}}_{i}\left(t+1\right)=\left\{\begin{array}{l}{\boldsymbol{u}}_{i}\left(t+1\right), f\left({\boldsymbol{u}}_{i}\left(t+1\right)\right) < f\left({\boldsymbol{x}}_{i}\left(t\right)\right)\\ {\boldsymbol{x}}_{i}\left(t\right), \mathrm{其}\mathrm{他}\end{array}\right. | (4) |
算法1给出了全局与局部代理模型交替辅助的差分进化算法AGL-DE的伪代码。首先,通过拉丁超立方体产生一定数量的初始样本,对其使用真实的目标函数评价并将其存入数据集
算法1 AGL-DE算法
输入 种群规模Np,问题维度D
输出 全局最优解
1.初始化若干个样本点进行真实评价,并存入数据集
2.确定当前找到的最优位置,记为
3.
4.当不满足停止条件时,执行步骤5~步骤15,否则跳转到步骤16;
5.If
6.训练全局代理模型;
7.用DE搜索全局代理模型的最优解,并对找到的最优解xgbest使用真实目标函数进行计算;
8.
9.Else
10.训练局部代理模型;
11.用DE搜索局部代理模型的最优解,并对找到的最优解xlbest使用真实目标函数进行计算;
12.
13.EndIf
14.将真实计算的个体存入数据集
15.返回步骤4;
16.输出
在代理模型辅助的进化算法中,为了保证算法的收敛性,通常选用适应值最优的若干个样本来训练模型,但是这样会导致算法很快陷入局部最优,使得算法性能下降。本文选择具有代表性的样本建立全局代理模型,并通过在决策空间对全局代理模型最优解的搜索提高算法探索能力,防止算法陷入局部最优。文献[31]表明全局代理模型并非一定需要与原函数精确拟合,其主要作用在于平滑掉局部最优,加速定位到全局最优解附近。为此,本文通过计算每个样本
算法2 全局代理模型训练算法
输入 数据集
输出 模型最优解xgbest
1.对
2.计算每个个体
3.基于拥挤度和适应值对
4.从第一个非支配面开始选取训练样本
5.训练RBF代理模型
6.初始化种群,记录种群中的最优解为xgbest;
7.If未达到停止条件then
8.对种群个体进行变异、交叉操作;
9.使用
10.根据估值选择下一父代个体;
11.更新最优解xgbest;
12.EndIf
13.输出最优解xgbest。
2.3 局部代理模型的训练与优化为快速找到更优解,利用数据集
算法3 局部代理模型训练算法
输入 数据集
输出 模型最优解xlbest
1.对
2.按顺序选择
3.训练RBF代理模型
4.初始化种群,记录种群中最优解为xlbest;
5.If未达到停止条件then
6.对种群个体进行变异、交叉操作;
7.使用
8.根据估值选择下一父代个体;
9.更新最优解xlbest;
10.EndIf
11.输出最优解xlbest。
3 实验设计与结果分析为评估AGL-DE算法的性能,在7个单目标基准问题[7, 32]上进行测试,这7个基准问题的函数名称、全局最优值和函数特征如表 1所示。本节首先给出了AGL-DE算法的参数设置,然后将其与近年来提出的求解费时问题的优化算法在测试函数上进行结果比较,最后对算法框架、参数进行敏感性分析。所有算法均独立运行25次,并通过显著性水平为0.05的带有Bonferroni校验的Wilcoxon秩和检验方法[33]对25次独立运行结果进行显著性统计检验。
![]() |
下载CSV 表 1 基准函数特性 Table 1 Characteristics of the benchmark functions |
在AGL-DE算法中,不同的代理模型均可作为全局与局部代理模型,本文采用RBF代理模型,主要原因在于RBF代理模型对于高维问题具有较好的拟合效果[22]。训练RBF代理模型的最小样本数为
表 2给出了AGL-DE与GORS-SSLPSO[18]、CAL-SAPSO[21]、DDEA-SE[34]、SHPSO[22]算法在低维测试问题上的统计结果,其中,符号“+”、“-”和“≈”分别表示AGL-DE算法相较于其他算法具有显著性优、显著性差和没有显著性差异,加粗数据表示该数据对应的算法找到的解是所有算法中最优的,最后一行的数字分别表示AGL-DE算法相较于其他算法具有显著性优的个数、显著性差的个数和没有显著性差异的个数。SHSPO算法在低维问题上只涉及了30维,因此仅对SHPSO算法在30维问题上的结果进行比较。从表 2可以看出,除了F5测试问题以外,AGL-DE算法在F1~F4这4个测试问题上基本优于其他算法,虽然GORS-SSLPSO算法在F4上的结果略好,但是与AGL-DE算法并没有显著性差异。
![]() |
下载CSV 表 2 AGL-DE与GORS-SSLPSO、CAL-SAPSO、DDEA-SE、SHPSO算法在低维测试问题上的统计结果 Table 2 Statistical results of AGL-DE and GORS-SSLPSO, CAL-SAPSO, DDEA-SE, SHPSO algorithms on low-dimensional test problems |
表 3给出了AGL-DE与GORS-SSLPSO[18]、MGP-SLPSO[12]、DDEA-SE[34]、SHPSO[22]、SAMSO[23]算法在高维测试问题上的统计结果。从表 3中可以看出,AGL-DE算法相比于GORS-SSLPSO、MDP-SLPSO、DDEA-SE、SHPSO、SAMSO算法在高维问题上获得了13/14、8/14、13/14、10/14和9/14的更好解。此外,还可以看出AGL-DE算法在5/7个100维测试问题上获得了比其他算法更优的结果,表明AGL-DE算法对于高维问题具有较好的求解效果。
![]() |
下载CSV 表 3 AGL-DE与GORS-SSLPSO、MGP-SLPSO、DDEA-SE、SHPSO、SAMSO算法在高维测试问题上的统计结果 Table 3 Statistical results of AGL-DE and GORS-SSLPSO, MGP-SLPSO, DDEA-SE, SHPSO, SAMSO algorithms on high-dimensional test problems |
为更好地分析算法的收敛性能,图 1、图 2分别给出了AGL-DE算法和其他算法在低维和高维测试问题上的函数收敛曲线图,横坐标代表真实适应值的评估次数,记为T,为了能够更加明显地观察收敛曲线图的变化情况,纵坐标用25次独立运行得到的适应值的中值的对数表示,记为lg(F(xT)),其中xT为算法第T次真实适应值评估下找到的最优解,F(xT)为xT对应的目标函数值。
![]() |
Download:
|
图 1 AGL-DE与GORS-SSLPSO、CAL-SAPSO、SHPSO算法在低维测试问题上的函数收敛曲线图 Fig. 1 Function convergence curves of AGL-DE and GORS-SSLPSO, CAL-SAPSO, SHPSO algorithms on low-dimensional test problems |
![]() |
Download:
|
图 2 AGL-DE与GORS-SSLPSO、MGP-SLPSO、SHPSO、SAMSO算法在高维测试问题上的函数收敛曲线图 Fig. 2 Function convergence curves of AGL-DE and GORS-SSLPSO, MGP-SLPSO, SHPSO, SAMSO algorithms on high-dimensional test problems |
由于F6测试问题的适应值可能是负值,因此在该测试问题的收敛曲线图上没有对适应值进行取对数操作。需要注意的是,DDEA-SE算法是一种基于数据驱动的离线优化算法,在优化的过程中不会产生需要真实适应度评估的个体,故没有给出其收敛曲线图。
从图 1可以看出,AGL-DE在F1~F4测试问题上都比其他算法具有更快的收敛速度,在低维的单模态和多模态问题上都展现了良好的性能。对于高维优化问题,从图 2可以看出,本文所提AGL-DE算法在大部分优化问题上具有较快的收敛速度。但是从图 2也可以看出其容易陷入局部最优,如50维的F2、F3、F5和F7测试问题,在搜索算法到达一定程度后不再继续下降。由此分析其早熟收敛的主要原因在于初始样本的选择。从
为验证全局与局部代理模型交替辅助的有效性,将其与仅使用全局代理模型辅助进化算法(G-DE)和仅使用局部代理模型辅助进化算法(L-DE)进行实验结果比较,在实验过程中其他参数设置与3.1节的设置相同。表 4给出了AGL-DE、G-DE和L-DE算法在10维、20维和50维的F1、F3和F4测试问题上的统计结果。从统计结果上来看:AGL-DE比G-DE显著性好3个,显著性差1个,无显著性差异5个;AGL-DE比L-DE显著性好3个,显著性差2个,无显著性差异4个。统计结果表明:全局代理模型和局部代理模型交替辅助差分进化算法比单一模型辅助差分进化算法的效果好。
![]() |
下载CSV 表 4 AGL-DE与G-DE、L-DE算法在F1、F3和F4测试问题上的统计结果 Table 4 Statistical results of AGL-DE and G-DE, L-DE algorithms on F1, F3 and F4 test problems |
为验证在一定区间内随机产生的训练集样本数
![]() |
下载CSV 表 5 3种策略的参数设置 Table 5 Parameter settings of three strategies |
![]() |
下载CSV 表 6 AGL-DE算法与min-values、med-values、max-values策略在F1、F2、F4和F6测试问题上的统计结果 Table 6 Statistical results of AGL-DE algorithm and min-values, med-values, max-values strategies on F1, F2, F4 and F6 test problems |
本文提出一种全局与局部代理模型交替辅助的差分进化算法,通过对全局代理模型和局部代理模型最优解的交替搜索来更新数据集以及原费时优化问题的最优解,从而在计算资源有限的情况下获得问题的更优解。实验结果表明,相比于近年来提出的求解费时问题的优化算法,该算法在低维和高维测试问题上均获得了较好的寻优效果,然而在某些高维测试问题上容易陷入局部最优,导致早熟收敛。因此在下一步工作中将考虑增强算法多样性,以便跳出局部最优,从而在计算资源有限的情况下找到目标函数的更优解。
[1] |
DEL VALLE Y, VENAYAGAMOORTHY G K. Particle swarm optimization: basic concepts, variants and applications in power systems[J]. IEEE Transactions on Evolutionary Computation, 2008, 12(2): 171-195. DOI:10.1109/TEVC.2007.896686 |
[2] |
吕铭晟, 沈洪远, 李志高, 等. 多变异策略差分进化算法的研究与应用[J]. 计算机工程, 2014, 40(12): 146-150. LÜ M S, SHEN H Y, LI Z G, et al. Research and application of differential evolution algorithm under multiple mutation strategy[J]. Computer Engineering, 2014, 40(12): 146-150. (in Chinese) |
[3] |
SOLTANI S, MURCH R D. A compact planar printed MIMO antenna design[J]. IEEE Transactions on Antennas and Propagation, 2015, 63(3): 1140-1149. DOI:10.1109/TAP.2015.2389242 |
[4] |
MILLIGAN T A. Modern antenna design[M]. Hoboken, USA: John Wiley & Sons, Inc., 2005.
|
[5] |
REGIS R G. Evolutionary programming for high-dimensional constrained expensive black-box optimization using radial basis functions[J]. IEEE Transactions on Evolutionary Computation, 2014, 18(3): 326-347. DOI:10.1109/TEVC.2013.2262111 |
[6] |
ONG Y S, NAIR P B, KEANE A J. Evolutionary optimization of computationally expensive problems via surrogate modeling[J]. AIAA Journal, 2003, 41(4): 687-696. DOI:10.2514/2.1999 |
[7] |
LIM D, JIN Y C, ONG Y S, et al. Generalizing surrogate-assisted evolutionary computation[J]. IEEE Transactions on Evolutionary Computation, 2010, 14(3): 329-355. DOI:10.1109/TEVC.2009.2027359 |
[8] |
QUEIPO N V, HAFTKA R T, SHYY W, et al. Surrogate-based analysis and optimization[J]. Progress in Aerospace Sciences, 2005, 41(1): 1-28. DOI:10.1016/j.paerosci.2005.02.001 |
[9] |
WORTMANN T, COSTA A, NANNICINI G, et al. Advantages of surrogate models for architectural design optimization[J]. Artificial Intelligence for Engineering Design, Analysis and Manufacturing, 2015, 29(4): 471-481. DOI:10.1017/S0890060415000451 |
[10] |
TANG Y F, CHEN J Q, WEI J H. A surrogate-based particle swarm optimization algorithm for solving optimization problems with expensive black box functions[J]. Engineering Optimization, 2013, 45(5): 557-576. DOI:10.1080/0305215X.2012.690759 |
[11] |
SUN C L, JIN Y C, CHENG R, et al. Surrogate-assisted cooperative swarm optimization of high-dimensional expensive problems[J]. IEEE Transactions on Evolutionary Computation, 2017, 21(4): 644-660. DOI:10.1109/TEVC.2017.2675628 |
[12] |
TIAN J, TAN Y, ZENG J C, et al. Multiobjective infill criterion driven Gaussian process-assisted particle swarm optimization of high-dimensional expensive problems[J]. IEEE Transactions on Evolutionary Computation, 2019, 23(3): 459-472. DOI:10.1109/TEVC.2018.2869247 |
[13] |
张宗华, 赵京湘, 卢享, 等. 基于遗传算法的BP神经网络在电力负载预测中的应用[J]. 计算机工程, 2017, 43(10): 277-282, 288. ZHANG Z H, ZHAO J X, LU X, et al. Application of BP neural network based on genetic algorithm in power load forecasting[J]. Computer Engineering, 2017, 43(10): 277-282, 288. (in Chinese) |
[14] |
JIN Y C, OLHOFER M, SENDHOFF B. A framework for evolutionary optimization with approximate fitness functions[J]. IEEE Transactions on Evolutionary Computation, 2002, 6(5): 481-494. DOI:10.1109/TEVC.2002.800884 |
[15] |
JIN Y. A comprehensive survey of fitness approximation in evolutionary computation[J]. Soft Computing, 2005, 9(1): 3-12. DOI:10.1007/s00500-003-0328-5 |
[16] |
LIU B, ZHANG Q F, GIELEN G G E. A Gaussian process surrogate model assisted evolutionary algorithm for medium scale expensive optimization problems[J]. IEEE Transactions on Evolutionary Computation, 2013, 18(2): 180-192. |
[17] |
SCHNEIDER P I, SANTIAGO X G, ROCKSTUHL C, et al. Global optimization of complex optical structures using Bayesian optimization based on Gaussian processes[EB/OL]. [2020-12-15]. http://arxiv.org/pdf/1707.08479.
|
[18] |
YU H B, TAN Y, SUN C L, et al. A generation-based optimal restart strategy for surrogate-assisted social learning particle swarm optimization[J]. Knowledge-Based Systems, 2019, 163: 14-25. DOI:10.1016/j.knosys.2018.08.010 |
[19] |
SUN C L, ZENG J C, PAN J, et al. A new fitness estimation strategy for particle swarm optimization[J]. Information Sciences, 2013, 221: 355-370. DOI:10.1016/j.ins.2012.09.030 |
[20] |
SUN C L, DING J L, ZENG J C, et al. A fitness approximation assisted competitive swarm optimizer for large scale expensive optimization problems[J]. Memetic Computing, 2018, 10(2): 123-134. DOI:10.1007/s12293-016-0199-9 |
[21] |
WANG H D, JIN Y C, DOHERTY J. Committee-based active learning for surrogate-assisted particle swarm optimization of expensive problems[J]. IEEE Transactions on Cybernetics, 2017, 47(9): 2664-2677. DOI:10.1109/TCYB.2017.2710978 |
[22] |
YU H B, TAN Y, ZENG J C, et al. Surrogate-assisted hierarchical particle swarm optimization[J]. Information Sciences, 2018, 454/455: 59-72. DOI:10.1016/j.ins.2018.04.062 |
[23] |
LI F, CAI X, GAO L, et al. A surrogate-assisted multiswarm optimization algorithm for high-dimensional computationally expensive problems[J]. IEEE Transactions on Cybernetics, 2021, 51(3): 1390-1402. DOI:10.1109/TCYB.2020.2967553 |
[24] |
LIAO P, SUN C L, ZHANG G C, et al. Multi-surrogate multi-tasking optimization of expensive problems[EB/OL]. [2020-12-15]. https://www.researchgate.net/publication/343051439_Multi-surrogate_multi-tasking_optimization_of_expensive_problems.
|
[25] |
ER M J, WU S Q, LU J W, et al. Face recognition with Radial Basis Function(RBF) neural networks[J]. IEEE Transactions on Neural Networks, 2002, 13(3): 697-710. DOI:10.1109/TNN.2002.1000134 |
[26] |
KATTAN A, GALVAN E. Evolving radial basis function networks via GP for estimating fitness values using surrogate models[C]//Proceedings of 2012 IEEE Congress on Evolutionary Computation. Washington D.C., USA: IEEE Press, 2012: 1-7.
|
[27] |
GUTMANN H M. A radial basis function method for global optimization[J]. Journal of Global Optimization, 2001, 19(3): 201-227. DOI:10.1023/A:1011255519438 |
[28] |
STORN R, PRICE K. Differential evolution-a simple and efficient heuristic for global optimization over continuous spaces[J]. Journal of Global Optimization, 1997, 11(4): 341-359. DOI:10.1023/A:1008202821328 |
[29] |
代瑞瑞, 马永杰, 摆玉龙, 等. 基于动态模式搜索的差分进化算法[J]. 计算机工程, 2016, 42(9): 163-167. DAI R R, MA Y J, BAI Y L, et al. Differential evolution algorithm based on dynamic pattern search[J]. Computer Engineering, 2016, 42(9): 163-167. (in Chinese) |
[30] |
ZHANG J Q, SANDERSON A C. JADE: adaptive differential evolution with optional external archive[J]. IEEE Transactions on Evolutionary Computation, 2009, 13(5): 945-958. DOI:10.1109/TEVC.2009.2014613 |
[31] |
SUN C L, JIN Y C, ZENG J C, et al. A two-layer surrogate-assisted particle swarm optimization algorithm[J]. Soft Computing, 2015, 19(6): 1461-1475. DOI:10.1007/s00500-014-1283-z |
[32] |
SUGANTHAN P N, HANSEN N, LIANG J J, et al. Problem definitions and evaluation criteria for the CEC 2005 special session on real-parameter optimization[EB/OL]. [2020-12-15]. http://www.al-roomi.org/multimedia/CEC_Database/CEC2013/RealParameterOptimization/CEC2013_RealParameterOptimization_TechnicalReport.pdf.
|
[33] |
HENLEY S. Principles and procedure of statistics: a biometrical approach[J]. Computers & Geosciences, 1983, 9(2): 275. |
[34] |
WANG H D, JIN Y C, SUN C L, et al. Offline data-driven evolutionary optimization using selective surrogate ensembles[J]. IEEE Transactions on Evolutionary Computation, 2019, 23(2): 203-216. DOI:10.1109/TEVC.2018.2834881 |