Professional Documents
Culture Documents
20160410
20160410
基于遗传算子采样的自适应代理优化算法
宋保维, 王新晶, 王鹏
( 西北工业大学 航海学院, 陕西 西安 710072)
关 键 词:代理模型;遗传算子;采样准则;代理优化
中图分类号:TP18 文献标志码:A 文章编号:1000⁃2758(2016)04⁃0614⁃07
设计优化问题通常包含计算量大的高保真度模 过程中仅考虑最优解附近的局部区域,当确定最优
型( 计算流体力学、有限元分析、基于试验的工程计 解区域后重点对该区域进行寻优。 大部分代理优化
算等) 。 由于目标函数与设计变量之间没有显式函 算法通过优化辅助函数获得新增样本。 本文提出的
数表达,这类问题称为黑盒问题。 传统基于梯度的 优化算法的优势是不需要优化辅助函数,通过遗传
优化算法( 牛顿法) 和基于函数估计的优化算法( 遗 算子获得候选样本集,通过采样准则获取新增样本,
传算法) 已经不适用于此类问题。 代理模型作为一 提高模型更新效率;同时该算法适用于各种代理模
种有效的工具,为黑盒问题提供满足一定精度的合 型,具有广泛适用性和稳定性。 GOS 算法与 EGO、
理近似。 同时,在设计优化过程中,为了减小计算代 MSE 算法进行对比,证明算法的有效性。
价和过滤高保真度模型噪声,使用代理模型已经成
1 基于 GOS 的自适应代理优化算法
为一种趋势。 典型的代理模型包括多项式响应面
( PRS) 、克里金模型( KRG) 、径向基函数( RBF) 、支
持向量回归模型( SVR) 等。 代理模型方法已经广泛
1.1 自适应采样方法
应用于飞行器设计、汽车设计等领域。
一种好的采样准则可以在全局空间探索和局部
基于代理模型的优化算法是依据少量初始样本
建立代理模型,基于采样准则在设计空间增加样本 空间开发之间进行权衡。 本文提出的采样准则的基
并对代理模型进行更新,当模型精度满足要求时,对 本过程是建立样本交叉验证误差的代理模型;通过
代理模型进行优化获得最优解的算法。 代理优化算 对已有样本进行两两交叉、对当前最优样本进行变
法从 Jones 等人提出有效全局优化算法( EGO) [1] 开 异产生新的候选样本集,同时计算候选样本集中每
始,获得了广泛关注,并成功应用于相关工程设计优 个样本与已有样本的最小距离,交叉验证误差和最
化 [2⁃4] 。 此后,很多 EGO 改进算法 [5⁃6] 以及不同的自 小距离的乘积作为评价候选样本适应性的准则,将
适应采样代理优化算法 [7⁃10] 被提出。 有些方法在寻 乘积最高的候选样本作为新增样本。 采样准则的基
优过程中逐步提高代理模型整体精度,当迭代次数 本思想是:在交叉验证误差较大处采样可以很好地
达到最大时对代理模型进行优化;有些方法在寻优 提高代理模型的精度,计算候选样本与已有样本的
收稿日期:2015⁃10⁃22 基金项目:国家自然科学基金(51375389) 资助
作者简介:宋保维(1963—) ,西北工业大学教授、博士生导师,主要从事水下航行器设计及多学科设计优化等研究。
第4期 宋保维,等:基于遗传算子采样的自适应代理优化算法 · 615·
差为 s 2 的正态分布的一个随机数代替原有的基因 代理模型。
值。 具体实现时,均值、方差的取值和变异位按( 2) 6) 重复步骤 2) ~ 步骤 5)5 或 10 次后进行基于
式处理 代理模型的优化得到当前最优解,将最优解及其响
u max - u min 应值加入样本空间。
m = x pbs s =
2
7) 若满足收敛准则,优化停止;否则执行步骤
6
12 2) ,进行下一轮迭代。 本文的收敛准则为预先设定
x′ = m + s 2 ( ∑ r i - 6 ) (2) 的总的函数估计量。
i=1
2.1 测试函数和试验设定 d=
1⁃D 函 数、 Branin 函 数、 Hartman3 和 Hartman6 éê 0.131 0.170 0.557 0.012 0.828 0.589 ù
ú
函数 4 个广泛应用的函数作为测试函数。 它们的数 ê 0.233 0.414 0.831 0.374 0.100 0.999 ú
学表达为: ê 0.235 0.145 0.352 0.288 0.305 0.665 ú
ê ú
1⁃D 函数 êë 0.405 0.883 0.873 0.574 0.109 0.038 úû
f( x) = (6x 1 - 2) 2 sin(2(6x 1 - 2) ) , x 1 ∈ [0,1] 表1 测试函数的数值设定
(5) 迭代次
函数 初始样 总样
Branin 函数 函数名称
维数 本数量
数×采
本量
最优解
5.1 2 5 2
1 ö 样数
x + x 1 - 6 ÷ + 10 ç 1 - ÷·
æ ö
y = ç x2 -
æ
4π 2 1
π 8π 1⁃D 1 4 1×5 10 -6.020
è ø è ø
Branin 2 10 3×5 28 0.398
cos( x 1 ) 10, x 1 ∈ [ 5,10] , x 2 ∈ [0,15]
+ -
Hartman3 3 18 4×5 42 -3.863
(6) Hartman6 6 56 9×10 155 -3.322
Hartman3 和 Hartman6 函数
表 1 给出了 4 个测试函数的基本信息,为了避免试
4 m
y( x) = - ∑ a i exp [ - ∑ b ij( x j - d ij ) 2 ] 验设计结果的偶然性,对每个测试函数进行 30 次优
i=1 j=1
化计算,采用 30 次计算结果的平均值进行比较。 采
0 ≤ x j ≤ 1,j = 1,2,…,m (7)
用遗传算法( GA) 对代理模型进行优化。 由于本文
式中, a = [1 1.2 3 3.2] 。 当含有 3 个变量时,矩阵 b
设定的收敛准则为预先设定的函数估计量,所以算
和d为
法优劣的判定标准为:在相同函数估计量前提下,优
éê 3 10
30 ù
ú éê 0.369 0.117 0.267 ù
ú 化结果更接近最优解的算法更好。 KRG 模型通过
ê 0.110 35 ú ê 0.470 0.439 0.747 ú
Lophaven 等人 [11] 开发的 KRG 工具箱获得,交叉验
b= ê d= ê
3010 30 ú 0.109 0.873 0.555 ú
ê ú ê ú 证、EGO 算 法 通 过 Viana 等 人 [12] 开 发 的 SURRO⁃
êë 0.1
10 35 û
ú ë 0.038 0.574
ê 0.883 úû
GATES Toolbox 工具箱获得。
当含有 6 个变量时,矩阵 b 和 d 为
2.2 GOS 算法在 1⁃D 函数的优化过程
éê 10 3 17 3.5 1.7 8ù
ú 图 1 给出了 GOS 算法在 1⁃D 函数的优化过程。
ê 0.05 10 17 0.1 8 14 ú
b= ê
3 3.5 1.7 10 17 8ú
ê ú
ê 17 8 0.05 10 0.1 14 úû
ë
一 迭 代 处 的 最 优 解 是 30 次 计 算 的 平 均 值。 从 较明 显, 在 优 化 后 期 寻 优 速 度 减 慢, 优 化 结 果 与
Branin 函数看,MSE 算法表现最好, 拥有较快的优 MSE 算法相近。 在 Hartman6 函 数 的 优 化 过 程 中,
化效率;GOS 算法表现与 MSE 算法几乎相同,EGO EGO 算法优势比较明显,不仅在采样初期找到最优
算法在较少的迭代过程中不能迅速地收敛到最优 解,而且寻优速度最快;MSE 算法效果最差;GOS 算
值,优化结果与图 2 结果吻合。 在 Hartman3 函数优 法介于两者之间,但是当样本数量达到设定值时,其
化过程中,GOS 算法表现最好,在设定的最大样本 优化结果与 EGO 结果相差不大。
量处得到最好的结果;EGO 算法在优化初期效果比
结果显示:
3 结 论 ①自适应采样代理优化算法比一步采样代理优
化算法更好,因为自适应采样算法考虑了模型的信
本文提 出 一 种 优 化 算 法, 称 为 遗 传 算 子 采 样 息,可以更有针对性地更新代理模型;
( GOS) 的自适应代理优化算法。 该算法通过对所有 ②GOS 算法能够在有限的函数估计下获得较
样本进行交叉运算,对最优解进行变异 2 种算子产 好的优化结果;在测试函数中它即使不是最好的算
生候选样本集。 基于提出的采样评估标准,对候选 法,也是第 2 好的算法;
样本适应性进行评估,该评估标准能够很好地在减 ③由于 避 免 采 用 优 化 的 方 法 获 得 新 增 样 本,
小模型误差和避免样本聚集 2 个问题中权衡。 新增 GOS 算法大大提高了代理模型的更新效率;
样本的获得不需要通过对辅助函数优化,提高了优 ④GOS 算法比较稳定,对初始样本分布情况依
化效率。 GOS 算法在 1⁃D 函数中进行了阐述,在 3 赖较小。
个测试函数中与 MSE、EGO、OLHS 算法进行对比。
参考文献:
[ 1] Jones D R, Schonlau M, Welch W J. Efficient Global Optimization of Expensive Black⁃Box Functions[ J] . Journal of Global Op⁃
timization, 1998, 13(4) : 455⁃492
[2] 赵敏, 操安喜, 苟鹏, 等. 高效优化算法在船舶力学中的应用研究[ J] . 船舶力学, 2008, 12(3) : 473⁃482
Zhao Min, Cao Anxi, Gou Peng, et al. Application of Efficient Global Optimization in Ship Mechanics[ J] . Journal of Ship Me⁃
chanics, 2008, 12(3) : 473⁃482 ( in Chinese)
[3] Lei G. Sequential Optimization Method for the Design of Electromagnetic Device[ J] . IEEE Trans on Magnetics, 2008, 44(11) :
3217⁃3220
[4] 邓枫, 覃宁, 伍贻兆. EGO 方法的训练算法及应用[ J] . 计算物理, 2012, 29(3) : 326⁃332
Deng Feng, Qin Ning, Wu Yizhao. Training Algorithms for EGO Method and Applications[ J] . Chinese Journal of Computational
Physics, 2012, 29(3) : 326⁃332 ( in Chinese)
[5] 邹林君, 吴义忠, 毛虎平. Kriging 模型的增量构造及其在全局优化中的应用[ J] . 计算机辅助设计与图形学学报, 2011,
23(4) : 649⁃655
Zou Linjun, Wu Yizhong, Mao Huping. Incremental Kriging Model Rebuilding Method and Its Application in Efficient Global
Optimization[ J] . Journal of Computer⁃Aided Design and Computer Graphics, 2011, 23(4) : 649⁃655 ( in Chinese)
[6] 冯敏, 张建同. 基于改进 Kriging 模型的 EGO 算法的 EI 函数研究[ C] ∥第十届中国不确定系统年会, 2012
Feng Min, Zhang Jiantong. Expected Improvement in Efficient Global Optimization based on Bootstrapped Kriging [ C] ∥ The
tenth China Annual Conference on Uncertainty, 2012 ( in Chinese)
[7] Huang D, Allen T T, Notz W I, et al. Global Optimization of Stochastic Black⁃Box Systems via Sequential Kriging Meta⁃Models
[ J] . Journal of Global Optimization, 2006, 34(3) : 441⁃466
[8] Mehmani A. Surrogate⁃Based Design Optimization with Adaptive Sequential Sampling [ C] ∥53rd AIAA / ASME / ASCE / AHS /
ASC Structures, Structural Dynamics and Materials Conference, 2012
[9] 高月华, 王希诚. 基于 Kriging 代理模型的多点加点序列优化方法[ J] . 工程力学, 2012, 29(4) : 90⁃95
Gao Yuehua, Wang Xicheng. A Sequential Optimization Method with Multi⁃Point Sampling Criterion Based on Kriging Surrogate
Model[ J] . Engineering Mechanics, 2012, 29(4) : 90⁃95 ( in Chinese)
[10] Viana F A, Haftka R T, Watson L T. Efficient Global Optimization Algorithm Assisted by Multiple Surrogate Techniques[ J] .
Journal of Global Optimization, 2013, 56(2) : 669⁃689
[11] Lophaven S N, Nielsen H B, Søndergaard J. DACE⁃A Matlab Kriging Toolbox[ EB / OL] . ( 2002⁃8⁃1) [ 2015⁃10⁃22] . http:∥
www2.imm.dtu.dk / ~ hbn / dace / .
[12] Viana F A C. SURROGATES Toolbox User′s Guide[ EB / OL] . [2015⁃10⁃22] .http:∥sites.google.com / site / felipeacviana / surro⁃
gatestoolbox.
· 620· 西 北 工 业 大 学 学 报 第 34 卷
Abstract: This paper proposes an optimization algorithm that is applied to Black⁃box Problem, called Genetic Op⁃
erator Sampling ( GOS ) adaptive surrogate⁃based optimization algorithm. Genetic operators produce candidate
sample set. Cross⁃over operator is executed between any two of samples and mutation operator is executed only on
present best sample. Then an assessment criterion, which is the product of the cross validation error of the candidate
sample and the minimum distance between it and existing samples, is used to judge the adaptation of each sample.
The candidate sample with largest product will be added to existing samples. GOS is illustrated on 1⁃D function in
detail and is compared to EGO and MSE algorithm on three typical functions, the results validated the effectiveness
of GOS algorithm.