© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 文章编号:1006 - 155X(1999) 05 - 102 - 105
具有一类不可导多元约束函数的 非线性规划神经网络模型
周祖昊 , 郭宗楼
(武汉水利电力大学水利水电学院,湖北 武汉 430072)
摘要 :水资源系统中存在一类具有不可导但连续单调递增约束函数的非线性规划问题,针对这类约束函数为一 元函数的非线性规划问题建立了基于Hopfield连续模型的人工神经网络模型[1 ],将神经网络模型扩展到这类约 束函数含有多元变量的情况,仿真结果表明了扩展后的模型的有效性.
关键词 :水资源系统;多元;不可导;非线性规划;神经网络模型 中图分类号 :TP 18 文献标识码 :A
1 一般非线性规划神经网络模型
考虑以下一般非线性规划问题
s. t .
minf ( v1, v2,…, vm)
hi( v1, v2,…, vm) = 0, i =1,2,…, l1
gj( v1, v2,…, vm) ≥0, j = 1,2,…, l2 (1)
设f , hi, gj存在一阶和二阶偏导数 ,且 f 在约束范 围内有下界 。
基于 Hopfield 连续模型 ,对上述非线性规划问 题采用罚函数法[2～4 ]构造能量函数
E ( V) = f ( V) +
∑
l1
i =1
γ1, i( hi( V) )2 -
∑
l2
j =1
γ2, jmin{0, gj( V) } (2)
其中 , V = ( v1, v2,…, vm) ;γ1, i,γ2, j 分别为约束 hi, gj的惩罚系数. 上式中第一项是目标函数 ,第二 项是等式约束 hi =0 的惩罚项 ,第三项是不等式约 束 gj ≥0 的惩罚项.
对于式 (2) ,采用梯度法可以构造出一般非线 性规划神经网络的演化方程
Cr
dur
dt = 5E 5vr
= - 5f 5vr
-
∑
l1
i =1
2g1, ihi5hi
5vr
+
∑
l2
j =1g2, jS2( gj) 5gj
5vr = - 5f 5vr -
∑
l1
i =1
2g1, ihi5hi 5vr
+
∑
l2
j =1g2, jS2( gj) 5gj 5vr
(3)
vr = L ( ur) = ( vrmax - vrmin) / [1+
exp( - ur/ Hr) ] + vrmin, r = 1,2,…, m (4)
其中 ,令 S2( x) = 0
1 x ≥0
x < 0; ur, vr发别表示第r 个神经元的状态变量和输出变量; t表示神经网络 演化的时间; Cr为一大于 0 的常数; vmax, vmin表示 vr的上下限值; Hr表示节点函数L ( ur) 的斜率 ,反 映节点函数的陡峭程度 。
2 具有一类特殊约束的非线性规划 问题
在现实生活中存在一类非线性规划问题 ,它具 有一类特殊的一元非线性约束 ,此类特殊约束为
Pk( vk) ≤0, k = 1,2,…, n (5) 式中 , Pk是只含有一个变量vk的连续单调递增函 数 ,它不可导或尽管可导但求导极为困难甚至无法 求得 ,故前面建立的一般非线性规划神经网络模型
(3) , (4) 不适于具有此类约束的非线性规划问题.
收稿日期:1998 - 04 - 06
作者简介:周祖昊(1975 - ) ,男,硕士研究生,主要从事水资源最优规划与管理研究.
第32卷第5期 1999年10月
武汉水利电力大学学报 J . Wuhan Univ. of Hydr. & Elec. Eng.
Vol. 32 No. 5 Oct. 1999
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 针对具有此类特殊约束的非线性规划问题 ,建立了
相应的神经网络模型[1 ],在该模型中 ,经过适当的 处理 ,使该类特殊约束避免了求导.
在水资源系统规划与管理中 ,更具普遍意义的 是存在有上述类型的多元非线性约束 ,其形式如下 Pk( v1, v2,…, vn) ≤0, k = 1,2,…, l3 (6) 式中 , Pk是每一个变量vs( s =1,…, n) 的连续单 调递增函数 ,它对每一个变量不可导或尽管可导但 求导极为困难甚至无法求得. 例如 ,除涝排水系统 实时调度中 ,问题可描述为求V = ( vt , k)T×l3的值 , 使系统总运行费和各种损失之和最小 ,其中 vt , k( t
=1,…, T ; k =1,2,…, l3) 可描述为第t天第k排 水沟的排水流量 (入口处) ( T为实时调度预报期 天数 , l3为排水沟条数) . 实际中 , vt , k必须满足以 下水力学约束 : WLt , k , j( v1, k,…, vt , k) ≤WLk , jmax, 即第 t天第k排水沟第j断面的水位WLt , k , j( v1, k,
…, vt , k) 不应高于其沟顶高程 WLk , jmax ,该约束中
WLt , k , j( v1, k,…, vt , k) - WLk , jmax是vt , k的连续单调 递增函数 ,其中 WLt , k , j( v1, k,…, vt , k) 必须通过求 解非恒定流水力学模型才能得到 ,并且在除涝排水 系统 优 化 调 度 中 , 往 往 需 要 反 复 迭 代 , 可 见
WLt , k , j( v1, k,…, vt , k) 的确定是一个复杂的过程 ,
使得 WLt , k , j( v1, k,…, vt , k) - WLk , jmax对 vt , k的导 数虽存在但不易甚至无法求得 ,上述这类约束可视 为与约束 (6) 的形式相同. 约束 (6) 中含有多个变 量 ,约束 (5) 仅相当于它的一个特例 ,针对水资源系 统中的具有约束 (6) 非线性规划问题 ,下面建立相 应的神经网络模型.
3 具有一类特殊约束的非线性规划 神经网络模型及求解方法
具有式 (6) 型约束的非线性规划模型可描述为
s. t .
minf ( v1, v2,…, vm, vm +1,…, vm + n) hi( v1, v2,…, vm, vm +1,…, vm + n) = 0, i = 1,2,…, l1
gj( v1, v2,…, vm, vm +1,…, vm + n) ≥0, j =1,2,…, l2
Pk( vm +1,…, vm + n) ≤0, k = 1,2,…, l3
(7)
设f , hi, gj存在一阶和二阶偏导数 ,且 f 在约束范 围内有下阶 , Pk为每一个变量vs( s = m +1,…, m + n) 的连续单调函数 ,为了模型有更广泛的适用
性 ,不失一般性 ,假设 Pk对变量vs( s = m +1,…, m + nk) 是连续单调递增函数 ,对其它变量vs( s = m + nk +1,…, m + n) 是连续单调递减函数.
这类非线性规划问题与一般非线性规划问题 不同之处在于它多出一类约束 Pk , 由 于 它 不 可 导 ,所以不能与约束 gj混为一谈 ,因而它与 gj的处 理方式也不同. 约束 Pk( k =1,…, l3) 可以改写为 以下约束形式
vs - vk , s3 ≤0, vs = vk , s3 ≥0,
s = m +1,…, m + nk s = m + nk +1,…, m + n 记V1 = ( vm +1,…, vm + n)・vk , s3 表示当V1中其他分 量为 ( vm +1,…, vm + s -1, vm + s +1,…, vm + n) 时 , vs 取
值vk , s3 使得Pk =0 . 因为 Pk是vs( s = m +1,…, m
+ nk) 的连续单调递增函数 ,所以当s = m +1,…, m + nk时 ,式 (7) 中的约束 Pk ≤0 等价于 vs - vk , s3
≤0;同理 Pk是vs( s = m + nk +1,…, m + n) 的 连续单调递减函数 ,所以当s = m + nk +1,…, m + n时 ,式 (7) 中的约束 Pk ≤0 等价于 vs - vk , s3
≥0.
基于 Hopfield 连续模型和罚函数法[2～4 ],对上 述非线性优化问题采用构造非线性规划神经网络 能量函数 :
E ( V) = f ( V) +
∑
l1
i =1
γ1, i( hi( V) )2 -
∑
l2
j =1
min{0, gj( V) } +
∑
l3
k =1
∑
m + n k
s = m +1
γ3, k , smax(0, vs - vk , s3 ) -
∑
l3
k =1
∑
m + n
s = m + n k+1
γ3, k , smin(0, vs - vk , s3 ) (8)
其 中 , V = ( v1, v2,…, vm, vm +1,…, vm + n) ;γ1, i,
γ2, j,γ3, k , s分别为约束hi, gj, Pk的惩罚系数. 式中
第 1 项是目标函数 ,第 2 项是等式约束 hi =0 的惩 罚项 ,第 3 项是不等式约束 gj ≥0 的惩罚项 ,第 4 项和第 5 项是不等式约束 Pk ≤0 的惩罚项. 显然 , 能量函数的极小值点对应非线性规划 (7) 目标函数 的极小值点.
对于式 (8) ,采用梯度法可以构造出神经网络 的演化方程 :
Cr
dur
5t = - 5E 5vr
= - 5f 5vr
-
∑
l1
i =1
2γ1, ihi
5hi
5vr
+
∑
l2
j =1
γ2, jS2( gj) 5gj
5vr
- 第5期 周祖昊等:具有一类不可导多元约束函数的非线性规划神经网络模型 103
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
∑
l3
k =1
∑
m + n k
s = m +1
γ3, k , sS3( vs - v3k , s) (dvs
dvr
) +
∑
l3
k =1
∑
m + n
s = m + n k+1
γ3, k , sS3( vs - v3k , s) (dvs
dvr
) =
- 5f 5vr
-
∑
l1
i =1
2γ1, ihi5hi
5vr
+
∑
l2
j =1
γ2, jS2( gj) 5gj
5vr
-
∑
l3
k =1
∑
m + n k
s = m +1
γ3, k , sS3( Pk) (dvs
dvr
) +
∑
l3
k =1
∑
m + n
s = m + n k+1
γ3, k , sS3( Pk) (dvs
dvr
) (9)
vr = L ( ur) = ( vrmax - vrmin) / [1 + exp( - ur/ Hr) ] + vrmin, r = 1,2,…, m + n
(10) 式 (9) , (10) 中各符号的意义与式 (3) , (4) 和 (9) 中 的相同.
S3( x) = 1, x > 0 0, x ≤0
演化方程 (9) , (10) 能反映神经网络状态的演 变过程 ,如此便构成了具有一类多元不可导约束的 非线性规划神经网络模型.
求解该非线性规划神经网络模型的步骤如下 : (1) 给 定 初 值 U , V , 其 中 U = ( u1, u2,…, um + n) , V = ( v1, v2,…, vm + n) ;
(2) 将 U , V代入式 (9) , (10) 中 ,用改进 Euler 法解一阶非线性微分方程组 ,得到 U′, V′;
(3) 计算V′与V的差值 ,若满足精度要求 ,转 向 (4) ,否则令 U = U′, V = V′,转向 (2) ;
(4) 输出结果V , V即为非线性规划问题的解 , 计算结束.
4 算例
考虑如下非线性规划问题 :
s. t .
min( x1 - 1)2 + ( x2 - 2)2 x1 - x2 +1 ≥0
- x1 - x2 +2 ≥0
min{2x1 - x2 +2, x31 - x32 +5} ≤0 式中第 3 个约束函数是 x1的单调递增函数 ,是 x2
的单调递减函数. 已知问题的最优解是 ( - 1 ,0) ,最 优值是 8.
对上述问题 ,对照式 (8) 构造能量函数 E = ( x1 - 1)2 + ( x2 - 2)2 -
γ1min{ x1 - x2 +1,0} - γ2min{ - x1 - x2 +2,0} + γ3max{ x1 - x13 ,0} - γ4min{ x2 - x23 ,0}
对照式 (9) , (10) ,构造出神经网络的演化方程 C1
du1
dt = - 2( x1 - 1) +γ1S2( x1 - x2 +1) - γ2S2( - x1 - x2 +2) -
γ3S3 min{2x1 - x2 +2, x31 - x32 +5}
C2
du2
dt = - 2( x2 - 2) - γ1S2( x1 - x2 +1) - γ2S2( - x1 - x2 +2) +
γ4S3 min{2x1 - x2 +2, x31 - x32 +5} xr = L ( ur) = ( xrmax - xrmin) / [1+
exp( - ur/ Hr) ] + xrmin, r = 1,2
取初值为 X = ( x1, x2) = (1,2) , C1 = C2 = 60 000,时间步长 dt = 1 ,使用改进 Euler 法求解 , 经过 2 285 次迭代 ,计算收敛 ,结果如表 1 所示. 表 1 的计算结果近于最优解 ,如果增加 C1和C2值 ,还 能提高精度.
表1 计算机模拟结果
t x1 x2 f ( X)
200 400 600 800 1000 1200 1400 1600 1800 2000 2285
0. 3 666 667 0. 1 651 951 - 0. 0 171 417 - 0. 1 821 529 - 0. 3 314 675 - 0. 4 603 299 - 0. 5 825 857 0. 6 932 069 0. 7 933 022 - 0. 8 838 723 - 0. 9 960 461
1. 3 646 819 1. 1 638 426 0. 9 820 211 0. 8 174 483 0. 6 684 978 0. 5 274 560 0. 4 054 810 0. 2 951 116 0. 1 952 490 0. 1 048 943 - 0. 0 010 897
0. 8 047 401 1. 3 960 585 2. 0 708 584 2. 7 959 140 3. 5 457 039 4. 3 009 490 5. 0 470 683 5. 7 735 942 6. 4 730 589 7. 1 404 002 7. 9 861 757
5 结束语
本文针对现实中如水资源系统中常见的一类带 特殊约束的非线性规划问题 ,扩展了文献[1 ]的神经 网络模型 ,建立了一类带多元此类约束的非线性规 划神经网络模型 ,进一步完善了非线性规划神经网 络模型和扩大了神经网络方法在水资源系统中应用 的范围. 文中给出的仿真实例的计算结果表明 ,该神 经网络能有效地求解此类非线性规划问题.
104 武汉水利电力大学学报 1999
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 参考文献 :
[ 1 ]周祖昊,郭宗楼.具有一类不可导约束的非线性规划神
经网络模型[J ] .系统工程与决策,1999 ,4.
[ 2 ] Tank D W , Hopfield J J . Simple‘neural’optimization net2 works :An A/ D converter , signal decision circuits , and a lin2
ear programming circuits[J ] . IEEE Trans. on Circuits Syst. , 1986 , 33 (5) .
[3 ] Kennedy M P , Chua L O. Neural networks for nonlinear pro2 gramming[J ] . IEEE Trans. on Circuits Syst. , 1988 ,35 (5) . [4 ]胡铁松.神经网络优化与预测[M] .大连:大连海事大学
出版社,1997.
Neural net works for nonliner progra mming with a kind of nondifferential multivariable constraints
ZHOU Zu 2 hao , GUO Zong 2 lou
(College of Water Conservancy and Hydropower Engineering , Wuhan Univ. of Hydr. & Elec. Eng. , Wuhan 430072 China)
Abstract :In water resources system , there exists a kind of nonlinear programming problem whose constraint functions are nondifferential but continuously monotone increasing. An artificial neural network model based on Continuous Hop2 field Neural Network is presented by authors for the situation that this kind of constraint funtions are single2variable. In this paper , an artificial neural network model is extended to the situation that this kind of constraint function are multi2 variable. Simulation demonstrates the extended model is effective.
Key words :water resources system ; multivariable ; nondifferential ; nonlinear programming ; neural network model 第5期 周祖昊等:具有一类不可导多元约束函数的非线性规划神经网络模型 105
