论基于 !"#$"% 语言的 %& 神经网络的改进算法

(1)

论基于 !"#$"% 语言的 %& 神经网络的改进算法

苏高利

^’

邓芳萍

⁽

（’ 浙江省气象科学研究所，浙江杭州 )’***+；( 杭州市气象局，浙江杭州 )’***,）

摘要：针对标准 %& 算法存在的缺陷，本文给出了基于 !"#$"% 语言的 %& 神经网络几种改进的算法 - 阐述了各种

%& 算法的优化技术原理、优缺点，并就它们的训练速度和内存消耗情况作了比较 - 建议在多数 %& 神经网络训练

时，先尝试使用 $./.01.23 4 !52675289 算法，其次是 %:;< 算法或共轭梯度法以及 =&=>& 算法 -

关键词：!"#$"% 语言；%& 神经网络；%& 优化算法

中图分类号：#&’,) 文献标识码：" 文章编号：’**’ 4 ?’’@（(**(）*( 4 *’)* 4 *A

!" #$% &’()*+,"- ./01()*(/-/#,*" 23-*),#$’4 *5

#$% 6%7)/3 6%#8*)14 ./4%9 *" :2;<2. </"-7/-%：2 =%+,%8

!" #$%&’(^’ )*+# ,$-.&/(-.⁽

（’- BC.DE503 F0G9E979. HI !.9.2HJH3K，L503MCH7 )’***+，NCE05；

( - L503MCH7 !.9.2HJH3EO5J "8PE0EG9259EH0 ，L503MCH7 )’***,，NCE05）

2>4#)/0#：#H .JEPE059. 9C. GCH29OHPE03 HI G9508528 15OQR2HR5359EH0 5J3H2E9CP，GHP. PH8EIE.8 %& 5J3H2E9CPG E0 9C. !"#$"%’G 0.725J 0.9SH2QG 9HHJ1HT 52. 3E/.0 E0 9C. R5R.2 - #C.G. CE3C R.2IH2P50O. 5J3H2E9CPG 52. 8EGO7GG.8 E0 9C. HR9EPEM59EH0 9.OC0E67.G 508 OHPR52.8 SE9C GR..8 508 P.PH2K- :H2 PHG9 GE9759EH0G，9C. $./.01.23 4 !52675289 5J3H2E9CP EG 58/EG.8 9H 7G. IE2G9，9C.0 9C. %:;<

5J3H2E9CP，H2 H0. HI 9C. OH0D7359. 3258E.09 P.9CH8G，H2 =&=>& 5J3H2E9CP EG OH0GE8.2.8-

?%@ 8*)94：!"#$"% J503753.；%& 0.725J 0.9SH2Q；%R HR9EPEM59EH0 5J3H2E9CPG

A 引言

人工神经网络（"29EIEOE5J U.725J U.9SH2Q，"UU），

自从 (* 世纪 V* 年代 =HG.01J599 首次将单层感知器应用于模式分类学习以来，已经有了几十年的研究历史 - 但是，由于 !E0GQK 和 &5R.29 指出单层系统的局限性，并表达了对多层系统的悲观看法，在 (* 世纪 ?* 年代对 "UU 的研究兴趣减弱 - 直至 ,* 年代中期 =7P.JC529 等重新阐述了反传训练方法^’，使得在

"UU 领域的理论和应用研究开始在世界范围内重新兴起 - "UU 是一种按照人脑的组织和活动原理而构造的一种数据驱动型非线性映射模型，它具有并

行处理、自适应自组织、联想记忆、容错鲁棒以及逼近任意非线性等特性，在预测评估、模式识别、信号处理、组合优化及知识工程等领域具有广泛的应

用^{［( W V］}- 近年来，已有多种 "UU 模型被提出并得以

深入研究 - 其中，,* X W @* X的人工神经网络模型是采用前馈反向传播网络（%5OQ 4 &2HR5359EH0 U.9Y SH2Q 简称 %& 网络）或它的改进形式^{［A W ’*}］，它是前向网络的核心部分，体现了网络最精华的部分 - 标准的 %& 网络是根据 ZE82HS 4 LHII 规则，采用梯度下降算法，在非线性多层网络中，反向传播计算梯度 - 但 %& 网络存在自身的限制与不足，如需要较长的训练时间、会收敛于局部极小值等，使得 %& 算法在实际应用中不是处处能胜任^［V］-

[HJ - ’@ UH- (

!52 - (**) %\$$]#FU >: <NF]UN] "U^ #]NLU>$>;_

第 ’@ 卷第 ( 期 ( * * ) 年 ) 月

收稿日期：(*** 4 ’( 4 (V

作者简介：苏高利，男，’@?) 年生，广东湛江人，工程师，硕士 -

万方数据

(2)

因此近十几年来，许多研究人员对其做了深入的研究，提出了许多改进的算法［!，"，##］，如使用动量项的加快离线训练速度的方法^［#］、归一化权值更新技术方法^［##］、快速传播算法^［#!］、!$!方法^［#%］、扩展卡尔

曼滤波法^［#&］、二阶优化^［#"］以及最优滤波法^［#’］等 (

本文讨论 )* 网络的改进算法有两类，一类是采用启发式技术，如附加动量法、自适应学习速率法、+*+,* 方法；另一类是采用数字优化技术，如共轭梯度法、拟牛顿法、-./.01.23 $ 452675289 方法 ( 这些算法集成在 4:;-:) 语言神经网络工具箱中^［!］( 4:;-:) 是 459<=>2?@ 公司研制的一套高性能的数值计算和可视化软件，得到了各个领域专家学者的广泛关注，因为利用 4:;-:) 及其工具箱所得结果是相当令人满意的，并且其强大的扩展功能为各个领域的应用提供了手段^［%］( 其中神经网络工具箱是用 4:;-:) 语言开发出来的许多工具箱之一，网络的设计者可以根据自己的需要去调用工具箱中有关神经网络的设计与训练函数，使自己能够从繁琐的编程解脱出来，集中精力去思考问题和解决问题，从而提高效率和解题质量 ( 本文通过基于 4:;A -:) 语言的 )* 神经网络的不同改进算法的评论，

有助于了解 )* 网络改进的算法及其优缺点，从而达到正确、合理、充分应用不同的 )* 算法训练前馈反向传播网络 (

在 4:;-:) 神经网络工具箱中改进的 )* 算法及其相应的训练函数有：附加动量法（925B038C( C）、

自适应学习速率法（925B0385( C，925B038D( C）、+*+,*

方法（925B02E( C）、共轭梯度法（925B0F3G( C，925B0F3E(

C，925B0F31 ( C，925B0@F3 ( C）、拟牛顿法（ 925B01G3( C，

925B0>@@）以及 -./.01.23 $ 452675289 方法（ 925B0HC(

C）(

! 附加动量法

附加动量法使 )* 神经网络在修正其权重和阈值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，它允许忽略网络上的微小变化特性 ( 该方法是在反向传播法的基础上，

在每一个权重和阈值的变化上加上一项正比于前次权重和阈值变化量的值，并根据反向传播法来产生新的权重和阈值的变化，带有附加动量因子的权重和阈值（ !）调节公式为^［&］：

"!（ " # #）$ %& ’ "!（ "）# () ’ %& ’!*

!!

I + () ! # （#）

其中 " 为训练次数，%& 为动量因子，一般取 I, J" 左右，() 为学习速率，是常数，* 为误差函数 ,

这种方法所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，从而改善了收敛性，找到更优的解 , 但是这种方法的缺点也是明显的，参数的选取只能通过实验来确定，而且它的学习速度还不能满足实时的工作需要 ,

在 4:;-:) 工具箱中附加动量法是通过训练函数 925B038C( C 来实现的，其参数有：训练次数 -./&01、误差函数指标 2/3(、学习速率 ()、动量因子

%&、训练步长 10/4、最小梯度 CB052)36 以及训练时间 78%- , 一旦训练达到了最大的训练次数，或者低于最小梯度，或者网络函数指标降低到期望误差之下，都会使网络停止学习 ,

" 自适应学习速率法

自适应调整学习速率有利于缩短学习时间 , 标准 9: 算法收敛速度慢的重要原因是学习速率选择不当 , 学习速率选得太小，收敛太慢；学习速率选取得太大，则有可能修正过头，导致发散 , 因此出现了自适应调整的改进算法，其权重和阈值（ !）更新公式为^［!］：

"! $ () ’!*

!! （!）

"!（ " # #）$ %& ’ "!（ "）# () ’ %& ’!*

!! （%）

其中，() 为学习速率，是变量，而公式（#）中 () 是常数 ,

通常调节学习速率 () 的准则是：检查权重的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量；若不是这样，而产生了过调，那么就应减小学习速率的值 , 在 4:;-:) 工具箱中，给出了一种自适应学习速率 () 的调整公式：

()（ " # #）$

# , I" ()（ ;）

I , K ()（ ;）

()（ "

{

）

（&）

%1-（ " # #）+ %1-（ "）

%1-（ " # #）< # , I&%1-（ "）

其它

第 ! 期苏高利等 ( 论基于 4:;-:) 语言的 )* 神经网络的改进算法 #%#

(3)

其中，!"# 为均方差，初始学习速率!（!）的选取范围可以有很大的随意性 $

在 "#$%#& 工具箱中自适应学习速率法通过训练函数 ’()*+,-). /（对应公式 0）和 ’()*+,-1. /（对应公式 2）来实现的 $ 其训练参数有：训练次数

#%&’("、误差函数指标 )&*+、初始学习速率 +,、学习速率增加系数 +,-./’（3$ !4）、学习速率减少系数 +,-0#’（! $5）、误差比率 !*1-%#,2-./’、动量因子 !’、

最小梯度 /*+-),*0、训练步长 "(&3 以及训练时间 4.!# $ 一旦训练达到了最大的训练次数，或者网络函数指标小于期望误差，或超出规定计算的时间，都会使网络停止学习 $

! 弹性 &6（789:8+’

&);<=(>=),)’*>+， 767?6）方法

一般来说，&6 网络的隐含层激活函数采用 @ 形的（@*,/>*-）函数 . @*,/>*- 函数用于将神经元的输入范围（ A B，C B）映射到（!，3），当输入变量很大时，@*,/>*- 函数的斜率将接近于 !. 这可能导致在利用 @*,/>*- 函数训练 &6 网络中梯度下降的问题，由于即使梯度有很小的变化，也会引起权重和阈值的微小变化，使权重和阈值远离最乐观的值 .

有鉴于此，3DD2 年德国 ")(’*+ 7*8-/*::8( 和 E8*+(*;F &()G+ 在他们的论文中提出有弹性的

&6（789*:*8+’ &);<=(>=),)’*>+）方法^［35］. 这种方法的原理是打算消除偏导数的大小有害的影响权步，因此，唯有导数的符号被认为表示权更新的方向，而导数的大小对权更新没有影响^［4］. 权改变的大小仅仅由权专门的“更新值”!^{（ 4）}.5 来确定：

!6^{（ 4）}.5 7

8 !^{（ 4）}.5 如果"9^{（ 4）}

"6.5 : !

; !^{（ 4）}.5 如果"9^{（ 4）}

"6.5 < !

!









其他

（4）

其中"9^{（ 4）}

"6.5

表示在模式集的所有模式（批学习）上求和的梯度信息 $（ 4）表示 4 时刻 $

对每个权重和阈值的更新值得到修改，权更新本身遵循一个很简单的规则：如果导数是正（增加误差），这个权重和阈值由它的更新值降低，如果导数是负，更新值提高：

6^{（ 4 ;3）}4. 7 6^{（ 4）}4. ; !6^{（ 4）}.5 （H）

=>=?> 的基本原理是权重和阈值更新值的直接修改，它和以学习速率为基础的算法相反（正如梯度下降一样）$ =>=?> 引入 =#".+.#/4（有弹性的）

更新值的概念直接地修改权步的大小 $ 因此，修改结果不会被不可预见的梯度性能变模糊 $ 由于学习规律的清楚和简单，和最初的反传算法比较，在计算上仅有少量的耗费 $ 除了快速外，=>=?> 的主要优点之一在于对许多问题一点也不需要参数的选择以得到最优或者至少接近最优收敛时间 $

在 @ABCAD 工具箱中 =>=?> 算法通过训练函数 4,*./,% $ ! 来实现的，它的训练参数有：

训练次数 #%&’("、训练步长 "(&3、误差函数指标 )&0+、训练时间 4.!#、最小梯度 /*+ 8 ),*0、“更新值”增量 -8:’ A *+;、“更新值”减量 -8:’ A -8;、初始

“更新值”-8:’)! 以及最大“更新值”-8:’) !*1 $

" 共轭梯度法

当使用共轭梯度向量来确定共轭方向时，称此算法为共轭梯度法 . 3DD! 年 I. %8>+)(- 和 ". #.

J()/8( 将共轭梯度法和行搜索策略结合在一起 . 在共轭梯度法中，沿着共轭方向进行行搜索，收敛速度将比一般的梯度下降法要快得多 . 在一般的训练算法中，是利用学习速率决定权重和阈值更新的步长，而在多数共轭梯度算法中权值步长各自反复地调整，沿着共轭梯度用行搜索来决定权值步长以减少在行中的完成功能 . 共轭梯度法可以不必计算或存储二阶导数信息就具有二阶方法的功能，它与拟牛顿法相比，它的计算代价很低，因此在较大规模问题中十分有用 .

在 "#$%#& 工具箱中，有 K 种不同的共轭梯度算法：L:8’;F8( A 788M89、6>:)< A 7*N*8(8、6O8:: A &8):8 以及 @;):8- P>+QG,)’8 R()-*8+’（@PR）算法 .

" . # L:8’;F8( A 788M89 共轭梯度法

所有的共轭梯度算法的搜索方向 6_!是从最陡下降方向 ,（梯度的负方向）开始搜索：_!

>! 7 8 )! （5）

然后利用行搜索沿着当前搜索方向决定权重和阈值（ 6）：

6E ;3 7 6E ; #E>E （S）

其中 > 为搜索方向，参数#用来减少搜索方向的梯度 $接着，决定下一行搜索方向与以前的搜索方向是共轭的 $ 决定新的搜索方向的一般方法是把新的

320 ^科 ^技 ^通 ^报 3D 卷

万方数据

(4)

最陡下降方向 ! 与以前的搜索方向结合起来：

"_# $ % !# & !^#"_{# %!} （"）

!^#项可通过多种方式定义，这样按照上式就有一族共轭梯度法产生方向向量 ’ 不同的!^# 表达式就有不同的共轭梯度法 ’ #$%&’(%) * +%%,%- 共轭梯度法由 #$%&’(%) * +%%,%- 公式^［!.］获得 ’ 其公式为：

!^# $ !⁽#!#

!⁽#%!!# %!

（!/）

#$%&’(%) * +%%,%- 共轭梯度算法训练速度要比自适应学习速率反传算法要快的多，有时还比 +0+10 算法还要快 2 这种算法需要内存小 2 当网络权重和阈值很多时，它是一种很好的方法 2

在 345647 工具箱中 #$%&’(%) * +%%,%- 共轭梯度法是通过训练函数 &)89:’;<2 = 来实现的，

它的训练参数有：训练次数 )*+,-.、训练步长 .-+/、误差函数指标 !+01、训练时间 234)、最小梯度

=9:5!607 以及行搜索函数 .)06,-8,9 ’

! 2 " 0>$8? * +9@9%)% 共轭梯度法

0>$8? 和 +9@9%)% 提出了另一种共轭梯度算法^［!!］2 与 #$%&’(%) * +%%,%- 方法一样，搜索方向由下式决定：

"# $ % !? & !^?"# %! （!!）

其中由下式计算：

!^# $ !!⁽#%!!#

!⁽_#%!!_{# %!} （!A）

因此就有了 "+10# % :3;3)6) 共轭梯度法 ’ "+10#

% :3;3)6) 算法类似于 81)2,-)6 % :))<). 算法，

但对特定的问题来说很难决定哪种方法更好些，只不过前者需要的内存要比后者稍大一些 ’

在 =>(?>@ 工具箱中 "+10# % :3;3)6) 共轭梯度法是通过训练函数 26039,!* ’ 4 来实现的，其训练参数有：训练次数 %B>’(-、训练步长 -(>C、误差函数指标 ;>8$、训练时间 &9=%、最小梯度 439D;)8E 以及行搜索函数 -%8)’(#’:2

! ’ # "+/)11 % @)01) 共轭梯度法

对于所有的共轭梯度算法来说，搜索方向都设置为负梯度 ’ 当迭代的次数等于神经网络参数（权重和阈值）的个数时，标准设置点就出现 ’ 但可以通过其它设置方法来改善网络的训练效果 ’ 如 "+/)11

% @)01) 共轭梯度法^［!"］：

A !⁽#%!!# A ! / ’ A" !#"^A （!F）

当上式成立时，搜索方向将重新设置为负梯

度 ’ 使用该方法在处理某些问题时训练效果比用

"+10# % :3;3)6) 共轭梯度法略好，但需要的内存稍大些 ’

在 =>(?>@ 工具箱中 "+/)11 % @)01) 共轭梯度法是通过 26039,!; ’ 4 函数来实现，该函数的训练参数有：训练次数 )*+,-.、训练步长 .-+/、误差函数指标 !+01、训练时间 234)、最小梯度 =9:5!607 以及行搜索函数 .)06,-8,9 2

! 2 ! 成比例的共轭梯度（G’8$%E H>:IJ;8&% K)8E9%:&，GHK）算法

前面提到过的共轭梯度算法要求在每次迭代时进行行搜索 2 这种行搜索很费时，因为每次进行行搜索时网络所响应的训练的输入变量要进行多次计算 2 针对这个问题，3>$$%) 采用成比例的共轭梯度（ G’8$%E H>:IJ;8&% K)8E9%:&，GHK）算法忽略行搜索^［A/］2 该算法很复杂，但其基本原理是利用下面将要讨论的 6%,%:@%); * 38)LJ8)E& 算法与共轭梯度法相结合的 2

采用 GHK 算法训练较其它共轭梯度算法需要更多的迭代次数才能达到收敛，但每次迭代需要计算的次数显著减少了，因为它不用进行行搜索 2 GHK 算法内存要求与 #$%&’(%) * +%%,%- 一样 2

345647 工具箱中 GHK 算法通过训练函数

&)89:-’;2 = 来实现的，其训练参数有：训练次数 )*+,-.、训练步长 .-+/、误差函数指标 !+01、训练时间 234)、最小梯度 =9:5!607、决定二次偏导逼近的权值变化的参数 .3!40 以及海森距阵调整参数 104;70 ’

$ 拟牛顿算法

$ 2 % 7)>ME%: * #$%&’(%) * K>$E<8)E * G(8::>

（7#KG）算法

牛顿算法优于共轭梯度算法 2 牛顿算法的基本步骤为：

B# &! $ B# % C^%!# !# （!N）

C 是海森矩阵，牛顿法较共轭梯度法收敛快，

但在前馈反向网络中海森矩阵计算复杂、耗时 ’ 这里有一种不用计算二阶导数的改进牛顿算法叫拟牛顿算法，也称为可变尺度法 ’ 拟牛顿法在导数信息的基础上，试图通过迭代次数逐渐建立对海森矩阵的近似 ’ 其中最广泛使用的更新方案是 7)>ME%:

* #$%&’(%) * K>$E<8)E * G(8::>（7#KG）更新公

第 A 期苏高利等 2 论基于 345647 语言的 70 神经网络的改进算法 !FF

(5)

式^［!!］：

!_{" #!} $ !" #（! #!%^&^"!"!%"

!’^&^"!%"

）!’"!’^&^"

!’^&^"!%"

(

!’"!%⁾"!_" # !!"!%"!’^&"

!’^&^"!%"

（!"）

其中，! 是海森矩阵 * 的近似值，’ 为网络的权重和阈值，% 为梯度，" 为训练次数 +

尽管 #$%& 算法通常需要很少的迭代数就能收敛，但它每步迭代的计算量和内存需求大于共轭梯度法 + 因为要存储近似海森矩阵，它的维数为 ,^’ - ,^’，其中相当于网络中权重和阈值的个数 + 对于大型网络来说，最好使用 ()*+) 法或共轭梯度法，而训练小型网络时使用 #$%& 算法效果较好 ,

在 -./0.# 工具箱中按照 #$%& 拟牛顿法更新网络权重和阈值的训练函数为 )./0,12% + 3，其参数有：训练次数 456789、训练步长 986:、误差函数指标

%6/;、训练时间 )034、最小梯度 30,<%./= 以及行搜索函数 94/.78>7, +

! , " 一步割线（123 &43) &35624，1&&）算法

由于 #$%& 算法每步迭代时的存储量和计算量都大于共轭梯度法，这就需要有更少计算量的正切逼近 , 123 &43) &35624（1&&）方法是共轭梯度法和拟牛顿法的折衷方法 , 在 1&& 算法中，网络权重和阈值按照下式调整：

’_{" #!} $ ’" # !"?_" （!7）

其中 ? 为搜索方向，参数!用来减少搜索方向的梯度 + 利用行搜索函数来确定最小点位置 + 第一次搜索方向是负梯度方向 + 在连续迭代中，新搜索方向按照以下公式计算：

!’" #! $ ( %" # @7 - ’" # A7 - !%" （!8）

其中 ’ 为网络的权重和阈值，% 为梯度，" 为训练次数，@7 与 A7 为新搜索方向调整参数，详细描述请参见文献^［’!］, 这种方法不用存储整个海森矩阵，假设每次迭代时前一次的海森矩阵是正定的，并且在计算新的搜索方向时没有用到海森矩阵的逆 , 1&&

算法每步需要的内存和计算量都小于 #$%& 算法，

但略大于共轭梯度法 ,

在 -./0.# 工具箱中按照 1&& 算法更新网络权重和阈值的训练函数为 4*692+::, ;，其参数有：训练次数 456789、训练步长 986:、误差函数指标 %6/;、

训练时间 )034、最小梯度 ;92<%./= 以及行搜索函数 ,

# 03<32=3> ? -6@A6*B4 优化方法

在牛顿算法中，如果海森矩阵不是正定的，牛顿方向可能指向局部极大点，或是某个鞍点 , 可以通过在海森矩阵上加一个正定矩阵，使海森矩阵改变为正定 , 03<32=3*> 和 -6*@A6*B4 在最小二乘问题中引入了这一概念 , 随后，%+CBD3CB 等首次将这一概念应用于 #E 算法中，因此有了 #E 网络的 03<32=3*>

? -6*@A6*B4 优化方法，其权重和阈值更新公式为^［’’］：

’_{" #!} $ ’" (（ B^&B # "C）^(!B^&4 （!F）

其中 B 为误差对权值微分的雅可比矩阵，4 为误差向量，" 为一个标量 + 依赖于" 的幅值，该方法光滑地在两种极端情况之间变化：即牛顿法（当"!G）

和著名的最陡下降法（当"! H）, 采用 03<32=3*> ? -6*@A6*B4 优化方法，可以使学习时间更短，在实际应用中效果较好 , 但对于复杂的问题，这种方法需要很大的内存 , 在 -./0.# 工具箱中，解决了这个问题 ,

在 -./0.# 工具箱中带有 03<32=3*> ? -6*I

@A6*B4 优化方法的训练函数为 4*692C;, ;，其训练参数有：训练次数 456789、训练步长 986:、误差函数指标 %6/;、训练时间 )034、最小梯度 30,<%./=、减少内存系数 ;3;<.4=D7 以及"的初始值、增加系数、减小系数和最大值 +

表 ! 给出了一个解决回归问题时，使用 -./I 0.# 工具箱中 #E 改进算法训练时网络的收敛时间的例子^［’］, 在网络设计时，利用 ! ? !G ? ! 拓补结构，J! 个样本对，期望误差为 G , G! , 可以看出采用 03<32=3*> ? -6*@A6*B4 算法网络收敛最快 ,

表 ! -./0.# 工具箱中 #E 不同算法训练时网络的收敛时间比较

/6=C3 ! 4K3 5+2<3*>3253 49;3 +D 4*69292> 234L+*M L94K B9DD3*324

#65M)*+)6>49+2 6C>+*94K;: 92 4K3 -./0.# 4++C=+N

训练函数 #E 算法收敛时间（:）训练次数

4*692>BN, ; 自适应学习速率法 "8 , 8! OFG 4*692*) , ; ()*+) !’ , O" !F"

4*692:5>, ; &P% !7 , G7 !G7

4*6925>D , ; $C345K3* ? E+L3CC !7 , JG F!

/*6925>) , ; E+C6M ? (9=93*3 !O , !7 FO 4*6925>= , ; E+L3CC ? =36C3 !" , GQ 8J

/*6922+::, ; 1&& !F , J7 !G!

4*692=D>, ; #$%& !G , F7 JJ

4*692C;, ; 03<32=3*> ? -6*@A6*B4 ! , F8 7

!QJ ^科 ^技 ^通 ^报 !O 卷

万方数据

(6)

! 结论

在前馈反向传播网络应用中，对某一特定的问题，很难确定哪种训练算法最快 ! 因为这取决于问题的复杂性、训练样本数、网络权重和阈值个数以及期望误差等许多因素 ! 一般来说，网络具有几百个权值时，采用 "#$#%&#’( ) *+’,-+’./ 算法收敛速度最快 ! 如果要求正确训练时，该算法的优点就更明显 ! 在中型网络中采用拟牛顿方法训练收敛速度仅次于 "#$#%&#’( ) *+’,-+’./ 算法 ! 虽然 0123 算法要求存储近似海森矩阵，但它一般比共轭梯度法快 ! 在所有的共轭梯度法中，456#77 ) 0#+7# 算法需要的内存多，但它通常收敛是最快的 ! 89’59 和 3:2 算法不需要行搜索，内存要求较小，因此速度快，在大型问题中非常有用 !

自适应学习速率法通常比其它算法慢，与 89’59 一样，需要同样的内存，但对某些问题来说，

它还是有用的 ! 例如，如果采用某种算法，导致网络收敛较快，得到不正确的结果，就可以采用自适应学习速率法让网络收敛慢一些，以减少误差 !

总之，在多数情况下，建议首先使用 "#$#%&#’(

) *+’,-+’./ 算法，如果该算法消耗内存太大，可以尝试使用 0123 算法或共轭梯度法 ! 848;4 法也较快，需要内存也少，因此，也可以考虑用该方法训练网络 !

参考文献

［<］ 8-=#7>+’/ ? @，AB%/5% 2 @，CB77B+=D 8 E! "#+’%B%(B%/#’%+7 ’#9’#F D#%/+/B5%D &G #’’5’ 9’59+(+/B5%［H］!8-=#7>+’/ ? @ E+=#D "! *I:7#7F 7+%. E "! 4+’+77#7 .BD/’B&-/#. 9’5I#DDB%(：#J975’+/B5%D B% /># =BF I’5D/’-I/-’# 5K I5(%B/B5%［:］，$57-=# <，:+=&’B.(#，*H：*LM 4’#DD，

<NOP ! Q<O R QPS !

［S］ T#-’+7 T#/65’U M557&5J VD#’’D 2-B.# ! M># *+/>65’UD，B%I! <NNN!

［Q］楼顺天，施阳 ! 基于 *HM"H0 的系统分析与设计———神经网络［*］! 西安：西安电子科技大学出版社，<NNO!<WQ R <XW!

［W］丛爽 ! 面向 *HM"H0 工具箱的神经网络理论与应用［*］! 合肥：中国科学技术大学出版社，<NNO ! <WS R <PN !

［X］袁曾任 ! 人工神经元网络及其应用［*］! 北京：清华大学出版社，<NNN ! <Q< R SYQ !

［P］杨火^斤，马洪波 ! 人工神经网络在中长期汇率预测中的应用

［E］!科技导报，<NNN，W（Q）：QO R W<!

［Y］洪伟，吴承祯，何东进 ! 基于人工神经网络的森林资源管理模型研究［E］! 自然资源学报，<NNO，<Q（<）：PN R YP!

［O］杨兆升，朱中 ! 基于 04 神经网络的路径行程时间实时预测模型［E］! 系统工程理论与实践，<NNN，<N（O）：XN R PW!

［N］陈守余，周梅春 ! 数据开采的 04 神经网络方法及其应用研究

［E］!地球科学，<NNO，SQ（S）：<OQ R <OY!

［<Z］张志华，朱章森，李儒兵 ! 几种修正的自适应神经网络学习算法及其应用［E］! 地球科学，<NNO，SQ（S）：<YN R <OS!

［<<］张智星，孙春在，水谷英二 ! 张平安，高春华，高峰峦译 ! 神经—模糊和软计算［*］! 西安：西安交通大学出版社，SZZZ!

<QN R SQW !

［<S］ 1+>7=+% 3 @! 1+D/#’ ) 7#+’%B%( $+’B+/B5%D 5% &+IU ) 9’59+(+/B5%：+%

#=9B’BI+7 D/-.G［H］!M5-’#/[UG ?，AB%/5% 2，3#\%56DUB M! 4’5I##.F B%(D 5K /># <NOO :5%%#I/B5%BD/ *5.#7D 3-==#’ 3I>557［:］!:+’%#(BI

*#775% V%B$#’DB/G，<NOO，QO R X< !

［<Q］ E+I5&D 8 H! L%I’#+D#. ’+/#D 5K I5%$#’(#%I# />’5-(> 7#+’%B%( ’+/#

+.+9/+/B5%［E］! T#-’+7 T#/65’UD，<NOO，<：SNX R QZY!

［<W］ 3>+’ 3，4+7=B#’B 1! *@]H—+ K+D/，75I+7 +7(5’B/>= K5’ /’+B%B%(

K##.K5’6+’. %#-’+7 %#/65’UD［H］! 4’5I##.B%(D 5K /># L%/#’%+/B5%+7 E5B%/ :5%K#’#%I# 5% T#-’+7 T#/65’UD［:］! L@@@ 4’#DD，T#6 ^5’U，

<NNZ ! W< R WP !

［<X］ C+/’5-D 8 "! "#+’%B%( +7(5’B/>=D K5’ I5%%#I/B5%BD/ %#/65’U：+997B#.

(’+.B#%/ =#/>5.D 5K %5%7B%#+’ 59/B=B[+/B5%［H］! 4’5I##.B%(D 5K L@@@

L%/#’%+/B5%+7 :5%K#’#%I# 5% T#-’+7 T#/65’UD［I］! L@@@ 4’#DD，T#6

^5’U，<NOY ! P<N R PSY !

［<P］ 3>+’ 3，4+7=B#’B 1，?+/-= *! ;9/B=+7 KB7/#’B%( +7(5’B/>=D K5’ K+D/

7#+’%B%( B% K##.K5’6+’. %#-’+7 %#/65’UD［ E ］! T#-’+7 T#/65’UD，

<NNS，X（X）：YYN R YOY!

［<Y］ *+’/B% 8，A#B%’BI> 0! H ?B’#I/ H.+9/B$# *#/>5. K5’ 1+D/#’ 0+IUF 9’59+(+/B5% "#+’%B%(：M># 848;4 H7(5’B/>’=［ H］! 8-D9B%B A!

4’5I##.B%(D 5K /># L@@@ L%/#’%+/B5%+7 :5%K#’#%I# 5% T#-’+7 T#/F 65’UD（L:TT）［:］! L@@@ 4’#DD，T#6 ^5’U! <NNQ!XOP R XN<!

［<O］ 17#/I>#’ 8，8##$#D : *! 1-%I/B5% =B%B=B[+/B5% &G I5%\-(+/# (’+.BF

#%/D［E］! :5=9-/#’ E5-’%+7 ，<NPW，Y：<WN R <XW!

［<N］ 456#77 *E?! 8#D/+’/ 9’5I#.-’#D K5’ /># I5%\-(+/# (’+.B#%/ =#/>5.

［E］! *+/>#=+/BI+7 4’5(’+==B%(，<NYY，<S：SW< R SXW!

［SZ］ *577#’ * 1! H DI+7#. I5%\-(+/# (’+.B#%/ +7(5’B/>= K5’ K+D/ D-9#’F

$BD#. 7#+’%B%(［E］! T#-’+7 T#/65’UD，<NNQ，P：XSX R XQQ!

［S<］ 0+//B/B 8! 1B’D/ +%. D#I5%. 5’.#’ =#/>5.D K5’ 7#+’%B%(：0#/6##%

D/##9#D/ .#DI#%/ +%. T#6/5%’D =#/>5.［E］! T#-’+7 :5=9-/+/B5%，

<NNS，W（S）：<W< R <PP!

［SS］ A+(+% * M，*#%>+\ *! M’+B%B%( K##.K5’6+’. %#/65’UD 6B/> /># *+’F ,-+’./ +7(5’B/>=［E］! L@@@ M’+%D+I/B5%D 5% T#-’+7 T#/65’UD，<NNW，

X（P）：NON R NNQ!

第 S 期苏高利等 ! 论基于 *HM"H0 语言的 04 神经网络的改进算法 <QX

(7)

论基于MATLAB语言的BP神经网络的改进算法

作者：苏高利，邓芳萍

作者单位：苏高利(浙江省气象科学研究所,浙江,杭州,310004)，邓芳萍(杭州市气象局,浙江,杭州 ,310008)

刊名：科技通报

英文刊名： BULLETIN OF SCIENCE AND TECHNOLOGY 年，卷(期)： 2003，19(2)

被引用次数： 92次

参考文献(22条)

1.楼顺天;施阳基于MATLAB的系统分析与设计--神经网络 1998

2.HaganMT;Menhaj MTraining feedforward networks with the Ma rquar dt algorithm 1994(06)

3.陈守余;周梅春数据开采的BP神经网络方法及其应用研究[期刊论文]

-

地球科学-中国地质大学学报 1998(02) 4.杨兆升;朱中基于BP神经网络的路径行程时间实时预测模型[期刊论文]

-

系统工程理论与实践 1999(08) 5.洪伟;吴承祯;何东进基于人工神经网络的森林资源管理模型研究[期刊论文]

-

自然资源学报 1998(01) 6.杨火斤;马洪波人工神经网络在中长期汇率预测中的应用[期刊论文]

-

科技导报 1999(04)

7.袁曾任人工神经元网络及其应用 1999

8.丛爽面向MATLAB工具箱的神经网络理论与应用 1998

9.Battiti RFirst and second order methods for learning: Between steep est descent and Newton's method 1992(02)

10.MOLLER M FA scaled conjugate gradient algorithm for fast superv ised learning 1993 11.Powell MJDRestart procedures for the conjugate gradient metho d 1977

12.Fletcher R;Reeves C MFunction minimization by conjugate gra dients 1964

13.Martin R;Heinrich BA Direct Adaptive Method for F aster Backpropagation Learning: The RPROP Algorithrm 1993

14.Shar S;Palmieri F;Datum MOptimal filtering algorithms f or fast l earning in feedforward neural networks 1992(05)

15.Watrous R LLearning algorithms for connectionist network: appli ed gradie nt methods of nonlinear optimization 1987

16.Shar S;Palmieri FMEKA-a fast,local algorithm for training feedforwa rd neural networks 1990 17.Jacobs R AIncreased rates of convergence through learning rate adaptation 1988

18.Fahlman S EFaster-learning variations on back-propagation: an e mpirical study 1988 19.张智星;孙春在;水谷英二;张平安高春华高峰峦神经—模糊和软计算 2000

20.张志华;朱章森;李儒兵几种修正的自适应神经网络学习算法及其应用[期刊论文]

-

地球科学 1998(02) 21.Neural Network Toolbox User's Guide 1999

22.Rumelhart D E;Hinton G E;Williams R JLearninginternal repr esentatio ns by error propagation 1986

相似文献(10条)

1.期刊论文刘勇.江成玉.LIU Yong.JIANG Cheng-yu基于BP神经网络的煤与瓦斯突出危险性的预测研究-洁净煤技术2011,17(1)

应用BP神经网络的理论和方法,结合贵州某矿山的实际情况,建立了基于BP神经网络的煤与瓦斯突出危险性预测的数学模型,通过数学软件matlab 7.0对煤层的突出危险程度进行了预测.结果显示,煤与瓦斯突出危险性的预测与实际情况相符,表明采用BP神经网络模型进行预测是可行的,为煤与瓦斯突出的预测提供了一种精度较高的方法.

2.学位论文张(虎日)基于BP神经网络的多目标最优化方法的研究2000

为了解决一些变量众多,且目标函数和各变量之间具有很强非线性关系的复杂系统的多目标最优化问题,该文将人工神经网络与传统的优化方法结合,建立了基于BP神经网络的多目标最优化方法.基于BP神经网络的多目标最优化方法由BP神经网络建模和BP神经网络模型的多目标最优化两部分组成.论文首先介绍了这两部分的具体实现步骤.然后按照多目标最优化方法的分类,建立了几种有代表性的基于BP神经网络的多目标最优化方法,并用一个数学函数问题验证了该方法的可行性和有效性.最后将这些方法用于催化剂配方设计和高分子聚合物配方设计,取得了比较满意的结果.在以上研究的基础上,采用MATLAB语言,在Windows平台下,开发了"BP神经网络应用程序".该程序具有界面友好、易于使用等特点.

(8)

3.期刊论文李友才.巴寅亮.LI You-cai.BA Yin-liang基于BP神经网络的电控发动机故障诊断应用研究-郑州轻工业学院学报(自然科学版)2008,23(5)

以桑塔纳2000(GSI)电控发动机为例,在怠速工况下,模拟发动机可能出现的故障,利用金德K81电脑检测仪和NHA-501型尾气分析仪采集数据样本.调用 Matlab神经网络工具箱中的BP神经网络,对所采集的其中4组数据样本进行训练、仿真.结果表明,BP神经网络对发动机故障的诊断是迅速、准确的.

4.学位论文张世娟基于神经网络的输油管道泄漏检测方法研究2008

长输油管道的使用越来越广泛，但是由于年久老化、不可避免的腐蚀、人为破坏以及自然灾害等原因，管道泄漏事故时常有发生，造成资源浪费环境污染，给国家经济和人们生命财产带来巨大损失与威胁。为减少经济损失、减轻环境污染及对人类造成的危害，需要及时对泄漏进行检测和定位。

目前已出现了多种泄漏检测和定位的方法。传统的检测方法仅仅采用压力或者流量一个参数进行检测，所以在精度和可靠性等方面都有很大的局限性

。现代硬件设备的发展已经比较完善，本文同时采用压力和流量作为检测参数，充分利用压力在精度以及流量在可靠性上的优点，大大提高检测的精度和可靠性。

神经网络的发展已经比较成熟，在工程检测等方面已经广泛应用。本文借鉴神经网络在工程应用中的优点，提出了基于BP神经网络的泄漏检测方法

，开发了泄漏检测及定位的软件系统。

本文在采用压力和流量两个参数的基础上，对长输油管道检测方法进行了研究。利用小波方法对压力和流量信号进行降噪处理，然后提取特征组成矩阵，输入网络进行检测。当发生泄漏时，利用小波寻找奇异点，计算上下游收到泄漏信号的时间差，进行定位。根据长庆某油田的测试结果可知，在检测过程中，能准确地判断管道的运行情况并及时定位，检测结果的精度能达到90％以上。

文中利用具有简洁、友好界面的神经网络工具箱构建并训练BP网络，基于Matlab语言开发检测系统软件，完成检测软件的设计。软件能够及时、准确地发现管道的泄漏并及时定位，减少泄漏损失，具有明显的经济效益和社会效益。实际数据证明了该系统在管道泄漏检测中的可行性。

5.期刊论文张国栋.雷晓玲.彭宏.ZHANG Guo-dong.LEI Xiao-ling.PENG Hong基于BP神经网络的环境质量评估-长沙理工大学学报（自然科学版）2005,2(4)

利用人工神经网络对地区综合环境质量进行了评价,提出了基于BP人工神经网络、以Matlab为平台的算法程序的人工神经网络环境质量分类模型.并以某地区环境监测数据值为样本,进行了环境质量评价分析.研究结果表明,BP神经网络应用于环境质量评价无需构建复杂的参数方程,且具有基于知识学习的特性,结构简单实用,具有客观性和通用性.

6.学位论文王睿硝酸盐、磷酸盐溶液的紫外吸收光谱的研究2009

随着社会发展和工业进步，水污染日趋严重，成为了世界性的头号环境治理难题。水污染不仅严重影响了人们的生产、生活，而且还威胁到人们的身体健康。世界各国已经把治理水污染列为首要任务，各个国家的学者和研究人员纷纷投入到如何治理水污染的工作中，分析污染原因，找寻解决办法。

<br>　　

若水中的氮、磷含量超过一定标准，就会造成严重的水体污染。本文以硝酸盐、磷酸盐为研究对象，采用紫外分光光度法进行分析研究。220nm作为线性程度最好的波长点，经过实验表明硝酸盐溶液的浓度处于0-4mg/L之间时，吸光度正比于溶液浓度，从4mg/L开始，工作曲线呈现非线性走势。利用一元线性回归获得回归直线，其相关系数为0.9988，同时得到很小的回归系数标准误差。<br>　　

生活污水中含有大量的磷，如果任意排放污水，就会造成江、河、湖、海中磷含量过高，水体富营养化。由于磷的不稳定性，实验所得数据经过转换，确定了吸光度与溶液浓度的非线性关系，本文使用BP神经网络算法处理此非线性问题。运用Matlab语言实现BP网络算法，实验中Levenberg-Marquardt法网络收敛速度最快，循环54次后就达到精度要求，量化共轭梯度法最慢，迭代到300次还未达到精度要求。采用数据拟合法得到12次拟合曲线，与BP网络算法相比，数据拟合法复杂，效果较差。<br>　　

本文的研究丰富了紫外吸收光谱检测的应用领域，并结合线性回归方法、BP神经网络算法等进一步使得紫外检测技术在水污染的治理中有了方法上的改进和提高，为进一步研究水污染的各种成因提供了依据，为光电检测技术提供了科学参考。<br>

7.期刊论文王睿.余震虹.鱼瑛.WANG Ru.Yu Zhen-Hong.Yu YingBP神经网络在磷酸盐溶液紫外吸收光谱中的应用- 光谱实验室2009,26(4)

利用紫外分光光度法测定磷酸盐溶液的光谱,经过转换得到吸光度与溶液浓度的非线性关刎系,使用BP神经网络算法处理此非线性问题.Matlab语言中的神经网络工具箱提供了许多有关神经网络设计、训练和仿真的函数来实现BP网络,使应用BP网络来解决此类问题变得方便和有效.实验证明Levenberg- Marquardt法网络收敛速度最快,量化共轭梯度法最慢.本文还运用Matlab中的数据拟合法与BP神经网络法进行比较,前者虽然得到拟合曲线关系式,但较为复杂,工作量大.因此,BP神经网络法更适合于解决此类问题.

8.学位论文王娟基于虚拟样机的并联坐标测量机运动建模与仿真2006

本论文主要研究的是并联坐标测量机。因虚拟样机技术无需建造实物样机，从而使得它在虚拟轴机床的设计上具有很好的应用前景。

本论文针对Stewart型六自由度并联坐标测量机的机构进行分析。在阐述研究背景和意义，综述国内外相关领域研究概况及存在的一些问题后，主要完成了以下工作：

针对并联坐标测量机的结构特点，应用神经网络中重要的BP算法，提出了结合误差补偿建立了六自由度并联坐标测量机的正运动学分析模型，为实现从关节变量空间到测量空间的非线性映射提供了理论依据，该方法是有效的。

在分析了并联坐标测量机测量空间的制约因素后，引进了极坐标搜索算法建立测量空间，应用MATLAB语言仿真得出并联坐标测量机的测量空间，最后讨论了结构参数及运动学约束对测量空间体积的影响。

以雅克比矩阵为适值函数，以其条件数为最小作为评价指标，用遗传算法对六自由度并联坐标测量机的结构参数进行了优化。结构参数的优化实现了对运动平台参数设计的指导意义。

对六自由度并联坐标测量机虚拟样机的几何建模过程进行了详细的讨论。然后，调用OpenGL语言在虚拟环境下进行了虚拟样机的实体建模与运动学仿真。实体建模和运动学仿真使得虚拟轴机床的设计有据可依，有助于产品一次性制造成功。

9.期刊论文张涛.张伟丽.曹恺基于MATLAB-NNT的土层分类系统-莱阳农学院学报2002,19(4)

BP神经网络具有很强的非线性映射和自适应学习功能,可用于模式识别和预测评估等领域.本文应用BP神经网络的理论和方法,并使用MATLAB语言编制了相应的程序和用户界面,选取孔压、锥尖阻力、孔压参数作为输入参数,进行土层划分.应用结果表明,将BP神经网络用于土层划分是可行的.

10.学位论文郭绪光基于神经网络的火灾损失建模与预测2008

人工神经网络(Artificial Neural Network，简称ANN)的理论和方法在过去的几十年发展极为迅速，它的应用范围已涉及到了工程、计算机、物理、

生物、经济、管理等科学领域。ANN是一种模拟人脑信息处理方法的非线性系统，具有较强的处理非线性问题的能力，比较适合于一些信息复杂、知识背景不清楚和推理规则不明确问题的建模，例如本论文中关于火灾损失预测的建模。

本文主要基于神经网络的非线性逼近性质建立预测模型，来研究我国火灾损失的预测问题。神经网络模型的实现需要掌握计算机编程语言及较高的编程能力，这在一定程度上不利于神经网络技术的推广和使用。而MATLAB软件提供了一个现成的神经网络工具箱(Neural Network Toolbox，NNT)，为解决这个难题提供了便利条件。本文首先建立人工神经网络理论模型，然后结合NNT对算法进行了实现。

本文建模采用的是反向传播(Back Propagation，BP)网络与径向基函数(Radial Basis Function，RBF)网络。在对原始数据进行平滑处理的基础上学习与训练，并应用于火灾损失预测的实践中。模拟结果表明，该方法在实际预测中效果较为理想，从而为火灾损失的预测提供了一种新的方法和理论依据

。

本论文要做了以下工作：

(1)介绍了人工神经网络理论，回顾了人工神经网络的发展历史，论述了BP神经网络与RBF神经网络的基本知识和特点，为本论文的建模提供了基础。

(2)讨论了应用BP神经网络与RBF神经网络进行火灾损失预测的理论基础，分析了两种神经网络的模型结构与原理，并利用它们建立了火灾损失预测模型，用MATLAB语言编写了相应的程序。

(3)利用本论文建立的神经网络预测模型对我国的火灾损失进行了预测，结果表明本论文建立的神经网络预测模型是成功的、有效的。

(9)

第四章为实证分析部分，分别利用BP神经网络和RBF神经网络它们建立了火灾损失预测模型，用MATLAB语言编写了相应的程序，并给出了模拟与预测的结果。

五章是全文总结与研究展望。

引证文献(92条)

1.陈流豪神经网络BP算法研究综述[期刊论文]

-

电脑知识与技术 2010(36) 2.陈明忠BP神经网络训练算法的分析与比较[期刊论文]

-

科技广场 2010(3)

3.桑英军.陈奇.范媛媛BP神经网络在倒立摆控制中的应用[期刊论文]

-

淮阴工学院学报 2010(1)

4.张忠奎.王效岳.丁晓坤旋转机械故障诊断中的改进型RBF神经网络算法研究[期刊论文]

-

山东理工大学学报（自然科学版） 2010(4)

5.陈莉.罗晓曙.陈全斌基于改进的BP神经网络的罗汉果种属识别研究[期刊论文]

-

计算机应用与软件 2010(12) 6.李国祥.张显全.秦芳远基于不变矩和BP神经网络的剪纸纹样识别[期刊论文]

-

计算机工程与应用 2010(29) 7.张芳芳.贺娟.李明军基于导数优化的BP学习算法的研究综述[期刊论文]

-

计算机应用研究 2009(3) 8.吸力内摩擦角的确定方法研究[期刊论文]

-

岩土力学 2009(z2)

9.刘炎.邱天爽.陈志彬一种X光胸片心胸比率自动计算方法[期刊论文]

-

中国生物医学工程学报 2009(1) 10.陈朝阳.行小帅.李玥共轭梯度BP算法在Matlab 7.0中的实现[期刊论文]

-

现代电子技术 2009(18) 11.薛红.袁材栋.薛建球.李西宁.胡贵寿BP神经网络在公路隧道围岩分类中的应用[期刊论文]

-

^{青海国土经略}

2009(1)

12.许尚杰.高闯洲.党维维.党发宁φb值的一种预测方法[期刊论文]

-

水利与建筑工程学报 2009(3)

13.党维维.高闯洲.党发宁.田威基于改进的BP神经网络对西安黄土抗剪强度指标的研究[期刊论文]

-

^{水利与建筑工}

程学报 2009(2)

14.胡安瑞.程学珍.杨芬.曹茂永基于神经网络的矿尘浓度传感器输出特性研究[期刊论文]

-

煤矿机械 2009(11) 15.桑英军.黄飞.孔庆霞基于改进BP算法的倒立摆稳定性研究[期刊论文]

-

考试周刊 2009(38)

16.李静.王占礼车削加工仿真中工艺系统受力变形分析及预测[期刊论文]

-

机械设计与制造 2009(12) 17.梅晓川基于改进BP网络的航空发动机起动过程辨识[期刊论文]

-

航空计算技术 2009(6)

18.一种新的神经网络预失真器及其算法[期刊论文]

-

工程数学学报 2009(6)

19.冯敏敏.朱培逸一种BP网络的土壤电导率数据融合算法研究[期刊论文]

-

常熟理工学院学报 2009(10) 20.赵延明基于改进BP神经网络的瓦斯含量预测模型[期刊论文]

-

工矿自动化 2009(4)

21.欧阳玉梅.马志强.方若森基于MATLAB的遗传神经网络的设计与实现[期刊论文]

-

信息技术 2008(6)

22.杨嘉麟.郑文岭.马文丽.梁斌基于改进的BP神经网络的血液细胞图像分割[期刊论文]

-

微型电脑应用 2008(4) 23.刘平.李建宣.何勇.岳彤彪人工神经网络模型补偿 Consteel 电弧炉钢水称重系统的测算偏差[期刊论文]

-

^特殊

钢 2008(2)

24.孙斌.钟金山.陈飞.周云龙奇异值分解在气液两相流流型识别中的应用[期刊论文]

-

热能动力工程 2008(3) 25.宋晓娟.张光南.马胜前.王小娟基于BP网络改进算法的模拟电路故障诊断[期刊论文]

-

甘肃科学学报 2008(1) 26.刘忠亮.王旭辉.白振兴基于L-MBP算法对RoboCup仿真训练工具的设计[期刊论文]

-

微计算机信息 2008(28) 27.赵印.刘琴.李晶.刘欣慰.孙宁基于L-M算法的EV71传播预测模型[期刊论文]

-

世界科技研究与发展 2008(5) 28.杨嘉麟.郑文岭.马文丽.梁斌基于改进BP神经网络的白细胞图像分割[期刊论文]

-

微计算机信息 2008(33) 29.张晰.张杰.纪永刚基于纹理特征分析的辽东湾SAR影像海冰检测[期刊论文]

-

海洋科学进展 2008(3)

30.曲日.鲍彦茹.周琳琳.任长明.南莉基于BP神经网络人眼前房直径预测方法[期刊论文]

-

微计算机应用 2007(6) 31.孙汝霞一种动态的邮件过滤技术[期刊论文]

-

四川理工学院学报（自然科学版） 2007(2)

32.张晓.吴诗勇.顾菁.吴幼青.高晋生神经网络预测煤焦高温气化反应速率研究[期刊论文]

-

煤炭转化 2007(2) 33.邹翠.周鲁噁唑烷酮类化合物的定量构效关系[期刊论文]

-

华西药学杂志 2007(3)

34.谭显东.胡兆光.李存斌.丁伟.刘达基于改进BP神经网络的全社会用电量预测模型研究[期刊论文]

-

^{华北电力大学}

(10)

学报 2007(3)

35.杨林.党艳军.林家瑞基于HRV信号分析的人工神经网络用于CHF的诊断研究[期刊论文]

-

^{北京生物医学工程}

2007(2)

36.邹波.卢子兴复合泡沫塑料力学行为模拟的ANN方法[期刊论文]

-

北京航空航天大学学报 2007(7) 37.王效岳.刘好明.刘晓丽改进BP神经网络在城市工业用电量预测中的应用[期刊论文]

-

^{自动化技术与应用}

2007(12)

38.杨勤.章杨基于人工神经网络的船舶操纵运动仿真[期刊论文]

-

航海教育研究 2007(z1) 39.梁小祎.张杰.孟俊敏溢油SAR图像分类中的纹理特征选择[期刊论文]

-

海洋科学进展 2007(3) 40.吕英.王安国.马宁动量VLBP神经网络在缺陷接地电路中的应用[期刊论文]

-

微波学报 2007(6) 41.郭新蕾.杨开林.郭永鑫泄漏检测信号滤波技术比较[期刊论文]

-

水利水电科技进展 2007(6)

42.甘敬.朱建刚.张国祯.余新晓基于BP神经网络确立森林健康快速评价指标[期刊论文]

-

林业科学 2007(12) 43.刘印锋.韩虎.张成联基于改进的BP网络的CD4细胞图像识别[期刊论文]

-

临沂师范学院学报 2007(6) 44.宋晓娟.马胜前BP改进算法在MATLAB7.0中的实现及比较研究[期刊论文]

-

甘肃科技 2007(11) 45.梁小祎基于纹理分析的溢油SAR图像分类研究[学位论文]硕士 2007

46.范胜波.王太勇.汪文津.何慧龙基于MATLAB神经网络的切削力预测[期刊论文]

-

机床与液压 2006(1) 47.谭显胜.周铁军BP算法改进方法的研究进展[期刊论文]

-

怀化学院学报 2006(2)

48.蒲春.孙政顺.赵世敏Matlab神经网络工具箱BP算法比较[期刊论文]

-

计算机仿真 2006(5)

49.叶四桥.唐红梅.石晋旭改进BP-NN在三峡库区滑坡稳定性分析中的应用[期刊论文]

-

重庆建筑大学学报 2006(6) 50.卢金秋人工神经网络在海关风险管理中的应用研究[期刊论文]

-

计算机工程与应用 2006(27)

51.蒋国庆混沌理论用于经济预测研究[学位论文]硕士 2006

52.解晓强数据挖掘在契税征管系统中的应用研究[学位论文]硕士 2006 53.戴丹BP神经网络用于市场预测的研究[学位论文]硕士 2006 54.孟维伟基于神经网络的交通量预测技术研究[学位论文]硕士 2006

55.范磊.张运陶.程正军基于Matlab的改进BP神经网络及其应用[期刊论文]

-

西华师范大学学报（自然科学版）

2005(1)

56.郭波涛.黄明辉.柏干荣.杨梦苏.易东神经网络法在喹诺酮类化合物定量构效关系中的应用[期刊论文]

-

^中国药房

2005(7)

57.王建梅.覃文忠基于L-M算法的BP神经网络分类器[期刊论文]

-

武汉大学学报（信息科学版） 2005(10) 58.一种新型缺陷接地结构的BP神经网络模型[期刊论文]

-

微波学报 2005(5)

59.常亮.解建仓应用优化神经网络算法预报地下水位[期刊论文]

-

水利水运工程学报 2005(4)

60.王钰.郭其一.李维刚基于改进BP神经网络的预测模型及其应用[期刊论文]

-

计算机测量与控制 2005(1) 61.郭波涛.黄明辉.柏干荣.张彦琦.杨梦苏.易东神经网络方法在5,7,8位取代的喹诺酮类化合物定量构效关系中的应用[期刊论文]

-

华南国防医学杂志 2005(1)

62.金涛斌.王安国.丁荣林.吴咏诗周期性缺陷接地结构的BP神经网络模型[期刊论文]

-

^{固体电子学研究与进展}

2005(1)

63.朱志宇.张冰.姜长生应用BP网络校正的卡尔曼滤波器[期刊论文]

-

航天控制 2005(6)

64.张弘强.王春红基于MATLAB的BP神经网络进行教师评估[期刊论文]

-

哈尔滨师范大学自然科学学报 2005(5) 65.姬巧玲.漆为民.蔡维由.程远楚MATLAB7.0中改进BP网络的实现[期刊论文]

-

电脑开发与应用 2005(7) 66.常亮.解建仓.王少波.肖志娟基于L-M优化神经网络算法的地下水动态模拟与预测[期刊论文]

-

地下水 2005(5) 67.李燕琴一种生态旅游者的识别与细分方法--以北京市百花山自然保护区为例[期刊论文]

-

^{北京大学学报（自然科}

(11)

68.荆双喜.绳飘.行志刚.郭燕飞人工神经网络在离心式通风机故障诊断中的应用[期刊论文]

-

煤矿机械 2005(12) 69.卢金秋.叶枫基于BP神经网络的海关企业风险评估研究与应用[期刊论文]

-

计算机应用 2005(z1)

70.金涛斌神经网络在缺陷接地结构中的应用研究[学位论文]硕士 2005 71.杜海莲基于数据融合的控制系统执行器故障诊断[学位论文]硕士 2005 72.宋欣化工过程故障诊断方法研究[学位论文]硕士 2005

73.卢金秋数据挖掘中的人工神经网络算法及应用研究[学位论文]硕士 2005 74.潘颖基于机器视觉的茄科类作物与杂草的识别研究[学位论文]硕士 2005 75.马栋萍基于改进BP神经网络预测蛋白质二级结构[学位论文]硕士 2005 76.钱云霞微钙化灶的自动检测[学位论文]硕士 2005

77.龚少红水稻水肥高效利用机理及模型研究[学位论文]硕士 2005 78.张妍基于神经网络的零件成组技术的研究[学位论文]硕士 2005 79.王钰水电站水调度计算机辅助决策技术的研究[学位论文]硕士 2005 80.滕琳琳神经网络PID控制器在热网流量调节中的应用[学位论文]硕士 2005

81.刘廷苍.莫春立.武晓娟基于人工神经网络的SS400钢板力学性能预测[期刊论文]

-

沈阳工业学院学报 2004(2) 82.李学军.张明玉供应链中趋势序列的神经网络预测研究[期刊论文]

-

山东电力高等专科学校学报 2004(3) 83.李增芳.傅彩云基于神经网络的传感器非线性校正方法[期刊论文]

-

农机化研究 2004(4)

84.孙斌.周云龙.洪文鹏几种改进BP算法在气液两相流流型识别中的比较[期刊论文]

-

仪器仪表学报 2004(z1) 85.叶启亮.简敏.李欣欣.曹发海.房鼎业甲苯与戊二烯催化合成戊烯基甲苯反应过程的建模及优化[期刊论文]

-

^计算

机与应用化学 2004(6)

86.孙静月人工神经网络在多元分析中的应用[学位论文]硕士 2004 87.吴太旗组合导航多源信息融合方法研究及仿真[学位论文]硕士 2004

88.李燕琴生态旅游中的游客行为和游客管理研究——以北京市百花山自然保护区为例[学位论文]博士 2004 89.李增芳基于人工智能和虚拟仪器技术的发动机故障诊断专家系统研究[学位论文]博士 2004

90.张斌嵌入式飞行数据传感系统及其神经网络算法的研究[学位论文]硕士 2004 91.朱洪涛数字失真音效算法的建模及其系统实现[学位论文]硕士 2004 92.杨力远预分解窑煅烧过程计算机模拟[学位论文]博士 2004

本文链接：http://d.wanfangdata.com.cn/Periodical_kjtb200302012.aspx 授权使用：郭永健(wfxbgy)，授权号：7b3703b2-54cc-4ba3-a5e1-9ef80131d320

下载时间：2011年6月4日

论基于 !"#$"% 语言的 %& 神经网络的改进算法