智能控制实验报告-北航研究生课程-机械臂回零+神经网络+模糊控制(5)

目前，已有的人工神经网络模型至少有几十种，其分类方法也有多种。例如:

1)按网络拓扑结构可分为层次型结构和互连型结构

2)按信息流向可分为前馈型网络与有反馈型网络；

3) 按网络的学习方法可分为有教师的学习网络和无教师的学习网络； 4) 按网络的性能可分为连续型网络与离散型网络，或分为确定性网络与

随机型网络；

神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。

人工神经网络的拓扑结构：建立人工神经网络的一个重要步骤是构造人工神经网络的拓扑结构，即确定人工神经元之间的互连结构。根据神经元之间连接的拓扑结构，可将神经网络的互连结构分为层次型网络和互连型网络两大类。层次型网络结构又可根据层数的多少分为单层、两层及多层网络结构。

简单单级网络

人工神经网络的运行一般分为学习和工作两个阶段。人工神经网络的学习过程就是它的训练过程。神经网络训练的实质是通过对样本集的输入/输出模式反复作用于网络，网络按照一定的学习算法自动调节神经元之间的连接强度（阈值）或拓扑结构，当网络的实际输出满足期望要求，或者趋于稳定时，则认为学习圆满结束。

人工神经网络的学习算法：神经网络学习算法有很多，大体可分为有导师学习（Supervised Learning）、和无导师学习（Unsupervised Learning）两大类，另外还有一类死记式学习。

（2）BP神经网络的组成

BP模型利用输出后的误差来估计输出层的直接前导层的误差，再利用这个误差估计更前一层的误差。如此下去，获得所有其他各层的误差估计。形成将输出表现出来的误差沿着与输入信号传送相反的方向逐级向网络的输入端传递的过程，因此称为后向传播（B-P）算法。

基本BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。

?1 a1 ?x1 … 输入变量 ? … o1 ??i … ak wki 输出xj … ? wij … ? ok变量 ?… ?q ?aL 输出层 xM 输入层 ? 隐含层 oL ?

图中：

xj表示输入层第j个节点的输入，j=1,…,M；

wij表示隐含层第i个节点到输入层第j个节点之间的权值；

?i表示隐含层第i个节点的阈值；

?(x)表示隐含层的激励函数；

wki表示输出层第k个节点到隐含层第i个节点之间的权值，i=1,…,q；

ak表示输出层第k个节点的阈值,k=1,…,L；

??x?表示输出层的激励函数；

表示输出层第k个节点的输出。 （1）信号的前向传播过程 隐含层第i个节点的输入neti：

okneti??wijxj??ij?1M （3-1）

隐含层第i个节点的输出yi：

yi??(neti)??(?wijxj??i)j?1M （3-2）

输出层第k个节点的输入netk：

netk??wkiyi?ak??wki?(?wijxj??i)?aki?1i?1j?1qqM （3-3）

输出层第k个节点的输出ok：

M?q?ok??(netk)??(?wkiyi?ak)????wki?(?wijxj??i)?ak?i?1j?1?i?1? （3-4）

q（2）误差的反向传播过程

误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。

对于每一个样本p的二次型误差准则函数为Ep：

1LEp??(Tk?ok)22k?1 （3-5）

系统对P个训练样本的总误差准则函数为：

1PLE???(Tkp?okp)22p?1k?1 （3-6）

根据误差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含层权值的修正量Δwij，隐含层阈值的修正量??i。

?wki????E?wki?ak???；

?E?ak?wij???；

?E?wij??i???；

?E??i （3-7）

输出层权值调整公式：

?wki????E?E?netk?E?ok?netk???????wki?netk?wki?ok?netk?wki （3-8）

输出层阈值调整公式：

?ak???隐含层权值调整公式：

?E?E?netk?E?ok?netk???????ak?netk?ak?ok?netk?ak （3-9）

?wij???隐含层阈值调整公式：

?E?E?neti?E?yi?neti???????wij?neti?wij?yi?neti?wij （3-10）

??i???又因为：

?E?E?neti?E?yi?neti????????i?neti??i?yi?neti??i （3-11）

PL?E????(Tkp?okp)?okp?1k?1 （3-12）

?netk?yi?wki?neti?netk?neti?xj?1?1?w?a??ijki，，， （3-13）

PL?E????(Tkp?okp)??'(netk)?wki?yip?1k?1 （3-14）

?yi???(neti)?neti （3-15）

?ok??'(netk)?netk所以最后得到以下公式：

（3-16）

?wki????(Tkp?okp)??'?netk??yip?1k?1LPL （3-17）

?ak????(Tkp?okp)??'?netk?p?1k?1PLP （3-18）

?wij????(Tkp?okp)??'?netk??wki???(neti)?xjp?1k?1P （3-19）

??i????(Tkp?okp)??'?netk??wki???(neti)p?1k?1L （3-20）

2、如何避免BP网络训练时陷入局部最小？

BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法之一。其算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题： （1） 学习效率低，收敛速度慢

（2） 易陷入局部极小状态

有以下改进措施： ①附加动量法

附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过这些极小值。

该方法是在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于前次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化。

带有附加动量因子的权值和阈值调节公式为：

?wij(k?1)?(1?mc)??ipj?mc?wij(k) ?bi(k?1)?(1?mc)??i?mc?bi(k)

其中k为训练次数，mc为动量因子，一般取0.95左右。

附加动量法的实质是将最后一次权值（或阈值）变化的影响，通过一个动量因子来传递。当动量因子取值为零时，权值（或阈值）的变化仅是根据梯度下降法产生；当动量因子取值为1时，新的权值（或阈值）变化则是设置为最后一次权值（或阈值）的变化，而依梯度法产生的变化部分则被忽略掉了。以此方式，当增加了动量项后，促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时，?i将变得很小，于是?wij(k?1)??wij(k),从而防止了?wij?0的出现，有助于使网络从误差曲面的局部极小值中跳出。

根据附加动量法的设计原则，当修正的权值在误差中导致太大的增长结果时，新的权值应被取消而不被采用，并使动量作用停止下来，以使网络不进入较大误差曲面；当新的误差变化率对其旧值超过一个事先设定的最大误差变化率时，也得取消所计算的权值变化。其最大误差变化率可以是任何大于或等于1的值。典型的取值取1.04。所以，在进行附加动量法的训练程序设计时，必 …… 此处隐藏：1672字，全部文档内容请下载后查看。喜欢就下载吧 ……