字符识别毕业设计(6)

武汉科技大学本科毕业设计(论文)

函数的形状见图2.12。

图 2.12 辐射基函数（三角波函数）

2.2.2 人工神经网络构成

人工神经网络有很多构成形式，比如基本型、前向型、回归型以及互联型等，下面我们列出一些前两种神经网络构成形式。

1．基本模型

人工神经网络的基本模型如图2.13所示。

图2.13 人工神经网络基本模型

图中，输入经过神经元之间的连接值和作用函数，得到输出，再与目标值相比较，根据其差值信息，反馈回来进行神经元之间连接值的调整。

2． 前向网络

结构如图2.14 所示。

第22页

武汉科技大学本科毕业设计(论文)

图2.14 前向网络结构

其中，x1,x2,?,xn是输入,y1,y2,?,yn是输出。

前向网络的特点如下：

(1) 神经元分层排列，可又多层；。 (2) 层间无连接； (3) 方向由入到出.

感知网络（Perceptron即为此），应用最为广泛。

2.2.3 人工神经网络的学习规则

ANN中的核心问题就是如何决定网络连接的加权系数（Weight）。这一小节介绍M些常用的学习规则。

1．Hebb学习规则

1949年，D.O.Hebb基于生理学和心理学的研究，对生物神经细胞如何进行学习的问题，剔除了一个直觉得假说：“当两个神经元都处于兴奋状态时，连接这两个神经元的权值将得到加强”，公式表示如下：

(2.38)

上式中，△Wij是连接权值的变化，Vi、Vj是两个神经元的活化水平，α是学习系数。

2．δ学习规则

也称为误差校正规则或者剃度方法，著名的BP方法即为其中一种。

第23页

武汉科技大学本科毕业设计(论文)

(2.39) (2.40)

上式中，△Wij为权值的改变，α为学习系数，Vi是当前神经元的兴奋度，δ是实际输出与期望输出的偏差。

2.2.4 BP神经网络

BP网络是应用中经常碰到的，这一节将详细介绍一下BP网络。 1．BP网络模型

BP神经网络模型见图2.15

图2.15 BP神经网络结构

可以看出，BP网络一般情况下有一个输入层，一个隐藏层（有时是两个或更多），一个输出层。

2．输入输出关系 I->H（输入层到隐藏层）

(2.41)

(2.42)

H->O（隐藏层导输出层）

(2.43)

其中，输人层神经元个数为 n，隐含层神经元个数为n1，输出层神经元个数为S2。

3．网络学习训练

前面已经说过，神经网络的关键问题之一是权值的确定。下面，讨论一下

第24页

武汉科技大学本科毕业设计(论文)

BP网络中的权值确定方法。

我们假定输入q组本p1,p2,?,pq，piRn， 期望输出为T1,T2,?,Tq，这里TRs2， 网络的实际输出为a21,a22,?,a2q,a2 Rs2。

评价的准则是误差最小，所以网络训练的实质转化为一个优化问题。这里考虑用梯度法（Gradient）来找出误差与加权系数的关系，以得到加权系数改变的规律。

定义误差函数为：

我们利用剃度下降法求权值的变化及误差的反向传播。 (1)．输出层的权值变化

从第i个输入到第k个输出的权值改变有：

(2.45)

同理可得：

(2.46)

(2)．隐含层权值变化

(2.47)

其中，

同理可得，

。

第25页

(2.44)

武汉科技大学本科毕业设计(论文)

(3)．解释

输出层误差 ej(j=1-S2) 隐含层误差 ei(i=1-n2),

这里，可以认为ei是由ej加权组合形成的，由于作用函数的存在，ej的等效作用为δji=ejf ‘()。

4．BP网络的设计问题

在进行BP网络的设计时，一般应从网络的层数，每层中的神经元个数和激活函数、初始值以及学习速率等几个方面来进行考虑。下面讨论各自的选取原则。

(1)．网络的层数

理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输入层的网络，能够逼近任何有理函数。增加层数可以进一步的降低误差，提高精度，但同时也使网络复杂化。另外不能用仅具有非线性激活函数的单层网络来解决问题。因为能用单层网络完美解决的问题，用自适应线性网络也一定能解决，而且自适应线性网络的运算速度还要快。而对于只能用非线性函数解决的问题，单层精度又不够高，也只有增加层才能达到期望的结果。

(2)． 隐含层神经元数

网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得，这在结构实现上，要比增加更多的隐含层要简单得多。

为了对隐含层神经元数在网络设计时所起的作用有一个比较深入的理解，下面先给出一个有代表性的实例，然后从中得出几点结论。

例：用两层BP网络实现“异或”功能。 网络要实现如下的输人l输出功能：

对于一个二元输入网络来说，神经元数即为分割线数。所以隐含层神经元数应≥2。通过改变隐含层的节点数做试验，当sl＝2，3，4，5，6以及为20、25和30时对网络进行设计。选择误差目标为err_goal＝0.02，并通过对网络训

第26页