基于人工神经网络的预测研究(4)

输出层 输出神经元

隐含层 隐含神经元

输入层 输入神经元

图3-1 典型的神经网络结构

3.1 BP神经网络的概念

在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法（BP算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。

BP神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

3.2 BP网络模型的类型

BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、

15

误差计算模型和自学习模型。 (1) 节点输出模型 隐节点输出模型： Oj?f(?Wij?Xi?qi) (1) 输出节点输出模型：Yk?f(?Tjk?Oj?qk)(2) f-非线形作用函数；q -神经单元阈值。 输入层 隐含层 输出层 图3-2典型BP网络结构模型 (2) 作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数： f(x)?1 (3) 误差计算模型 误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数： Ep?1/2??(1?e) (t?o)pipi2 tpi- i节点的期望输出值；Opi-i节点计算输出值。 16

(4) 自学习模型

神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为

?Wij(n?1)?h??i?Oj?a??Wij(n)

h -学习因子；?i-输出节点i的计算误差；Oj-输出节点j的计算输出；

a-动量因子。

3.3 BP学习算法

BP 算法因其简单、易行、计算量小、并行性强等优点,是目前神经网络训练采用最多也是最成熟的训练算法之一[6]。BP 算法的实质是求解误差函数的最小值问题,由于它采用非线性规划中的梯度下降法( Gradient Descent) ,按误差函数的负梯度方向修正权值。其主要思路是求出训练网络的指标函数误差：

E???(Yk?Ct)/2tk?1t?1mq2

一般的BP 算法称为标准误差逆传播算法,也就是对应每一次输入都校正一次权值。这种算法不是全局误差意义上的梯度下降计算。对各个神经元的输出求偏导数,那么就可以算出误差EP 对所有联结权值的偏导数,从而可以利用梯度下降法来修改各个联结权值。真正的全局误差意义上的梯度下降算法是在全部训练模式都学习完后才校正联结权和阈值。

其计算流程如下图3-3所示

[6]胡金滨,唐旭清.人工神经网络的BP算法及其应用[J].信息技术,2004 (4)：1～4.

17

开始 网络初始化 给定输入量和目标输出 完成 Yes，进入工作状态 学习 NO 求隐含层和输出层各单元输出 计算目标与实际输出 值的偏差E Yes 所有单元的e Yes 求输 E满足要求？ 满足 要求？ 出向量

No 计算隐含层单元误差 No 调整学习效率 给出结果 调整中间层到输出层的联结权值和输 出层单元的阈值 调整输出层到中间层的联接权值和中 间层单元的阈值 学习完成 图3-3 BP 算法流程图

18

3.4 BP神经网络的应用及不足

神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。在你的问题中，首先要找到某些问题的一些特征，以及对应的评价数据，用这些数据来训练神经网络。

虽然BP网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。

首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。

其次，BP算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。

再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。

最后，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、分类或聚类做的比较好的权值保存。

4.人工神经网络RBF模型

4.1 RBF神经网络的概念

RBF神经网络是一种具有拓扑结构的前向神经网络．由输入层、隐含层、输出层构。

RBF神经网络以径向基函数(RBF)作为隐层单元的基,构成隐含层空间,隐含层对输入矢量进行变换将低维的模式输入数据变换到高维空间内, 使得在低维空间内的线性不可分问题在高维空间内线性可分。

19