基于BP神经网络的函数拟合算法研究(2)

第二章介绍了神经网络的主要特性和结构，了解BP神经网络的架构；

第三章主要介绍BP神经网络解决函数拟合实验的设计并对结果进行简单的分析；

第四章对本文做出总结。

2 人工神经网络简介

2.1人工神经网络特性

人工神经网络（Artificial Neural Network,ANN),亦称为神经网络(Neural Network,NN),是由大量处理单元(神经元Neurons)广泛互连而成的网络,是对人脑的抽象、简化和模拟,它反映人脑的基本特性[9]。

人工神经网络研究的先锋，McCulloch和Pitts曾于1943年提出以一种叫做“似脑及其”（mindlike machine）的思想，这种机器可由基于生物神经元特性的互连模型来制造，这就是神经网络的概念。它具有以下特性：

(l)并行分布处理：神经网络具有高度的并行结构和并行实现能力，因而能够有较好的耐故障能力和较快的总体处理能力。这特别适于实时控制和动态控制。

(2)非线性映射：神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。这一特性给非线性控制问题带来新的希望。

(3)通过训练进行学习：神经网络是通过所研究系统过去的数据记录进行训练的。一个经过适当训练的神经网络具有归纳全部数据的能力。因此，神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题。

(4)适应与集成：神经网络能够适应在线运行，并能同时进行定量和定性操作。神经网络的强适应和信息熔合能力使得网络过程可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和熔合处理。这些特性特别适于复杂、大规模和多变量系统的控制。

(5)硬件实现：神经网络不仅能够通过软件而且可借助软件实现并行处理。近年来，一些超大规模集成电路实现硬件己经问世，而且可从市场上购到。这使得神经网络具有快速和大规模处理能力的实现网络。

十分显然，神经网络由于其学习和适应、自组织、函数拟合和大规模并行处理等能力，因而具有用于智能控制系统的潜力。

2.2 人工神经网络的特点

1、具有大规模并行协同处理能力

每一个神经元的功能和结构都很简单，但是由大量神经元构成的整体却具有很强的处理能力。

2、具有较强的容错能力和联想能力

单个神经元或者连接对网络整体功能的影响都比较微小。

在神经网络中，信息的存储与处理是合二为一的。信息的分布存提供容错功能–由于信息被分布存放在几乎整个网络中。所以当其中的某一个点或者某几个点被破坏时信息仍然可以被存取。

3、具有较强的学习能力

神经网络的学习可分为有教师学习与无教师学习两类。

由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。具有很强的泛化（Generalization）能力。

4、是大规模自组织、自适应的非线性动力系统

具有一般非线性动力系统的共性，即不可预测性、耗散性、高维性、不可逆性、广泛连接性和自适应性等等。

2.3人工神经网络的基本特性和结构

人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图：

(1) 对于每个节点i存在一个状态变量；

(2) 从节点j至节点i，存在一个连接权系统数；

(3) 对于每个节点i，存在一个阈值 i；

(4) 对于每个节点i，定义一个激活函数fi；对于最一般的情况，此函数

的形式为：

人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图：

(1) 对于每个节点i存在一个状态变量；

(2) 从节点j至节点i，存在一个连接权系统数；

(3) 对于每个节点i，存在一个阈值 i；

(4) 对于每个节点i，定义一个激活函数fi；对于最一般的情况，此函数的形式为：

fi( wjixj i) （2-1） j 1

人工神经网络的互连结构（或称拓扑结构）是指单个神经元之间的连接模式，n它是构造神经网络的基础，也是神经网络诱发偏差的主要来源。从互连结构的角度（如图2-1）：

图2-1 人工神经网络的互联结构

（1）单层前馈网络

根据图2-2，输入向量为X=(x1,x2,…,xn)；输出向量为Y=(y1,y2,…,ym)；输入层各个输入到相应神经元的连接权值分别是wij，i=1,2,..,n，j=1,2,.., m。若假设各神经元的阈值分别是θj，j=1,2,…,m，则各神经元的输出yj, j=1,2,..,m分别为

yj f(

wxi 1niji j) j 1,2,...,m （2-2）

其中，由所有连接权值wji构成的连接权值矩阵W为：

w11 w21 W w n1w12 w1m w22 w2m （2-3） wn2 wnm

在实际应用中，该矩阵是通过大量的训练示例学习而形成的。

图2-2 单层感知器

2.4 人工神经网络的主要学习算法

神经网络主要通过两种学习算法进行训练，即指导式(有师)学习算法和非指导式(无师)学习算法。此外，还存在第三种学习算法，即强化学习算法；可把它当做有师学习的一种特例。

(l)有师学习。有师学习算法能够根据期望的和实际的网络输出(对应于给定输入)间的差来调整神经元间连接的强度或权。因此，有师学习需要有个老师或导师来提供期望或目标输出信号。有师学习算法的例子包括d规则、广义规则或反向传播算法以及 LvQ算法等。

(2)无师学习。无师学习算法不需要知道期望输出。在训练过程中，只要向神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按相似特征把输入模式分组聚集。无师学习算法的例子包括Kohonen算法和呷enter一Grossberg自适应谐振理论(ART)等。

(3)强化学习如前所述，强化学习是有师学习的特例。它不需要老师给出目标输出。强化学习算法采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度(质量因数)。

2.5 BP神经网络结构

BP（Back Propagation）神经网络是一个具有三层或者三层以上的阶层神经网络，上下层之间的各种神经元实行权连接，而各层之间神经元无连接。最基本的BP神经网络是三层前馈网络，即输入层、隐含层和输出层。BP网络的结构如图2-3所示。

当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按减小目标输出与实际输出之间误差的方向，从输出层反向经过各中间层回到输入层，从而逐层修正各连接权值，这种算法称为“误差逆传播算法”，即BP算法。随着这种误差逆向的传播修正不断进行，网络对输入模式响应的正确率也不断上升[10]。

图2-3 BP网络结构

BP算法属于δ算法,是一种监督式(有导师)的学习算法。其基本思想是利用最小二乘法,即LMS算法,采用梯度搜索技术,以起始网络的实际输出值与期望输出值之间的误差平方和为最小。

对于q个输入学 …… 此处隐藏：2901字，全部文档内容请下载后查看。喜欢就下载吧 ……