BP神经网络详解与实例(讲稿)

人工神经网络 (Artificial Neural Netwroks -----ANN) -----HZAU 数模基地

引

言

利用机器模仿人类的智能是长期以来人们认识自 然、改造自然和认识自身的理想。 改造自然和认识自身的理想。 研究ANN目的： 目的： 研究 目的 (1)探索和模拟人的感觉、思维和行为的规律， )探索和模拟人的感觉、思维和行为的规律， 设计具有人类智能的计算机系统。 设计具有人类智能的计算机系统。 (2)探讨人脑的智能活动，用物化了的智能来 )探讨人脑的智能活动， 考察和研究人脑智能的物质过程及其规律。 考察和研究人脑智能的物质过程及其规律。

ANN的研究内容 的研究内容模型及其学习算法， (1)理论研究：ANN模型及其学习算法，试图从数 )理论研究： 模型及其学习算法 学上描述ANN的动力学过程，建立相应的 的动力学过程， 学上描述 的动力学过程 建立相应的ANN模 模 在该模型的基础上，对于给定的学习样本， 型，在该模型的基础上，对于给定的学习样本， 找出一种能以较快的速度和较高的精度调整神经 元间互连权值，使系统达到稳定状态， 元间互连权值，使系统达到稳定状态，满足学习 要求的算法。 要求的算法。 (2)实现技术的研究：探讨利用电子、光学、生物 )实现技术的研究：探讨利用电子、光学、 等技术实现神经计算机的途径。 等技术实现神经计算机的途径。 解决实际问题， (3)应用的研究：探讨如何应用 )应用的研究：探讨如何应用ANN解决实际问题， 解决实际问题 如模式识别、故障检测、智能机器人等。 如模式识别、故障检测、智能机器人等。

研究ANN方法 方法 研究(1)生理结构的模拟： )生理结构的模拟：

用仿生学观点，探索人脑的生理结构， 用仿生学观点，探索人脑的生理结构， 把对人脑的微观结构及其智能行为的研究结合 起来即人工神经网络(Artificial Neural 起来即人工神经网络( Netwroks,简称 ，简称ANN)方法。 )方法。 (2)宏观功能的模拟： )宏观功能的模拟： 从人的思维活动和智能行为的心理学特 性出发， 性出发，利用计算机系统来对人脑智能进行宏 观功能的模拟，即符号处理方法。 观功能的模拟，即符号处理方法。

ANN研究的目的和意义 ANN研究的目的和意义(1)通过揭示物理平面与认知平面之间的映射， (1)通过揭示物理平面与认知平面之间的映射，了 通过揭示物理平面与认知平面之间的映射 解它们相互联系和相互作用的机理， 解它们相互联系和相互作用的机理，从而揭示思 维的本质，探索智能的本源。 维的本质，探索智能的本源。 (2)争取构造出尽可能与人脑具有相似功能的计算 (2

)争取构造出尽可能与人脑具有相似功能的计算 机，即ANN计算机。 ANN计算机。 计算机 (3)研究仿照脑神经系统的人工神经网络，将在模 研究仿照脑神经系统的人工神经网络， 研究仿照脑神经系统的人工神经网络 式识别、 式识别、组合优化和决策判断等方面取得传统计 算机所难以达到的效果。 算机所难以达到的效果。

神经网络研究的发展(1)第一次热潮(40-60年代未) (1)第一次热潮(40-60年代未) 第一次热潮(40 年代未 1943年 美国心理学家W.McCulloch和数学家 1943年,美国心理学家W.McCulloch和数学家 W.McCulloch W.Pitts在提出了一个简单的神经元模型， MP模型。 W.Pitts在提出了一个简单的神经元模型，即MP模型。 在提出了一个简单的神经元模型 模型 1958年 F.Rosenblatt等研制出了感知机 1958年，F.Rosenblatt等研制出了感知机 (Perceptron)。 (Perceptron)。 (2)低潮 -80年代初): 低潮(70- 年代初 年代初) 低潮 (3)第二次热潮 第二次热潮 1982年，美国物理学家J.J.Hopfield提出 年 美国物理学家 提出Hopfield 提出 模型，它是一个互联的非线性动力学网络. 模型，它是一个互联的非线性动力学网络.他解决问题 的方法是一种反复运算的动态过程, 的方法是一种反复运算的动态过程,这是符号逻辑处理 方法所不具备的性质. 年首届国际A 大会在圣地 方法所不具备的性质. 1987年首届国际ANN大会在圣地 年首届国际 亚哥召开，国际A 联合会成立 创办了多种A 国际 联合会成立， 亚哥召开，国际ANN联合会成立，创办了多种ANN国际

人工神经网络研究的局限性 人工神经网络研究的局限性

(1)ANN研究受到脑科学研究成果的限制。 ANN研究受到脑科学研究成果的限制。 研究受到脑科学研究成果的限制 (2)ANN缺少一个完整、成熟的理论体系。 ANN缺少一个完整、成熟的理论体系。 缺少一个完整 (3)ANN研究带有浓厚的策略和经验色彩。 ANN研究带有浓厚的策略和经验色彩。 研究带有浓厚的策略和经验色彩 (4)ANN与传统技术的接口不成熟。 ) 与传统技术的接口不成熟。 与传统技术的接口不成熟

人工神经网络概述

什么是人工神经网络？ 什么是人工神经网络？ 人工神经网络 T.Koholen的定义：“人工神经网络是由 具 的定义： 人工神经网络是由 的定义 有适应性的简单单元组成的广泛并行互连的网 络，它的组织能够模拟生物神经系统对真实世 界物体所作出的交互反应。 界物体所作出的交互反应。”

二、神经元与神经网络大脑可视作为1000多亿神经元组成的神经网络

图3 神经元的解剖图

神经元的信息传递和处理是一种电化学活 动.树突由于电化学作用接受外界的刺激；通 过胞体内的活动体

现为轴突电位，当轴突电位 达到一定的值则形成神经脉冲或动作电位；再 通过轴突末梢传递给其它的神经元.从控制论 的观点来看；这一过程可以看作一个多输入单 输出非线性系统的动态过程 神经网络研究的两个方面 从生理上、解剖学上进行研究 从工程技术上、算法上进行研究

脑神经信息活动的特征(1)巨量并行性。 (1)巨量并行性。 巨量并行性

(2)信息处理和存储单元结合在一起。 (2)信息处理和存储单元结合在一起。 信息处理和存储单元结合在一起 (3)自组织自学习功能。 自组织自学习功能。 自组织自学习功能

神经网络基本模型

电脉冲 输 入 树 形成 细胞体 突 信息处理 传输 轴突 触 出 突 输

图 12.2 生物神经元功能模型

神经元的数学模型

图4神经元的数学模型

其中x=(x1,…xm)T 输入向量，y为输出， wi是权系数；输入与输出具有如下关系：

y = f (∑ wi xi θ )i =1 θ为阈值，f(X)是激发函数；它可以是线性 函数，也可以是非线性函数.

m

例如，若记z =

∑

m

i=1

w ixi θ

取激发函数为符号函数

1, sgn( x ) = 0, 1, y = f (z) = 0,

x > 0, x ≤ 0.i

∑w ∑wi =1 i =1 m

m

xi > θ , xi ≤ θ ,

则

i

S型激发函数：

1 f (x) = , x 1+ e

0 ≤ f ( x ) ≤ 1;

或

e x e x f ( x) = x , x e +e

1 < f ( x ) < 1.

注：若将阈值看作是一个权系数，-1是一个固定的 输入，另有m-1个正常的输入，则(1)式也可表 示为：

y = f (∑wi xi )i=1

m

(1)

参数识别：假设函数形式已知，则可以从已有的 输入输出数据确定出权系数及阈值。