智能控制课件 第4章 神经网络基本理论

智能控制,智能控制课件,合工大智能控制

第四章 神经网络基本理论

智能控制,智能控制课件,合工大智能控制

4.1 人工神经元模型人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。

生物神经元模型

生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出 信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位； 相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若 代数和超过某个阈值，神经元将产生冲动。College of Electrical and Information Engineering, Hunan Univ. 2

智能控制,智能控制课件,合工大智能控制

4.1 人工神经元模型 人工神经元模型 模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型

[x1,…,xn]T为输入向量，y为输出，f(· )为激发函数，θ为阈值。 Wi为神经元与其它 神经元的连接强度，也称权值。College of Electrical and Information Engineering, Hunan Univ. 3

智能控制,智能控制课件,合工大智能控制

4.1 人工神经元模型常用的激发函数f 的种类 ： 1)阈值型函数 1 f(x) 0 x 0 x 0

1 f(x) 1

x 0 x 0

College of Electrical and Information Engineering, Hunan Univ.

智能控制,智能控制课件,合工大智能控制

4.1 人工神经元模型2)饱和型函数 1 f(x) kx 1 x 1 k x 1 k 1 k x 1 k

3)双曲函数

f(x) arctan(x)

College of Electrical and Information Engineering, Hunan Univ.

智能控制,智能控制课件,合工大智能控制

4.1 人工神经元模型4)S型函数1 1 exp( βx)

f(x)

,β 0

5)高斯函数

f(x) exp(

x b

2 2

)

College of Electrical and Information Engineering, Hunan Univ.

智能控制,智能控制课件,合工大智能控制

4.2 神经网络的定义和特点 定义 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络 系统。 特点(1)非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以 任意精度加以逼近。

(2)自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接 强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。(3) 并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息 处理方式是大规模并行的，可以大大加快对信息处理的速度。 (4)分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中， 而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用， 部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功 能。 (5)便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合， 特别适合于用大规模集成电路实现。College of Electrical and Information Engineering, Hunan Univ. 7

智能控制,智能控制课件,合工大智能控制

4.3 感知器模型感知器(Perceptron)是由美国学者F.Rosenblatt

于1957年提出的，它是一个具有单 层计算单元的神经网络，并由线性阈值元件组成。

感知器的结构

激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1, 否则为0或-1。 它的权系W可变，这样它就可以学习。College of Electrical and Information Engineering, Hunan Univ. 8

智能控制,智能控制课件,合工大智能控制

4.3 感知器模型 感知器的学习算法为方便起见，将阈值θ(它也同样需要学习)并入W中，令Wn+1=-θ,X向量也相 应地增加一个分量xn+1=1,则

y f( Wi x i )学习算法：i 1

n 1

① 给定初始值：赋给Wi(0)各一个较小的随机非零值，这里Wi(t)为t时刻第i个 输入的权(1≤i≤n),Wn+1(t)为t时刻的阈值；

② 输入一样本X=(xi,…,xn,1)和它的希望输出d;③ 计算实际输出 Y(t) f( ④ 修正权W :

W (t)xi i 1

n 1

i

)

Wi(t+1)=Wi(t)+η[d-Y(t)]xi, i=1,2,…,n+1

⑤ 转到②直到W对一切样本均稳定不变为止。College of Electrical and Information Engineering, Hunan Univ. 9

智能控制,智能控制课件,合工大智能控制

4.3 感知器模型根据某样本训练时，均方差随训练次数的收敛情况

College of Electrical and Information Engineering, Hunan Univ.

智能控制,智能控制课件,合工大智能控制

4.4 神经网络的构成和分类 构成 从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加 以描述。 状态方程描述每个神经元的输入、输出、权值间的函数关系。 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习， 从而调整整个神经网络的输入输出关系。

分类(1)从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构 上来说，主要分为层状和网状结构。

College of Electrical and Information Engineering, Hunan Univ.

智能控制,智能控制课件,合工大智能控制

4.4 神经网络的构成和分类①层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经 元单向联接，一般同层内神经元不能联接。 前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。 每个神经元从前一层接收输入，发送输出给下一层。

College of Electrical and Information Engineering, Hunan Univ.

智能控制,智能控制课件,合工大智能控制

4.4 神经网络的构成和分类②网状结构：网络中任何两个神经元之间都可能双向联接。

反馈网络：从输出层到输入层有反馈， 每一个神经元同时接收外来输入和来自其 它神经元的反馈输入，其中包括神经元输 出信号引回自身输入的自环反馈。

混合型网络：前向网络的同一层神经 元之间有互联的网络。

College of Electrical and Information Engineering, Hunan Univ.

智能控制,智能控制课件,合工大智能控制

4.4 神经网络的构成和分类(2)从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等 (3)从网络的

学习方式上划分 ①有导师学习神经网络 为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼 近样本数据的输入输出关系。 ②有导师学习神经网络 不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提 取出来。 (4)从学习算法上来划分： 基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、 基于遗传算法的网络。College of Electrical and Information Engineering, Hunan Univ. 14

智能控制,智能控制课件,合工大智能控制

4.4 多层前向BP神经网络最早由werbos在1974年提出的，1985年由Rumelhart再次进行发展。

多层前向神经网络的结构多层前向神经网络由输入层、隐层(不少于1层)、输出层组成，信号沿 输入——>输出的方向逐层传递。

College of Electrical and Information Engineering, Hunan Uni …… 此处隐藏：2313字，全部文档内容请下载后查看。喜欢就下载吧 ……