人工神经网络_2第二章 NN理论基础

第二章 NN理论基础2.1 生物神经系统的模型化 2.2 M-P神经元模型与人工神经 网络的构成 2.3人工神经网络的学习机理与 Hebb学习规则 2.4教师示教学习与无教师示教 学习 2.5模式识别的基本定义与方法 2.6生物NN与人工NN的比较 2.7线性分类器

2.1 生物神经系统的模型化

神经元特点

1)神经元是一个多输入、单输出元件。 2)神经元是一个具有非线性输入/输出特性的元件。 3)神经元具有可逆性，传递强度可变。

4)神经元的输出是各个输入综合的结果。

2.1 生物神经系统的模型化

(1)

(1)+(2)

(1)+(2)+(3)

(1)+(2)+(3)+(4)

2.1 生物神经系统的模型化

生物神经元模型数学表达式

Y f (X ) X wi xi i 1 n

把阈值θ看成神经元的第0个输入，x0为常数-1,

X wi xii 0

n

神经元的响应函数根据要求和特点的不同，分为以下几种： a)阶跃函数

1 y f ( x) 0

x 0 x 0

2.1 生物神经系统的模型化

b)S型函数

c)比例函数

1 y f ( x) x 1 e

y f ( x) kx

2.1 生物神经系统的模型化

d)符号函数

e)饱和函数

1 y f ( x) 1

x 0 x 0

1 y f ( x ) kx 1

x

1 k

1 1 x k k 1 x k

2.1 生物神经系统的模型化

f)双曲函数

1 e y f ( x) ux 1 e

ux

2.2 M-P神经元模型与人工神经网络的构成一.M-P模型： 1943年，McCulloch(生理学家)和Pitts(数学家)定 义了神经元模型M-P模型。 f:阶跃函数 X 输入向量： ( x1,x2, ,xn ) 权值向量： ( w1,w2, ,wn ) W 阈值： n 输出： y f ( wi xi ) i 1 其中： x 0 1 响应函数也可采用符号函数： f ( x) x 0 0 1 x 0

Sgn( x) 1

x 0

2.2 M-P神经元模型与人工神经网络的构成二、神经网络的连接形成： 1)单层网络：左边只起分配信号的作用 X 输入向量： ( x1 , x2 , , xn ) Y 输出向量： ( y1 , y2 , , ym ) 神经元的输入向量： S ( s1 , s2 , , sm )

w11 w12 加权阵： w21 w22 W w w n1 n 2

w1m w2 m wnm

w11 w12 S XW ( x1 , x2 , , xn ) w21 w22 w n1 wn 2

w1m w2 m wnm

yi f ( si ) i 1,..., m

2.2 M-P神经元模型与人工神经网络的构成

2)多层网络： 中间层神经元的输出： ( z1 , z 2 , , z k ) Z

s xw z f (s ) y f (z s zw1 11

i

i 1,2, , kj

i

i

1

i

2 j

2 j

j

2

)

j 1,2, , m

2.2 M-P神经元模型与人工神经网络的构成

3)反馈型网络：

4)全互连接型

一层的输出通过连接权 回送到同一层或前一层。

2.3人工神经网络的学习机理与Hebb学习规则NN仅有拓扑结构还不能具有任何智能特性，必须有一套 完整的学习、工作规则与之配合。 人工神经网络的学习规则，说到底就是网络连接权的调整 规则。 40年代，Hebb根据心理学中条件反射机理提出了神经细 胞间连接强度变化的规则，即所谓的Hebb学习规则。 内容为：如果两个神经元同时兴奋(同时为1),则它们 之间的突触联系得以增强。 以

a i , a j 表示 神经元i,j的激活值 ij 表示 i,j之间的连接权

2.3人工神经网络的学习机理与Hebb学习规则

则Hebb学习规则为：

ij t 1 ij (t ) ai a j

ij ai a j

学习过程：

开始 设定连接权初值输入数据 评价标准

评价

连接权调整

2.4教师示教学习与无教师示教学习

一、教师学习： 在网络的学习过程中，对于网络输出的正确性必须有一 个评价标准，网络根据实际输出与评价标准的比较，决定连 接权值的调整、合成。评价标准是人为由外界提示给网络的， 即相当于一个知晓正确结果的教师示教给网络——称为教师 示教学习。学习系统

教师示教 比较 输入 神经网络 实际输出 (希望输出)

2.4教师示教学习与无教师示教学习

二、无教师示教学习方式无外部教师，网络能够根据其特有的网络结构和学习规则， 对属于同一类的模式进行自动分类。学习系统

自我比较 输入 神经网络 实际输出