第六章人工神经网络

数据挖掘

第六章

人工神经网络

人工神经网络(Artificial Neural Network,简称 ANN)是指由简单计算单元组成的广泛并行互联 的网络，能够模拟生物神经系统的结构和功能。 组成神经网络的单个神经元的结构简单，功能有 限，但是，由大量神经元构成的网络系统可以实 现强大的功能。 人工神经网络在模式识别、计算机视觉、智能控 制、信号处理、语音识别、知识处理、机器学习、 数据挖掘等领域有着广泛的应用前景。2014-6-5

数据挖掘

最早的形式化神经元数学模型是M-P模型，由美国心理 学家McCulloch和数理逻辑学家Pitts合作于1943年提出 。 1949年，心理学家Hebb提出Hebb学习规则。 1958年，计算机科学家Rosenblatt提出感知器 (Perception)的概念，掀起人工神经网络研究的第一次 高潮。 1982年，美国加州工学院的生物物理学家Hopfield提出 Hopfield网络模型，这标志着神经网络研究高潮的再次 兴起。2

2014-6-5

数据挖掘

神经网络

神经网络由许多基本单元构成，这些基本单元模 仿了人脑的神经元。 如果将多个基本单元以适当的方式连接起来，就 构成了神经网络。基本单元之间的连接相当于人 脑中神经元的连接。基本单元之间的连接方式有 多种，从而形成了多种神经网络。 神经网络可以模仿人的头脑，通过向一个训练数 据集学习和应用所学知识来生成分类和预测的模 式。 在数据没有任何明显模式的情况下，这种方法很 有效。3

2014-6-5

数据挖掘

使用神经网络模型近似多变量函数，如

此处，函数f(…)是未知的。Xi代表输入变 量，wi代表系数。

2014-6-5

数据挖掘

如果至少有两个变量输入为1,那么输出y的结果 就是1。5

2014-6-5

数据挖掘

人工神经元网络模型人工神经元是对生物神经元的抽象与模拟。1943年，心 理学家麦克洛奇(W.McMulloch)和数理逻辑学家皮 茨( W. Pitts)根据生物神经元的功能和结构，提出 了一个将神经元看作二进制阈值元件的简单模型，即 M-P模型，如图所示。x1 ω1

x2xn

ω2∑

θ

y

ωn

图 M-P神经元模型2014-6-5

数据挖掘

在图中，x1,x2,…,xn表示某一神经元的n个输入；ωi表示第i个输入的连 接强度，称为连接权值，正数权值表示兴奋性输入，负数权值表示抑制性 输入；θ为神经元兴奋时的阈值，当神经元输入的加权和大于θ时，神经元 处于兴奋状态；y为神经元的输出。可以看出，人工神经元是一个具有多输 入，单输出的非线性器件。

7 M-P神经元模型的输入是

∑ωi* xi输出是

(i=1,2,……,n)

y=f(σ)=f(∑ωi*xi –θ) 其中f 称之为神经元功能函数或作用函数/激发 函数。2014-6-5

数据挖掘

Y=sign(0.3x1+0.3x2+0.3x3-0.4) 其中，Sign(x)= 1

if x>08

2014-6-5

-1

if x<0

数据挖掘

9

常用的人工神经元模型 功能函数f是表示神经元输入与输出之间关系的函 数，根据功能函数的不同，可以得到不同的神经 元模型。常用的神经元模型有以下几种。 (1)阈值型(Threshold) 这种模型的神经元没有内部状态，作用函数f是一 个阶跃函数，它表示激活值σ和其输出f(σ)之间的 关系，如图所示。1 0 f(σ)

σ

图 阈值型神经元的输入/输出特性2014-6-5

数据挖掘

阈值型神经元是一种最简单的人工神经元，也就 是我们前面提到的M-P模型。这种二值型神经元， 其输出状态取值1或0,分别代表神经元的兴奋和 抑制状态。某一时刻，神经元的状态由功能函数f 来决定。

当激活值σ>0时，即神经元输入的加权总和超过 给定的阈值时，该神经元被激活，进入兴奋状态， 其状态f(σ)为1;否则，当激活值σ<0时，即神经元输入的加权总 和不超过给定的阈值时，该神经元不被激活，其 状态f(σ)为0。

2014-6-5

数据挖掘

1 1

(2)分段线性强饱和型(Linear Saturation) 这种模型又称为伪线性，其输入/输出之间在一 定范围内满足线性关系，一直延续到输出为最大 值1为止。但当达到最大值后，输出就不再增大。 如图所示。f(σ)

1σ

0 图2014-6-5

线性饱和型神经元的输入/输出特性

数据挖掘

对称型阶跃函数函数

1 , x 0 f ( x) 1 , x 0采用阶跃作用函数的神经元，称为阈值逻辑单元。

2014-6-5

数据挖掘

1 3

(3)S型(Sigmoid) 这是一种连续的神经元模型，其输出函数也是一个有最大输出值 的非线性函数，其输出值是在某个范围内连续取值的，输入输出 特性常用指数、对数或双曲正切等S型函数表示。它反映的是神 经元的饱和特性，如图所示。

f(σ) 1

0

σ

图2014-6-5

S型神经元的输入/输出特性

数据挖掘

对称型Sigmoid函数1 e x f ( x) 1 e x或

1 e x f ( x) , 0 x 1 e

2014-6-5

数据挖掘

非对称型Sigmoid函数1 f ( x) 1 e x或

1 f ( x) , 0 x 1 e

2014-6-5

数据挖掘

4、线性函数(1)线性作用函数：输出等于输入，即 y f ( x) x (2)饱和线性作用函数x 0 0 y f ( x) x 0 x 1 1 x 1

(3)对称饱和线性作用函数x 1 1 y f ( x) x 1 x 1 1 x 1

2014-6-5