第三章 前馈神经网络模型

神经网络课件

第三章前馈神经网络模型

神经网络课件

前馈神经网络：由一层或多层非线性处理单元组 成。相邻层之间通过突触权阵连接起来。由于前 一层的输出作为下一层的输入，因此此类神经网 络为前向神经网络。 在前向神经网络结构中输入输出之间包含着一层 或多层隐含层。 前向神经网络可以看成是一种一组输入模式到一 组输出模式的系统变换，这种变换通过对某一给 定的输入样本相应的输出样本集的训练而得到， 为了实现这一行为，网络的权系数在某种学习规 则下进行自适应学习，也就是有导师指导学习。

神经网络课件

内容提要感知器 多层感知器 自适应线性元模型 BP算法

神经网络课件

第一节 感知器

神经网络课件

线性阈值单元线性阈值单元是前向网络(又称前馈网络)中最 基本的计算单元，它具有n个输入(x1,x2,…,xn), 一个输出y,n个连接权值(w1,w2,…,wn),且

wi xi ∑ y

神经网络课件

感知器简介1958年，美国心理学家Frank Rosenblatt提出一种具 有单层计算单元的神经网络，称为Perceptron,即感知器。 感知器是模拟人的视觉接受环境信息，并由神经冲动进行 信息传递的层次型神经网络。感知器研究中首次提出了自 组织、自学习的思想，而且对所能解决的问题存在着收敛 算法，并能从数学上严格证明，因而对神经网络研究起了 重要推动作用。 感知器的结构与功能都非常简单，以至于在解决实际 问题时很少采用，但由于它在神经网络研究中具有重要意 义，是研究其它网络的基础，而且较易学习和理解，适合 于作为学习神经网络的起点。

神经网络课件

感知器模型结构o1 … oj … om 感知器的模型结构如图所示。感 知器是指只有一层处理单元的感 W1 ○ Wj ○ Wm○ 知器，如果包括输入层在内，应 为两层。图中输入层也称为感知 层，有n个神经元节点，这些节点 ○ ○ ○ 只负责引入外部信息，自身无信 ○ 息处理能力，每个节点接收一个 x1 x2 … xi … xn 输入信号，n个输入信号构成输 入列向量X。输出层也称为处理层，有m个神经元节点， 每个节点均具有信息处理能力，m个节点向外部输出处理 信息，构成输出列向量O。两层之间的连接权值用权值列 向量Wj表示，m个权向量构成单层感知器的权值矩阵W。 3个列向量分别表示为：

神经网络课件

感知器模型结构X = (x1,x2,...xi ,...,xn )O = (o1,o2,...oi ,...,om)TTTj=1,2,…,m

W j = (w1 j ,w2 j ,...w ,...,w ) ij nj

神经网络课件

感知器模型结构net j =

∑w xi =1

n

ij i

o j = sgn(net j T j ) = sgn(

∑i =0

n

wij xi ) = sgn(W T X ) j

神经网络课件

感知器的功能一个最简单的单计算节点感知器具有分类功 能。其分类原理是将分类知识存储于感知器的权 向量(包含了阈值) 向量(包含了阈值)中，由权向量确定的分类判 决界面将输入

模式分为两类。 决界面将输入模式分为两类。

神经网络课件

感知器的功能x1 (1)设输入向量 设输入向量X=(x1 ,x2)T 设输入向量 x2-1

oj

1 输出： 输出： j = o 1

w1 j x1 + w2 j x2 T j > 0 w1 j x1 + w2 j x2 T j < 0

w1jx1+w2jx2-Tj=0 则由方程 确定了二维平面上的一条分界线。 确定了二维平面上的一条分界线。

神经网络课件

感知器的功能w1j x1+w2j x2 – Tj = 0x1 * * * * * * * * * O O O O O O O O x2 O

w1j x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c

* *

神经网络课件

感知器的功能x1 (2)设输入向量 设输入向量X=(x1,x2,x3)T 设输入向量 x2 x3-1

oj

1 w1 j x1 + w2 j x2 + w3 j x3 T j > 0 输出： 输出： o j = 1 w1 j x1 + w2 j x2 + w3 j x3 T j = 0

则由方程 w1jx1+w2jx2+w3j –Tj=0 确定了三维空间上的一个分界平面。 确定了三维空间上的一个分界平面。

神经网络课件

感知器的功能

w1j x1+w2j x2 +w3j x3– Tj = 0

x1 * * * * * * * * O O x3 O O O * * O O x2 O

x1 = a x2 +b x3 +c

*

神经网络课件

感知器的功能(3) 设输入向量 设输入向量X=(x1,x2,…,xn)T

w 输出： 输出： 1jx1+w2jx2+…+wnj –Tj=0则由方程 w1jx1+w2jx2+…+wnj –Tj=0 确定了n维空间上的一个分界平面。 确定了 维空间上的一个分界平面。 维空间上的一个分界平面 (3.6)

(3.5)

神经网络课件

例一 用感知器实现逻辑“与”功能 用感知器实现逻辑“逻辑“ 逻辑“与”真值 表

x1 0 0 1 1

x2 0 1 0 1

y 0 0 0 1