基于BP神经网络的并行算法

基于BP神经网络的并行算法

维普资讯 http://www.77cn.com.cn

"

i算 t

机

技

术

重庆三峡学院学报—— J uR ALOFC O Q￣G T E O GE NI R IY o N H NG HR EG R SU VE ST 20 0 6年第 3翅第 2 2卷 o 0 6 I 1 2 20/. . 3 o2

基于 B P神经网络的并行算法钟静L傅 彦(. 1重庆三峡学院数学与计算机科学学院，重庆万州 4 4 0; ) 000

(. 2电子科技大学计算机学院，成都

605 ) 104

摘

要：对强激光与等离子体相互作用三维数值模拟程序 LRDP数据输出进行分析，针对 AE

大规模数据模拟数据的特点，出了于 B提基 P神经网络的并行算法，即在各个搜索子空问内对训练

集合中的学习样本进行并行训练。实例表明：不仅可避免陷入局部极小点，提高网络训练速度， 而且仿真效果较好。 关键词：B神经网络；并行训练；大规模数值模拟数据 P中图分类号：T 1 3 P 8文献标识码：A文章编号：1 0— 1 5( 0 6 3 0 1— 3 0 9 8 2 0 )0— 0 9 0 3

1引言

美国 AS I( ce r e t t i C m u n iav )计划的 S M ( c nic t Maa e n)子 C A cl a dSr e c o p t gI t t e et ag i n ii D S i t a n gmet e f Da i

项目是按 P ( B干万亿字节 )规模数据量设计其系统的川。本项目对强激光与等离子体相互作用得到的大规

模数值模拟数据进行研究。当模拟程序 L R D. A E P的数据输出具有上千个时间步和几十亿个网格上 T B规模的数据场时【,采用传统方法分析和解释这些数据是非常困难的。解决问题的任何滞后将会严重制约科 2 I学家对结果数据的分析和挖掘能力。

人工神经网络足一种非线性映射，具有很强的鲁棒性，容错性和冗余度及计算的并行性等，是人工智能的一个前沿研究领域，尤其适合对大规模数据的研究。在人工神经网络诸多模型中， P网络是典型的多 B层前传神经网络，对网络的训练常用误差反向传播算法(简称 B P算法)。目前对 B P算法的改进有可变步长学习、利用动态的最优学习因子和动量因子等【【,以提高网络训练的收敛速度和有效性。引】 在大规模数值模拟数据分析技术研究中，针对数据具有数据最大。不均匀性，不规整性，高维性，动

力学性的特点，提出基

于 B P神经网络的并行训练算法，通过实例表明，这种算法不仅减少了训练次数，提高了收敛速度，而且能迅速找到全局最小。 2 B P网络和 B P算法

B P算法把}络的学习过程分为正向传播和反向传播两种交替过程。首先， c ) 4对于给定的}络输入，过 c ) 4通现有连接权将其正向传播，经各个神经元节点的传递函数作用后，获得其实际输出：如果其中正向传播输出的误差平方和达不到预期的精度，则计算出输出层各神经元的误差信号，这些误差逐层向输入层方向传播，以获得各层神经元的误差信号，沿误差的负梯度方向调整各层神经元的权值和阈值。重复这样的过程， 直到实际输出与期望值之间的误差在允许范围内。 . . 图 l出了一个 3层 B i络模型。神经元的作用函数一般选用 S形作用函数： ) 1(+e )。给 P} 9】/( /1 设训练集合 S中有 P对学习样本， S (,R,…R ),第 P对样本 R= ( p P=,2 = RI 2 P p X ) T l,…P,输入 )

矢 p:(f,,

,

人，J期输矢 p (,人，,于网巾层第k七~ ) ,《 ),望出鸯：,, )对络输出 l P ( 个=

收稿日期：2 0— 3 1 0 6 0— 2

作者简介：钟静 ( 7一，女，重庆人，重庆三峡学院数学与计算机科学学院讲师，研究生。 1 6) 9 基金项目：国家自然科学基金项目(:0706 . N 1460) o

一9 1—

基于BP神经网络的并行算法

维普资讯 http://www.77cn.com.cn

钟

静

傅

彦：基于 B神经网络的并行算法 P

索径越大，收敛率缓慢，可以将搜索空问 u划分为 K个子空问 u ( 1,. ) f j, .K,用 K个进程在： 2.Yll

对应的子空f并行计算，以减少搜索半径。各个 n j

子空间应该具有相容的特性其全集包括了整0

个搜索空问。具体划分算}玄如下：设整个搜索空问

的边界为，,, l『 w为划分 Wl 后子空问 u巾 kX

初始权值集合。 w似在如下范嗣取值： 辅定 j晦 辅 f 入 ( 啻 (。出 (。 一 l≤1 I w≤ ( 望K

() 7

()1中易陷入局部极小， 2￣练 1可采取在每次迭代时各个子空问中按不同选择方式选取输入矢帚，以增大跳出局部极小的可能。

() 3具体算法采用主/从模式。主进程将

搜索空

鍪 2 ( D( )一‘ 力 = uV 3 )蓊 e ,O E一

间 U划分为 K个子空间，并将各个子空间 (由单

独的计算机承担)u的边界传送给对应的从进程 i,在 K台处理机上按各自的边界对 w随机赋初

值，并按不同选择方式选取输入矢晕，当完成一次迭代就将当前收敛情况发送到主进程，当主进P

∑p =lP。’

程收到某从进程达到极值点的消息，或超过晟大

迭代次数，就通知各从进程结束训练。否则，各子进程继续训练。

观一

‘.=

JD I ,.

I

4 B P网络并行算法的实验根据上述并行算法，在 J u d r9环境下编 B i e l

其中：= 一

) . o .(￣ 1 ) -/

制神经网络程序，实现对大规模科学数据的分析在训练过程中，采用 T PI C/ P协议 Wi o s ok t n w ce d S编程接口实现客户/服务器通信方式。由服务器初始化 K个进程，每个进程通过各自的套接字与对

1 f I1) L∑一 l + k=:,

kl=

当B P网络的误差目标函数 E满足某一很小

应的从进程进行消息传递。当 K I,即为基本=时的训练算法，K取不同值时收敛速率不同。 训练数据随机取于 L R D P产生的磁场强 A E度的第 4 0时间步的一个中心切片数据。共有 0个 4 3对样本，输入失量由 9 6个元素组成，输出失

的预设值时，即认为网络的学爿过程结束。针对 B P算法收敛速度慢的缺点，本文采用了可变学习速率的方法： 若 E在相继的两次迭代过程巾符号，变 O 1,

量由 1元素组成，网络的初始权值为【,l,个 . 1】可尝试增加 7,相反，则减小7,B: 7 7 l』 r (+1= (+△ ( L t ) f f j ) )其巾：

神经络有 3,输入层(6神经元)层 9个，隐含层() 6

(个神经元) 8 .输出层(个神经元) 1。取：1 05/ .,￡= .0l= 00,口= .,B= .,T; .0, 01 02 00 5=05, A=30, a=1Ox 1一， ma se=1 0 0 . . . 0 x tp 0 0 0

当 K取不同值时，并行算法终止时的迭代次数如表 1 1l:(一是基本训练算法，1— 2是可变学习 3分布式并行训

练算法算法)

基于 B P神经嘲络的并行训练算法和改进策略如下：() 1随机的初始权值搜索空越大，其平均搜

表 1从进程个数与终止迭代次数关系表1

K1l一 1 2

2

3

4

5

基于BP神经网络的并行算法

维普资讯 http://www.77cn.com.cn

1}三峡学院掌报 2 0庆 0 6年第 3期

线。由图可见，在 K个从进程中，有的开始收敛迅速，但接近极值区域时收敛缓慢：有的开始时收敛缓慢，接近极值区域时却收敛迅速；的不能有收敛，误差曲线变化平坦。-■ t“

图 3训练结果可视化 5结语

在基于神经网络的大规模数值模拟数据分析技术研究中，我们将这种基于 B P网络的并行训练算法进行仿真实验，同时在计算过程中引入可变学习速率，自适应地调整权值， 7能避免陷入局部极小点，同时在训练速度上有一定提高。参考文献：

…… 此处隐藏：3839字，全部文档内容请下载后查看。喜欢就下载吧 ……