一种新型学习算法极限学习机当前研究

大连大学

论文题目：一种新型学习算法极限学习机当前研究

姓 名： 邹全义 学 科、专 业： 计算机科学与技术 年 级： 2015级 日 期： 2016年7月

0

摘 要

机器学习是当今大数据时代的核心研究方向，机器学习的研究成果被广泛应用到模式识别、计算机视觉、数据挖掘、控制论等领域当中，并渗透到人们日常生活的方方面面当中。而在机器学习的研究当中，预测、分类的研究占据着重要的地位，预测、分类模型的性能往往是一个应用成果与否的关键。数据挖掘，如支持向量机（SVM)、极限学习机（ELM)等，的潜力已经成为了当今机器学习的主流研究方向。传统前馈神经网络采用梯度下降的迭代算法去调整权重参数，具有明显的缺陷；（1）学习速度缓慢，从而计算时间代价增大；（2）学习率难以确定且易陷入局部最小值；（3）易出现过度训练，引起泛化性能下降。这些缺点制约迭代算法的前馈神经网络的广泛应用。针对这些问题，近几年来，许多学者研究极限学习(ELM)算法，该算法仅通过一步计算即可解析求出学习网络的输出权值，同迭代算法相比，极限学习机(ELM)算法提高了神经网络的学习速度。 关键词：神经网络；极限学习机；分类；回归；数据挖掘

1

目 录

摘 要 ....................................................................................................................................... 1 目 录 ......................................................................................................................................... 2 1. ELM 算法概述 ...................................................................................................................... 3 3.当前ELM的研究状况 ........................................................................................................... 6 4.几种ELM结构选择方式的对比 ........................................................................................... 8 总结 ......................................................................................................................................... 11 参考文献 ................................................................................................................................. 12

2

1. ELM 算法概述

虽然神经网络研究经过五十多年的发展，已经取得了诸多显着的理论成果，但由于大规模系统中大数据量，高维度的数据中包含的高不确定性，都使得神经网络辨识速度缓慢而难于满足实际要求。例如在数据挖掘、智能控制领域，使用神经网络控制方法虽然可以辨识高度复杂和非线性系统，解决被控对象复杂和高不确定时的建模问题，但神经网络的实时性是非常差，学习时间过久。

此外，对于大中型数据集的系统辨识和分类、回归问题，传统神经网络方法如BP网络、RBF网络、SVM算法等不仅需要大量的训练时间，还会出现“过饱和”、“假饱和”和最优化隐含层节点数目难以确定等各种问题。2004年南洋理工大学Huang G.B.教授等人提出了ELM算法。极限学习机（ELM Extreme Learning Machine)是一种快速的单隐含层神经网络（SLFN）[1,2]。ELM神经网络和BP神经网络、RBF神经网络一样，都是SLFN(single-hidden layer feed forward neural network)。近几年来相继提出了基于极限学习的多种神经网络学习算法，将神经网络研究又推进了一步。在传统的人工神经网络中，网络的隐含层节点参数是通过一定的迭代算法进行多次优化并最终确定的。这些迭代步骤往往会使参数的训练过程占用大量的时间，并且，例如BP算法很容易产生局部最优解，从而使网络训练过程的效率得不到保证，同时迭代耗时比较多。

图1.1

为增强构建网络的整体性能，ELM神经网络的隐含层到输出层的之间的连接不需要迭代，该算法的特点是在网络参数的确定过程中，隐含层节点参数随机选取，在训练过程中无需调节，只需要设置隐含层神经元的个数，便可以获得唯一的最优解;而网络的外权（即输出权值）是通过最小化平方损失函数得到的最

3

小二乘解，最终化归成求解一个矩阵的 Moore-Penrose 广义逆[3]。这样网络参数的确定过程中无需任何迭代步骤，从而大大降低了网络参数的调节时间。与传统的训练方法相比，该方法具有学习速度快优点，可以采用最小二乘原理求出[4]。

X?{x1,x2,....xn};为数输入数据Y?{y1,y2,...yn}为输出数据，ai,bi表示第i个隐含层的参数，G（ai,bi,xi）为第i个隐含层的启动函数， ?i是第i隐含层都输出层的连接权值，针对于训练集（X，Y）具有以下关系；

f(X)???iG(ai,bj,X)

i?1L(2.1)

ei是训练集中第i样本误差即ei?f(xi)?yi;T?YT

?（?1,?2,....?L）??ej??|??iG(ai,bi,xj)?yi|；j?1j?1i?1nnL(2.2)

?G(a1,b1,x1)令 H??:???G(a1,b1,xn)则可以表示成　HB?T；

.......:.......??1?G(aL,bL,x1)??????2?;:，B???：??G(aL,bL,xn)?N?L????L?

? B?HT (2.3)

?ELM算法:

① Input:给定训练样本集{X，Y}层输出函数G(ai,bi,xi)和隐含层节点个数L.

② 随机生成隐含层的参数ai,bi； ③ 计算隐含层输出矩阵H; ④ Output:网络外权B?H?T；

其中,加法型隐含层节点的单隐含层神经网络的启动函数可以选作任意有界非常数分段连续函数;而对于RBF型隐含层节点的单隐含层神经网络,启动函数可以选作任意分段连续可积函数。

数据压缩、特征学习、聚类、回归和分类是机器学习和机器智能的基础。极

4