一种新型学习算法极限学习机当前研究(2)

限学习机的目标实现这五种基本学习操作[5]。

2.2图

近年来，极限学习机（Extreme Learning Machine, ELM）作为一种新兴的机器学习方法，在全世界许多研究者的不断研究下，已经成为了一个热门研究方向。极限学习机主要有以下四个特点：

（1）极限学习理论探讨了神经网络、机器学习领域悬而从未决的问题：在学习过程中隐含层节点数目，神经元之间的权值是否需要调整。与传统神经网络有所不同，在理论父母已经证明，对于ELM神经网络和学习算法，隐含层节点，神经元不需要迭代式的调整，而早期工作并没有提供随机隐含层节点前馈神经网络的理论基础。

（2）极限学习机的相同构架可用作特征学习，聚类，回归和（二类/多类）分类问题。

（3）相比于极限学习机，支持向量机（SVM）和最小二乘支持向量机（LS‐SVM）趋向于得到次优解。支持向量机和最小二乘支持向量机也没考虑多层前馈网络中隐含层的特征表征[6]。

5

3.当前ELM的研究状况

我们知道神经网络的学习速度是至关重要的，但目前的情况远远小于我们要求的，多年来，它都是其应用的一个瓶颈，主要有两个原因：

（ 1）基于梯度的慢的学习算法，

（ 2）神经网络中的参数需要迭代调整。比如说 BP。为此，黄广斌等 2004 年针对单隐含层前馈神经网络（ SLFNs）提出了 ELM 算法，并在 2006 年对 ELM 做了进一步研究，给出了部分理论证明及应用[1,2]。

但是该算法同时也有一些缺点，主要是网络结构的确定没有启发性算法，只能随机指定隐含结点个数，隐含层结点个数的多少直接影响了分类器最后的精度和性能[7]，此外尽管随机指定隐含层权值和偏置使得网络的学习速度很快，但也同时使得该网络不稳定，两次独立的实验结果可能会相差较大，网络输出波动较大。另外对于该算法中随机指定权值和偏置能否使网络具有一致逼近能力有待进一步证明。针对 ELM 的这些优点和缺点，近年来众多专家学者投身于其研究中研究方向如下：

(1)随机生成参数的优化：由于隐含层节点参数随机选取,从而使得隐含层不具有调节能，,因此，隐含层元在构建的单隐含层网络中不具有多大的作用。在不影响ELM算法学习能力和预测能力的情况之下，对其隐含层进行优化显得更加重要。在2010年Huang G. B.和Lan Y.等提出CS_ELM[8]和TS_ELM[9]，用不同的方法对随机生成的隐含层节点参数进行筛选，淘汰显着性较弱的隐含层,来实现对已得ELM算法的优化。 2011年, Wang Y. G., Cao F. L.和Yuan Y. B.提出了对角占优的方法(EELM) [10]来优化隐含层节点参数，因此保证了隐含层输出矩阵的非奇异性，提高了ELM算法的稳定性。Rong H. J.等提出了P-ELM[11]，针对分类问题的ELM算法，利用统计学原理，裁剪对网络分类效果影响较弱的隐含层来实现网络结构的优[7]。

(2)最优外权的求解：由于ELM的外权求解过程中要用到求解隐含层输出矩阵的Moore-Penrose[3]广义逆,而隐含层矩阵奇异和接近奇异的情况不能得到有效的避免,为提高所构建ELM算法的学习能力,避免噪音带来的广义扰动所产生的偏差,Toh K. A.等均借助添加正则项的方法优化了最优外权的选取[7]。

(3)最优隐含层节点个数的选取:针对ELM算法需要较多的隐含层节点个数

6

来弥补隐含层节点参数随机选取带来的缺陷这一问题, Huang G. B.等在2006年和2008年先后提出了I-ELM[13]和EI-ELM[14]来优化随机选取的隐含层节点参数,从而大为简化了ELM算法的复杂程度,提高了其优化效率.然而由上述算法过程可知,最终确定的外权并不能保证是相应单隐含层的最优外权.针对该问题, Huang G. B.等在2009年提出EM-ELM[15]实现了在增加隐含层元的过程中,求得相应单隐含层的最优外权,同时又避免了对上一级隐含层输出矩阵的重复计算。

(4)ELM核函数:在原始的ELM算法中, Huang G. B.等在2004年提出了训练对应于常加法型隐含层节点网络[1]以及径向基型隐含层节点的单隐含层网络的ELM算法[16]。结合支持向量机的学习原理Huang G. B.等又在2010提出了ELMKernel,利用该方法[17]所构建的ELM算法较Liu Q.[17]和Frenay B[18].所提出的Extreme SVMs有着更少的约束条件和更好的学习能力。

(5)在线ELM算法:在很多情况下,数据的采集往往是一个在线过程,也就是说,所有的样本数据不能一次性的得到,而是每隔一定的时间得到一批数据.由于样本不能同时得到,这样就使得数据的训练过程变得非常复杂.针对这一情况,Liang N. Y.和Huang G. B.提出了处理在线数据的OS-ELM[19]，该方法有效地将新旧样本的训练衔接在一起,同时避免了对已有数据的多次重复训练。

7

4.几种ELM结构选择方式的对比

在学习了有关Extreme Learning Machine (ELM) 的一些基础的及其扩展的论文，对ELM有了更深入的了解。由于ELM中隐藏层和输出层的权重分别是随机和分析得到的，唯一不能确定的（需要人为指定的）是隐节点的个数，也就是网络结构的大小。本文对当前已有的有关ELM的结构选择方法进行了简单的介绍和比较[20]。

在神经网络的研究中，如何确定网络结构一直是一个公开问题。在模式识别中，我们都知道如果我们设计的网络太小，则它不能够很好的拟合训练数据，这样的网络，我们肯定也不希望它能够很好的拟合未见数据。另一方面，如果网络太大，它又可能会过拟合训练数据，导致不能拟合未见数据。另外，网络太大会造成计算更复杂，对运行环境提出了更高的要求。

ELM是基于单隐藏层前馈型神经网络设计的，它的主要优势在于计算复杂度低，是一种简单和易于实现的方法。但是，在原始的ELM中没有提供一个关于网络结构设计的有效的解，在大多数情况下，我们是通过多次试验，以训练误差为标准来选出的适当的隐节点个数。这样做，在很多应用中就变得很乏味而且很难找到一个最优的解。所以，很多研究人员改进了原始的ELM，通过一个学习算法来计算所需隐节点的个数。

一般来说，对于SLFNs的构造有两种启发式的方法：一是构造的方法，也就是加节点的方法；另一个就是剪枝的方法。目前已有构造法的方法，包过I-ELM, EM-ELM, CS-ELM,。剪枝的方法有。P-ELM,和OP-ELM[21]接下来，对这几种方法进行简单的介绍和比较。

构造方法的主要思想就是先初始化一个简单（隐节点个数比所需要的少）的网络结构，然后一个个或一组组的加隐节点。通过控制最大的隐节点个数和期望的误差，来停止学习过程，进而得到所需的网络结构。主要有I-ELM和EM-ELM，下面简单的介绍这两种方法。

I_ELM算法，给定一个训练集D???xi,ti?|xi?Rn,ti?R,i?1,?,N?，启动函数g?x?，最大的隐节点个数Nmax，期望的学习误差?：

Step 1) 初始化过程：设置N?0，残差E?t，其中t??t1,?,tN?。

8

~~T

Step 2) 学习过程：当N?Nmax并且E??

a) 一个个的增加隐节点N:N?N?1；

b) 随机设置新加入的隐藏层节点的权值w~和偏置b~；

NN~~~~~c) 对于每一个新加的隐节点，计算输出权值?~：

N??N~E?HT~NH~?H~~NTN；

d) 计算新加入隐节点N后的残差E?E??~?H~。

NN在Step 2 即学习过程开始前，网络中节点个数为0，残差E初始化为训练数据集的期望目标向量t. 当隐含层节点的个数N大于预先设定的最大数Nmax或者残差E小于等于期望误差时，学习过程停止。 EM_ELM与I-EL …… 此处隐藏：2113字，全部文档内容请下载后查看。喜欢就下载吧 ……