一种新型学习算法极限学习机当前研究(3)

剪枝方法的主要思想是：先生成一个具有比所必需的隐节点个数多的SLFN，然后根据各种方法一个个的剪掉不必要的隐节点，从而得出最优的网络结构。主要有P-ELM[11]和OP-ELM[12]，下面介绍这两种方法的主要内容。

P-ELM]算法：给定一个训练集D，启动函数g，初始化的隐节点个数N，一个相关度阈值???1,?2,?,?q?。

1） 把训练集分成互不相交的学习集和验证集；

2） 随机设置隐含层节点参数，并计算隐藏层输出矩阵H； 3） 用统计的方法?2或IG计算每个隐含层节点与类目标相关度，然后按降序排列；

4） 对于每一个相关度阈值?i；

a) 找出满足?i的的隐含层节点子集Si，并计算相应的验证精度

[11

~oi；

b) 计算AIC(i)?f?Si,oi?；

5） 选择min?AIC?对应的隐节点子集S*； 6） 重新训练网络用整个训练集和隐节点子集S*； 7） 用测试数据评价新的网络的性能。

OP-ELM算法步骤：

1） 构造SLFN用原始的ELM算法；

2） 用多响应稀疏回归算法对隐节点进行排序； 3） 用留一交叉验证选择最优的隐节点个数。

P-ELM算法与OP-ELM算法的比较：这两种方法的思路都是先根据某种方法对隐节点进行排序，然后再用一种结构选择方法选择所需要的隐节点个数。唯一的区别就是所用的方法不同。

构造方法的主要思想就是，先构造一个较小的网络，然后一个个或一组组的

10

加隐节点；剪枝方法是，先构造一个比所需的隐节点个数大的网络，然后再一个个的把不必要的剪掉。

对于剪枝算法来说，我们很难确定开始构造的网络的大小，为了能找到最优的，往往我们构造了一个比需要的大的多的网络，这样就增加了计算复杂性，需要更多的训练时间[21]。

对于构造算法来说，它们不能自动的获得最优的网络结构，因为一般来说，构造算法都是当隐节点个数达到一个最大值或是小于一个期望误差时才停止；而隐节点个数的最大值和期望误差都是人为确定的。 总结

ELM算法采用不用迭代而是随机产生隐藏层权值，然后分析决定输出层权值的方法，大大的减少了学习时间，给很多应用带来了方便。对ELM唯一需要确定的隐节点个数，很多学者也有了这方面的研究，取得了不少的成果，比如以上讲的构造方法和剪枝方法。但是，在这些结构选择的方法中，一般都需要设置一些参数，比如构造方法中的最大隐含层节点个数和期望误差，剪枝方法中的开始构造的网络大小，而这些参数一般都是很难确定的，不同的数据集这些参数有时差别还很大。若是在构造网络结构时，不需要人为的设置一些参数，或者对不同的数据集参数设置都是一样的，这样的方法值得期待。

由于极限学习机的隐含层节点数目是随机给定的，而实际实验显示隐含层节点数目的选取很大程度上决定了神经网络的系统辨识精度（测试误差）是否可最优。换言之，就是极限学习机的神经元数目直接关系到神经网络的系统逼近与泛化性能。目前最优神经元个数的选择方法依然只能通过试凑法来获得，这大大影响了极限学习机的实际应用效果。

11

参考文献

[1]. Huang G B, Zhu Q Y, Siew C K. Extreme learning machine：a new learning scheme of feed forward neural networks [C]. In Proceedings of the International Joint Conference on NeuralNet works (IJCNN 2004). Budapest, Hungary, July 2004: 985–990.

[2]. Huang G B，Zhu Q Y，Siew C K. Extreme learning machine: Theory and applications [J]．Neuro computing．2006，70：489–501．

[3]. Ortega J M. Matrix Theory [M]. New York and London: Plenum Press, 1987. [4]. 刘学艺. 极限学习机算法及其在高炉冶炼过程建模中的应用研究 [博士]: 浙江大学; 2013.

[5]. 曾志勇. 结合ELM和非负矩阵分解的数据表示方法的研究与应用 [硕士]: 杭州电子科技大学; 2014.

[6]. 毛小冬.核极限学习机的理论与算法及其在图像处理中的应用 [博士]:浙江大学;2014.

[7]. 王智慧 BP神经网络和ELM算法研究 [硕士]:中国计量学院;2012.

[8]. Lan Y, Soh Y C, Huang G B. Two-stage extreme learning machine for regression [J]. Neuro-computing. 2010, 73: 3028–3038.

[9]. Lan Y, Soh Y C, Huang G B. Constructive hidden nodes selection of extreme learning machine for regression [J]. Neuro computing. 2010, 73: 3193–3199.

[10]. Wang Y G, Cao F L, B Y Y. A study on effectiveness of extreme learning machine [J]. Neuro-computing. 2011, 74: 2483–2490.

[11]. Rong H J, Ong Y S, H T A, et al. A fast pruned-extreme learning machine for classification problem [J]. Neurocomputing. 2009, 72: 359–366.

[12]. Huang G B, Saratchandran P, Sundararajan N. An efficient sequential learning algorithm for growing and pruning RBF networks. IEEE Transactions on Systems Man and Cybernetic Part 2004,34(6):2284-2292

[13]. Huang G B, Zhu Q Y, Siew C K. Universal approximation using incremental constructive feed-forwardnetworks with random hidden nodes [J].IEEETransactionson Neural Networks.2006,17 (4): 879–892.

[14]. HuangG B, Chen L. Enhancedrandom search based incrementalextreme learning machine [J].Neurocomputing. 2008, 71: 3460–3468.

[15]. [15] Feng G R, Huang G B, Lin Q P, et al. Error minimized extreme learning machine with growth of hidden nodes and incremental learning [J]. IEEE Transaction on Neural Networks. 2009, 20:1352–1357.

[16]. Lan Y, Soh Y C, Huang G B. Two-stage extreme learning machine for regression [J]. Neuro-computing. 2010, 73: 3028–3038.

[17]. Liu Q, He Q, Shi Z. Extreme support vector machine classifier [J]. Lecture Notes in Computer Science. 2008, 5012: 222–233.

[18]. Frenay B, Verleysen M. Using SVMs with randomised feature spaces：an extremelearning approach [C].In The 18th European Symposiumon Artificial Neural Networks(ESANN2010).Bruges, Belgium, April 2010: 315–320.

[19]. Wang Y G, Cao F L, B Y Y. A study on effectiveness of extreme learning machine [J]. Neuro-computing. 2011, 74: 2483–2490.

12

[20]. Heeswijk M, Miche Y, E O, et al. GPU-accelerated and parallelized ELM ensembles for large-scale regression [J]. Neurocomputing. 2011, 74: 2430–2437. [21]. 周正华 基于神经网络和稀疏表示的几何造型理论与方法研究 [博士]:上海大学,2015.

13