基于神经网络的股票价格走势预测及其MATLAB实现 - 论文(4)

线性激活函数:f(x)?x (输出层，函数逼近)

如果多层前向网络的输出层采用Sigmoid激活函数,其输出值将会限制在范围 (0,l) 内（通常用于分类问题）；如果多层前向网络的输出层采用对称的Sigmoid激活函数,其输出值将会限制在范围 (-1,l) 内（通常用于分类问题）；如果多层前向网络的输出层采用线性激活函数则可以取任意值（通常用于函数逼近问题）。 下面给出网络第l层更精确的结构。

?1(l) (l)w11 V1(l) (l?1) y1? y1(l) fl

?2(l)

(l)V 2(l?1) (l)y2? y2 fl

(l)?Sl

(l)VSl (l?1)(l) ?ySl?1yS fl (l)l wSlSl?1

第l层输出为

y(l)i(l)(l?1)?fl(?wijyj??i(l))?fl(Vi(l))，1?i?Sl

j?1Sl?1称Vi(l)??wp?1Sl?1(l)ipy(pl?1)??i(l)为第l层第i个神经元的净输入。

3.3.2 反向传播算法 (Backpropagation Algorithm)即 BP算法

在确定了网络的结构后,要通过训练样本集对网络进行训练,即对网络的阈值和权值进行学习和修正,以使网络实现给定的输入/输出映射关系。下面给出学习网络的阈值和权值的BP算法。

1. 随机梯度法 (极小化均方误差)

???x,t?为随机抽取训练样本nm设?，x?R,t?R. 记 ???x(k),t(k)?为随机抽取训练样本列?F(w)?E?t?y2? （网络的均方误差）???， ?2??Fk(w)?t(k)?y(k) （网络对应于训练样本?x?k?,t?k??的平方误差）;?w记为网络的全部权值与阈值(为方便起见)?其中，?y为网络对应于输入x的实际输出；

?y(k)为网络对应于输入x(k)的实际输出? 16

2目标: 求解w??argminF(w)?E?t?y?

w??

梯度法：

?)(l)(l)?wij?k?1??wij?k????F(w(l)?wij??w?w(k) 1?i?Sl, 1?j?Sl?1, 1?l?L. ??(l)?F(w)(l)??i?k?1???i?k?????i(l)w?w(k)?? 由于无法计算随机梯度法

?F(w)?F(w)，，因此采样下面的随机梯度法。 (l)

?wij??i(l)?)(l)(l)?wij?k?1??wij?k????Fk((wl)?w?ij?w?w(k), 1?i?Sl, 1?j?Sl?1, 1?l?L. ??(l)?Fk(w)(l)?????k?1??k???ii??i(l)w?w(k)??2. BP算法推导 目标: 给出计算

?Fk(w)(l)?wij，

?Fk(w)??i(l)的快速算法。

为了给出计算

?Fk(w)(l)?wij，

?Fk(w)??(l)i的递推算法，通过引进中间变量并使用链式求导法则。

(1) 使用链式求导法则化简 引进中间变量：Vi(l)??wp?1Sl?1(l)(l?1)ipyp??i(l)，1?i?Sl.

??Fk(w)?Fk(w)?Vi(l)?.(l)?(l)(l)?w?V?wij?iji ?, 1?i?Sl, 1?j?Sl?1, 1?l?L. （1）

(l)??Fk(w)?Fk(w)?Vi???(l)??V(l).??(l)iii?由于Vi(l)??k?1Sl?1(l)(l?1)wikyk??(l)i，故

?Vi(l)(l)?wij??Vi(l)(l?1)yj, (l)?i??1.记?i(l)??Fk(w)?Vi(l)，则(1)化简为

??Fk(w)??i(l)y(jl?1)?(l)??wij,1?i?Sl, 1?j?Sl?1, 1?l?L. ???Fk(w)??(l)i???(l)i?(2) 计算?i(l)的反向递推公式 (1?i?Sl, 1?l?L.)

17

l?1) 下面给出?i(l)与?(之间的递推公式。 j?i(l)(l?1)S?Vj(l?1)?Fk(w)链式法则S?Fk(w)?Vj(l?1)????j. (l)(l?1)(l)(l)?Vi?Vi?Vij?1?Vjj?1l?1l?1??由于Vj(l?1)??wp?1Sl(l?1)jpl?1)y(pl)??(jl?1)??w(jpfl(Vp(l))??(jl?1)，所以

p?1Sl?Vj(l?1)?Vi(l)?w(jil?1)fl'(Vi(l)). (如果fl(t)?1，则fl'?fl(1?fl)) ?t1?e因此，有如下反向递推公式： ?i(l)??j?1Sl?1l?1)，1?i?Sl, 1?l?L. w(jil?1)fl'(Vi(l))?(j当l?L时（即输出层），有

?(L)?Fk(w)??i??Vi(L)???F(w)?t(k)?y(k)?k?2??(tp?1mp(k)?yp(k))2??(tp?1m

p(k)?fL(Vp(L)))2从而，?i(L)??2(t(k)?fL(Vi(L)))fL'(Vi(L)).

3.3.3. BP 算法的实现 1.初始化

在[?0.1, 0.1]区间内随机选择网络的初始权值和阈值。

2.前向计算（假设我们已知了第k步：w?k?,θ?k?,x?k?,t?k?）

Sl?1?(l)(l)wij(k)y(jl?1)(k)??i(l)(k)??Vi(k)? ?, l?1,2,?,L, 1?i?Sl, j?1?(l)(l)??yi(k)?fl(Vi(k))?其中 y(0)(k)?x(k). 3.向后计算第k步

(L)(L)'(L)L ?i(k)??2(ti(k)?fL(Vi(k)))fL(Vi(k)), 1?i?m?S.

从而，通过如下递推公式可计算出?i(l)(k)，l?L?1,L?2,?,1. ?i(l)(k)??wj?1Sl?1(l?1)(k)fl'(Vi(l)(k))ji?(jl?1)(k), 1?i?Sl.

4.重新更正网络权值和阈值

18

(l)(l)(l)(l?1)??wij?k?1??wij?k????i(k)yj(k) ?, 1?i?Sl, 1?j?Sl?1, 1?l?L.

(l)(l)(l)???i?k?1???i?k????i(k)3.3.4 BP网络逼近能力分析

K. Hornik已经证明，对于任意紧集X?R，单隐层(两层)前向网络：

n?Sigmoid激活函数—隐层??线性激活函数—输出层，即 ?隐层神经元足够多??n?1?1?g?x???wif??wijxj??i???, x??x1,x2,i?1?j?1?Lxn??Rn,f?Sigmoid,

T可以任意精度的逼近C(X)中的任意函数。

与此同时， Leshno也已经证明：上述网络可以任意精度的逼近任意连续函数。

3.4 神经网络的特点

1.具有很强的学习能力。

神经网络预测模型通过学习获取知识，并不断更新权值和阈值来改进自身性能，最终使得预测准确性较好。 2.分布式存储信息。

神经网络存储信息的方式与传统计算机的思维方式是不同的，神经网络通过大量神经元之间自适应性的连接即阈值以及对各连接权值的分布来表示特点的预测信息。 3.自适应性。

自适应性是指整个神经网络进行自我调节的能力，它包含四个方面的含义；自学习、自组织、泛化及训练。特别是在股市这样的环境非平稳的系统中，可以继续学习训练以跟踪环境的变化。而所谓的泛化能力是指经过训练后的网络对新样本能够做出正确的反应的能力。 4.映射的功能。

在前面的原理分析部分，我们已经知道单隐层前向网络可以任意精度的逼近n维空间中的二次可积函数。 5.并行性.

传统计算机处理信息的方式为串行处理，计算与存储是完全独立的两部分，这样存储器与运算器之间的通道就成了计算机的瓶颈，大大限制了它的运算能力。神经网络的各个层中的神经元都可以根据接收到的不同的信息进行独立的运算和处理，然后将输出的结果传输给其他的神经元同时进行并行处理。 6.联想记忆功能。

神经网络在训练过程中，输入端给出要记忆的模式，通过学习合理地调整网络中的权值和阈值，网络就能“记住”所有的输入信息。 7.鲁棒性(容错性)。

由于神经网络采用分布式存储信息的方式，即使网络局部受损或外部信息部分丢失也不会影响整个系统的性能，使得它比传统计算机模型具有较高的鲁棒性，而这也完全适合股市预测的需要。

19

3.5 神经网络的在实际预测模型中的问题

在前面的分析了神经网络的相关基本原理之后，对于我们下面将在具体的股市预测模型中进行的编程存在一些亟需解决的问题，主要是指：网络的初始化，网络结构的选择，学习率的选择，训练停止规则等等。其实在后面的实证分析的过程中我们就是需要通过对相同的数据进行多次不同参数的选取来寻求一种相对最优的预测方案。

3.5.1 网络的初始化即指网络权值和阈值的初始化问题，有两种方案。

1.初值直接选择为很小的随机数：如取[?1, 1]，[?0.1, 0.1]中均匀分布的随机数。 2.取多组不同的初值试探。 3.5.2 网络结构的选择

神经网络的近似和泛化能力主要依靠：网络结构、训练样本数等。而网络结构又包含所选网络的层数，各个不同层 …… 此处隐藏：3159字，全部文档内容请下载后查看。喜欢就下载吧 ……