2011届学生毕业设计说明书（论文）正文（测绘工程）郝敏(5)

淮海工学院二〇一一届本科毕业设计（论文） 第 21 页 共 41 页

这种随机性来自误差项ei。我们所了解的是一个随机变量的方差描述的该随机变量取值散布程度的大小，因此假设第二项要求ei是等方差，也就是要求不同次的观测yi在其均值附近波动程度是一样的。一般不容易达到，所以一般我们会放松为Var(ei)??i2，i?1,2,...,n。第三个的假设等价于在进行不同次的观测时是不相关的。在实际应用中这个假设比较容易满足。但是在一些实际问题中，误差往往是相关的，这时估计问题比较复杂，在这就不讨论了

4.2 RMSq准则

如果模型（3-2）就是真实模型，那么统计建模的任务就是利用一些统计方法通过（4-2）式来估计未知参数?1,...?p?1和?2，对估计的回归方程作统计分析，根据需要，用所估计的回归方程对因变量Y进行预测。有些自变量对Y没大影响或者统计出的结果页没有明显的影响，则我们就有可以从全部自变量挑选一些，比如，前q-1个自变量X1,...,Xq?1，成为一个“最优”自变量子集。于是相应的“最优”回归方程为

Y??0??1X1?...??q?1Xq?1?e （4-4）

我们一般称（4-4）为选模型，而称（4-1）为全模型，现在我们所要讨论的三个问题：

回归方程（4-1）减少自变量后，对回归方程的估计有怎样的影响? 回归方程（4-1）减少自变量后，对因变量的预测有什么影响? 如何评价所选择的回归方程是“最优”的。

通过对有关书籍的学习，我了解到残差平方和RSS的大小反映了实际数据和理论模型的偏离程度，是评价回归方程的一个重要标准。一般来说，RSS愈小，数据与模型拟合的愈好，记选模型（4-4）下的残差平方和为RSSq，由定理

（a）RSS?y'(I?X(X'X)?1X')y （4-6） （b）??是?的无偏估计则有：

2

?2RSS （4-5） n?pRSSq?y'(I?Xq(Xq'Xq)?1Xq')y， （4-6）

其中y?(y1,...,yn)'

?1x11?x1,q?1???1x?x212,q?1?Xq??????????1x?x?n1n,q?1??

x当在选模型中再增加一个自变量。记作q相应的设计矩阵记为，其中

淮海工学院二〇一一届本科毕业设计（论文） 第 22 页 共 41 页

xq??x1q,?,xnq?，这时的残差平方和为

'RSSq?1?y'(I?Xq?1(Xq?1'Xq?1)?1Xq?1')y （4-7）

记：

'a?(Xq'Xq)?1Xq'xq,b?1?xq'xq?xqXq(Xq'Xq)?1Xq'xq,c??ab （4-8）

利用分块矩阵求逆公式有

'?XXqq'?1(Xq?1Xq?1)??'?xX?qq?1'??X'X??1c?Xqxq????qq?'??xqxq?c'b??? （4-9）

于是

Xq?1(Xq?1'Xq?1)?1Xq?1'??Xq'?XqXqxq??'?xX?qq'Xqxq??'xqxq???1'?Xq???x'???q? （4-10）

' =Xq(Xq'Xq)?1Xq'?Xqaba'Xq'?xqcXq'?Xqcxq

从而

Xq?1(Xq?1'Xq?1)?1Xq?1?Xq(Xq'Xq)?1Xq?b(Xqa?xq)(Xqa?xq)'?0通过（4-6）和（4-7）两式得

RSSq?1?RSSq，

此时当自变量子集扩大时，RSSq随之减少，如果按之前所说的“RSSq愈小愈好”的原则，选入回归方程的自变量越多越好。这样，“最优”自变量子集应取?。可见，残差平方和还不能直接用作选择自变量的准则。

由于RSSq是随着q增大而下降，为了防止选取过多的自变量，一种常见的作法是，对残差平方和RSSq乘上一个随q增加而上升的函数作为惩罚因子，于是，我们定义

RMSq?1RSSqn?q （4-11）

由RSSq得定义知，RSSq是平均残差平方和其图形大致为图（4-1）由图可知，随着q的增加RMSq先是减少，而后稳定下来，最后又增加，之所以这样，是因为随着q的增加，尽管惩罚因子?n?q?增大了，但此时RSSq减少很多，故总的效果为RMSq是减少的，当自变量的个数增加到一定程度,虽然RSSq还是减少了但不足以抵消惩罚因子?n?q?的增加最终导致了RMSq的增加，因此?n?q?确实体现了对自变量个数的增加所施加的惩罚。

?1?1?1淮海工学院二〇一一届本科毕业设计（论文） 第 23 页 共 41 页

RMSqO 图4-1 RMSq 变化曲线 q

按照RMSq的性质，我们按“RMSq愈小愈好”的原则选取自变量子集，并

称其为“平均残差平方和”准则，或简称为RMSq准则。

4.3 Cp准则

对于选模型（3-4），在任意一点x??x,x'q'r?处，其中x表示x的前q个分量，

'q并且约定第一个分量为1.我们用y?x?q来预测y?x??e的值其中?q为

??????的最小二乘估计。此时MSEP(y)?E(y?y)2可作为度量预测精?q???0,?,?q?1????'q?'?'度的指标对MSEP(y)作分解

??'??'???'???MSEP(y)?E?xq?q?E?xq?q??E?xq?q??y?????? ??2?'??????Var?xq?q???Ee????? （4-12）

由上式可见，预报精度取决于两个方面：一是预报值方差的大小，二是预报值与真值偏离程度。

以“MSEP(y)愈小愈好”为出发点导出的准则，称为Cp准则，它是由Mallows于1964年提出，其定义为：

Cp??22?RSSq??2??n?2q? （4-13）

其中?为在全模型下误差方差的估计。Cp准则按“愈小愈好”的原则选取自变量子集。

4.4 AIC准则

淮海工学院二〇一一届本科毕业设计（论文） 第 24 页 共 41 页

除上面介绍的RMSq准则和Cp准则外还有一些其它的自变量选择准则。我们介绍其中的AIC准则。

极大似然原理是统计学中估计参数的一种重要方法。日本统计学家Akaike把这个方法加以修正，于1974年提出了一种较为一般的模型选择准则，称为Akaike信息量准则，简称AIC准则，它可以表达为“AIC=-2ln(模型似然度)+2（模型自由参数个数）” （4-14）

2在选模型（4-4）中假设误差e~N?0,?I?，则参数?q???0,?,?q?1?和?q的

2'似然函数为：

L??q,?|y???2??2qn2?2q???1exp??22?q??q?1??y??x?i?jij??i?1?j?1?n2????? （4-15）

2其中xi0?1,2,?,n,而对数似然函数为

n122lnL??q,?q|y???ln?2??q?2?22?qq?1??y??x?i?jij??i?1?j?1? （4-16） n2根据极大似然原理，容易求得?q和?q的极大似然估计为

?q??XXq?Xqy,'q?1????2qRSSqn1?y'?I?Xq(Xq'Xq)?1Xq'?yn （4-17）

把它们带入（4-2）式，得对数函数：

???2??nn?nlnL??q,?q|y?????ln????22?2???n ???ln(RSSq) （4-18）

??2上式中略去与q无关的项，按照（4-11），AIC的统计量为

AIC?nln?RSSq??2q （4-19）

对所有可能的回归自变量的子集，计算相应的AIC之值。

AIC的准则为：选择使（4-13）式达到最小自变量子集为最优回归子集。

4.5 计算所有可能的回归

对于线性回归模型，设存在p-1个自变量x1，x2 ，?，xp?1，且这p-1个自变量的任何一个子集都可以和因变量Y建立一个线性回归方程。为了寻找最优的回归方程及全面了解因变量和自变量之间的结构关系，考虑到把p-1个自变量的所有可能组合，都与Y建立方程，然后按一定准则进行比较，从中得出最优的回归模型，对p-1个自变量的线性回归问题，所有可能的回归有2只含一个自变量的回归有C1p?1?p?1个；

p?1?1个，它们是：

淮海工学 …… 此处隐藏：2358字，全部文档内容请下载后查看。喜欢就下载吧 ……