计量经济学讲义第二讲(共十讲)

浙江工商大学姚耀军讲义系列

第二讲 普通最小二乘估计量 一、基本概念：估计量与估计值

对总体参数的一种估计法则就是估计量。例如，为了估计总体均值为u，我们可以抽取一个容量为N的样本，令Yi为第i次观测值，则u的一个很自然的

Y 估计量就是u

Y。A、B两同学都利用了这种

i

N

A

估计方法，但手中所掌握的样本分别是(y1A,y2A,...,yN)B与(y1B,y2B,...,yN)。A、B两同学分别计算出估计值

A u

yi

A

N

B 与u

yi

B

N

。因此，在上例中，估计量u

A,u B是该随机变量可能的取值。是随机的，而u估计量

所服从的分布称为抽样分布。

如果真实模型是：y 0 1x ，其中 0, 1是待估计的参数，而相应的OLS估计量就是：

1

(x )y

(x )

i

2

i

i

; 01

我们现在的任务就是，基于一些重要的假定，来考察上述OLS估计量所具有的一些性质。

二、高斯-马尔科夫假定

浙江工商大学姚耀军讲义系列

●假定一：真实模型是：y 0 1x 。有三种

情况属于对该假定的违背：（1）遗漏了相关的解释变量或者增加了无关的解释变量；（2）y与x间的关系是非线性的；（3） 0, 1并不是常数。

●假定二：在重复抽样中，(x1,x2,...,xN)被预先固定

下来，即(x1,x2,...,xN)是非随机的（进一步的阐释见附录），显然，如果解释变量含有随机的测量误差，那么该假定被违背。还存其他的违背该假定的情况。

笔记：

(x1,x2,...,xN)是随机的情况更一般化，此时，高斯-马尔科夫假定二被更改为：对任意i,j,xi与 j不相关，此即所谓的解释变量具有严格外生性。显然，当(x1,x2,...,xN)非随机时，xi与 j必定不相关，这是因为 j是随机的。

●假定三：误差项期望值为0，即

E( i) 笔记：

1、当(x1,x2,...,xN)随机时，标准假定是：

E( ix1,x2,...,xN) 0,i 1,2,...,N

0i ,1,。N2

根据迭代期望定律有：E[E( ix1,x2,...,xN)] E( i),因

此，如果E( ix1,x2,...,xN) 0成立，必定有：E( i) 0。

浙江工商大学姚耀军讲义系列

另外，根据迭代期望定律也有：

E[E( ixjx1,x2,...,xN)] E( ixj)

而E( ixjx1,x2,...,xN) xjE( ix1,x2,...,xN)。故有： E( i) 0

E( ix1,x2,...,xN) 0

E( ixj) 0

Cov( i,xj) E( ixj) E( i)E(xj) 0

因此，在(x1,x2,...,xN)是随机的情况下，假定二、三可以

修正为一个假定：E( ix1,x2,...,xN) 0。

2、所谓迭代期望定律是指：如果信息集 ，则有

) ]

E[E(XE(X )。为了理解上述等式，考虑一个极端

情况： 包含了全部的信息，此时X丧失了随机性，故

E(X

)

X，因此必有E[E(X ) ] E(X )。无条件期

望所对应的信息集是空集，因此E[E(X )] E(X)。

3、回忆第一讲，对模型y 0 1x ，在OLS法下

我们一定能保证:(1)残差均值为零;(2)残差与x样本不相关。残差是对误差的近似，如果假定二、三不成立，即误差项与解释变量相关，误差项期望值不为零，显然此时残差并不是对误差项的有效的近似，换句话说，此时OLS估计量是有严重问题的。因此，假定二、三非常重要。

●假定四： 2 2，即所谓的同方差假定。

i

笔记：

浙江工商大学姚耀军讲义系列

在(x1,x2,...,xN)是随机的情况下，该假定修订为：

Var( ix1,x2,...,xN)

2

●假定五：Cov( i, j) 0,i j，即所谓的序列不

相关假定。

笔记：

在(x1,x2,...,xN)是随机的情况下，该假定修订为：

Cov( i,

j

x1,x2,...,xN) 0 ,i j

●假定六： (xi )2 0，在多元回归中，该假

定演变为X X的逆存在，即各解释变量不完全共线。

三、高斯-马尔科夫定理

当高斯-马尔科夫假定成立时，在所有线性无偏估计量中，OLS估计量方差最小。或者说，OLS估计量是最优线性无偏估计量（best linear unbiased estimator,BLUE）。这被称为高斯-马尔科夫定理。 （一）OLS估计量是线性估计量

所谓OLS估计量是线性估计量，是指它能够被表示为yi的线性函数。例如：

[ 1

x (xi

)2

]yi kiyi

注意，在假定二下，ki是非随机的。

浙江工商大学姚耀军讲义系列

表示成y的线性函数。 练习：把 0

i

笔记：

线性意味着简单，简单意味着普通。因此有称谓“普通最小二乘法”。二乘即为平方，故OLS即为“简单的最小平方法”。

) ) ；E( （二）OLS估计量具有无偏性：E( 0011

) ： 证明E( 11 [ 1

x (xi

)2

]yi kiyi ki( 1xi i)

) E( k 1 kixi kiE( i)

0 i1

而 ki 0； kixi 1。因此在重要假定三：E( i) 0

) 。 下，有：E( 11

笔记：

在(x1,x2,...,xN)是随机的情况下，我们需证：

x,x,...,x) E( 112N1

) 练习：证明E( 00

（三）在所有线性无偏估计量中，OLS估计量方差最小

浙江工商大学姚耀军讲义系列

1、关于方差

2 1

Var[

ki(

1xi i)] Var( ki i)

在重要假定五：Cov( i, j) 0,i j及其重要假定四： 2 2下，有：

i

22 2 k i

1

注意到

ki2

(

x (xi )

2

) 2

1

2

(xi )

因此有：

2

1

2

(xi )

1

2

笔记：

2

1

2

2(x ) i

1

2

1

N2(x ) i

，当N趋于无穷大

时，样本方差穷大时，

2

2收敛于总体方差，故当N趋于无(x )iN

1

1

) ，因此，当N趋于无穷趋于0。由于E(

1

在概率上收敛于 ，即 是 的一致估计量。你能大时， 1111

是 的一致估计量吗？应该注意到，一致性是估计够表明 00

量应该满足的最低要求。想一想，如果把总体都告诉了你，但你的估计或者猜测却与真实参数不一致，你是不是应该检讨一下你的估计方法？

浙江工商大学姚耀军讲义系列

练习：

（1）证明在高斯-马尔科夫假定下：

2

1 ( N

2x2 i22

) 22

(x )N(x ) i i

（2）证明在高斯-马尔科夫假定下：

E( i )2 2(1 1)

N

（3）证明在高斯-马尔科夫假定下：

Cov( 1) 0

（4）证明在高斯-马尔科夫假定下：

Cov( 0, 1)

2

2

(xi )

2、证明方差最小

把任意一种线性估计量表示为 wiyi，当

x 2

(xi )

量。现在我们将证明：在所有无偏的 1的线性估计量中，OLS估计量具有最小的方差。

“在所有无偏的 1的线性估计量中”是一个前提条件。我们的任务是，在给定前提下（约束条件），证明OLS估计量所对应的 …… 此处隐藏：5618字，全部文档内容请下载后查看。喜欢就下载吧 ……