概率论与数理统计§5.1 大数定律

第5章 大数定律与中心极限定理 大数定律 中心极限定理

§5.1 大数定律 切比雪夫不等式 大数定律 小结 练习

5.1.1 契比雪夫不等式定理 设随机变量 X 的数学期望 E ( X ), 方差 D( X ) 存在, 则对于任意 ε 0, 不等式 D( X ) P{ X E ( X ) ε } ε2 成立.证明 仅取连续型随机变量的情况来证明.

设 X 的概率密度为 f ( x ), 则有

P{ X E ( X ) ε } 2

x E ( X ) ε

f ( x )d x

x E ( X ) ε

x E( X ) f ( x )d x 2 ε2

1 2 ε

D( X ) [ x E ( X )] f ( x )d x 2 . ε

D( X ) 得 P{ X E ( X ) ε } 2 . ε D( X ) D( X ) P{ X E ( X ) ε } 1 2 . P{ X E ( X ) ε } 2 ε ε

例如

设 E(X) = , D(X) = 2, 并取 = 3 , 则有

2 8 P{ X 3 } 1 . 2 (3 ) 9意义 (1) 利用切比雪夫不等式, 可以在 X 分布未知的情况 下估算事件{ | X E(X)| < }的概率(下限). (2) 从定理中看出, 如果 D(X) 越小, 那么 X 取值于开 区间( E(X) , E(X) + )中的概率就越大. 这就说明 方差是一个反映随机变量的概率分布对其分布中心 (E(X)) 的集中程度的数量指标.

例1 设电站供电网有10000盏电灯，夜晚每盏灯开 灯的概率均为0.7,假定灯的开、关是相互独立的， 试用切比雪夫不等式估计夜晚同时开着的灯数在 6800~7200盏之间的概率.解 令 X 表示在夜晚同时开着的灯数，则

X ~ b(10000, 0.7) E ( X ) np 7000, D( X ) np(1 p) 2100,由切比雪夫不等式可得P{6800 X 7200} P{| X 7000 | 200} 2100 1 2 0.95. 200

说明 实际上, 所求概率的精确值为0.99999. 可见, 切 比雪夫不等式虽可用于估计概率, 但精度不够高, 它 的重要意义是在理论上的应用, 如大数定律的证明.

已知某种股票每股价格 X 的平均值 为1元, 标准差为0.1元, 求 a, 使股价超过 1+a 元或低于1 a 元的概率小于10%.

5.1.2 大数定律引例 频率的稳定性

随着试验次数的增加, 事件发生的频率逐渐稳 定于某个常数. 单击图形播放/暂停 ESC键退出启示: 从实践中人 们发现大量 测量值的算 术平均值有 稳定性.

大数定律的概念 一般来说, 设 X 1 , X 2 , , X n , 是随机变量序列,若对任意 0, 有 1 n 1 n lim P X i E ( X i ) 1, n n i 1 n i 1

成立,则称随机变量序列X 1 , X 2 , , X n , 服从大数定律.

定义 设Y1 , Y2 , , Yn , 是一个随机变量序列, a 是一个常数, 若对于任意正数 , 有 lim P{| Yn a | } 1,n

则称序列 Y1 , Y2 , , Yn 依概率收敛于a , 记为P Yn a .

说明

若 X 1 , X 2 , , X n , 服从大数定律, 则有 1 n 1 n P

X i E n X i . n i 1 i 1

即当 n 很大时, 随机变量 X 1 , X 2 , , X n 的算术平均 1 n 1 n X i 接近于数学期望 E n X i . n i 1 i 1

(这个接近是概率意义下的接近) 依概率收敛序列的性质设 X n a , Yn b, 又设函数 g ( x , y ) 在点 P P P ( a , b ) 连续, 则 g( X n , Yn ) g( a , b).

以下介绍常用的三个大数定律. 1. 切比雪夫大数定律设 X 1 , X 2 , , X n , 是一列相互独立的随机变量, 分别有数学期望 E ( X 1 ), E ( X 2 ), , E ( X n ), 和有限 的方差 D( X 1 ), D( X 2 ), , D( X n ), , 且有公共上界C , 即存在常数C 0, 使得D( X i ) C ( i 1, 2, ), 则对于 任意 0, 有

1 n 1 n lim P X i E ( X i ) 1. n n i 1 n i 1

切比雪夫大数定律的特殊情况

设随机变量 X 1 , X 2 , , X n , 相互独立, 且具有相同的数学期望和方差：E ( X i ) , D( X i ) 2 ( i 1, 2, ), 作前 n 个随机变量 的算术平均 数 有 1 n lim P{| X | } lim P X i 1. n n n i 1

1 n X Xi , n i 1

则对于任意正

证明

1 1 n 1 n E X i E ( X i ) n , n n i 1 n i 1 1 n 1 D Xi 2 n i 1 n

1 2 D( X i ) 2 n 2 , n n i 1n

由切比雪夫不等式可得 1 n 2 P Xi 1 2 , n n i 1

在上式中令 n , 并注意到概率不能大于1, 则 1 n P X i 1. n i 1

另一种表述 设随机变量 X 1 , X 2 , , X n , 相互独立,

且具有相同的数学期望和方差：E ( X i ) , 1 n P 2 D( X i ) ( i 1, 2, ), 则 X X i . n i 11000个[0, 4]均匀分布随机数前 n 项算术平均值的变化趋势

2. 辛钦大数定律

设随机变量 X 1 , X 2 , , X n , 相互独立, 服从同一分布, 且具有数学期望 E ( X i ) ( i 1, 2, ), 则对于任意 0, 有 1 n lim P X i 1. n n i 1

说明 与切比雪夫大数定律的特殊情况相比, 不要求 方差存在.

3. 伯努利大数定律

设 nA 是 n 重伯努利试验中事件 A 发生 的次数, p 是事件 A 在每次试验中发生的概率, 则对于任意 0, 有 nA lim P p 1. n n 证明 引入随机变量 0, 若在第 i 次试验中 A 不发生, Xi 1, 若在第 i 次试验中 A 发生, i 1, 2, .