数理统计_假设检验

数理统计_假设检验

第五章 假设检验

数理统计_假设检验

本章大纲1.假设检验的基本概念 2.Neyman-Pearson范式 3.和假设检验有关的两个问题 4.广义似然比检验 5.单样本检验的几个实例 6.两个样本的比较 7.实验设计

数理统计_假设检验

学习目标 理解假设检验的直观概念和NeymanPearson范式 了解假设检验方法的可能缺陷 掌握广义似然比检验 掌握正态、多项、泊松总体的假设检验 掌握Hanging Rootogram和概率图 掌握两个独立样本的比较 理解实验设计

数理统计_假设检验

本章详细大纲 假设检验的基本概念 Neyman-Pearson范式 Neyman-Pearson引理 显著性水平的确定和p-值 一致最优检验

和假设检验有关的两个问题 置信区间和假设检验的对偶关系 如何选择原假设

广义似然比检验– 广义似然比方法 – 多项分布的广义似然比检验 – 泊松分布的广义似然比检验

单样本检验的几个实例 两个样本的比较

数理统计_假设检验

1.假设检验的基本概念(Hypothesis

Testing) 硬币猜测游戏正面朝上的概率 硬币0 硬币1x 硬币0 硬币1

0.5 0.730.1172 0.0090

00.0010 0.0000

10.0098 0.0001

20.0439 0.0014

40.2051 0.0368

50.2461 0.1029

60.2051 0.2001

70.1172 0.2668

80.0439 0.2335

90.0098 0.1211

100.0010 0.0282

用似然比likelihood ratio和 贝叶斯方法处理这个问题

数理统计_假设检验

猜硬币中的似然比 如果你在10次抛掷中看到2次正面朝上。则 P0(2)/P1(2)=30。这就是似然比。 硬币0出现这个结果的机会是硬币1的30倍P ( H 0 , x ) P( x | H 0 ) P( H 0 ) P( H 0 | x) P( x) P( x)P( H 0 | x) P( H 0 ) P( x | H 0 ) P( H1 | x) P( H1 ) P( x | H1 )

数理统计_假设检验

猜硬币中的似然比0 似然比 165.38 x 1 70.88 2 30.38 3 13.02 4 5.579 5 2.391 6 7 8 9 10 1.025 0.4392 0.1882 0.0807 0.0346

根据抛掷结果计算出的后验概率成为评判 标准P( H 0 | x) P( H 0 ) P( x | H 0 ) 如果 1 ,选择H 0 P( H1 | x) P( H1 ) P( x | H1 )

P( H 0 | x) 等价条件为 c,c依赖于先验概率 P( H1 | x)

C是临界值critical value

数理统计_假设检验

猜硬币中的错判概率 假定c=1。则判别规则如下：X 6, 则接受H0 ; X 6, 则拒绝H0

因为结果有随机性，这个规则导致错判 错误分成两类：H0为真的时候拒绝H0, H0 为假的时候接受H0P(拒绝H0 | H0 ) P( X 6 | H0 ) 0.18

P(接受H0 | H1 ) P( X 6 | H1 ) 0.35

数理统计_假设检验

临界值c对错判概率的影响 假定c=0.1,即先验概率有差异如果X 8,则接受H0

P(拒绝H 0 | H 0 ) P( X 8 | H 0 ) 0.01 P(接受H 0 | H1 ) P( X 6 | H1 ) 0.85

数理统计_假设检验

2.Neyman-Pearson范式 不用贝叶斯方法 规避了先验概率的决定 对两个假设区别对待，一个成为原假设 H0(null hypotheses),另一个成为备择 假设H1(alternative hypotheses) 由此导致在有些场合下选择原假设的困难

数理统计_假设检验

Neyman-Pearson范式中的术语

第I类错误(Type I Error),H0为真的时候拒绝H0 检验的显著性水平(significance level),第I类 错误的概率，通常记为 第II类错误(Type I Error),H0为假的时候接受 H0,其概率记为 检验的功效(power), H0为假的时候拒绝H0, 其概率记为 检验统计量(test statistics) 拒绝域(rejection region)和接受域 (acceptance region) 原分布(null distribution),在原假设为真的条 件检验统计量所服从的分布

数理统计_假设检验

Neyman-Pearson引理(lemma)

数理统计_假设检验

方差已知的正态X1 , , X n是来自正态总体的随机样本 总体方差 2已知H0 : 0 H1 : 1

事先给定显著性水平 1 n 2 exp 2 ( X i 0 ) 2 i 1 f 0 ( X) f1 ( X) 1 n 2 exp 2 ( X i 1 ) 2 i 1

数理统计_假设检验

方差已知的正态2nX ( 0 1 ) n n 2 1 2 0

X 0 x0 0 P( X x0 ) P / n / n x0 0

/ n

z ( )

数理统计_假设检验

置信区间和假设检验的对偶关系

H0 : 0 H1 : 1

| X 0 | x0

P | X 0 | x0

x0 X z( / 2)| X 0 | X z( / 2)

X z( / 2) X 0 X z( / 2) X X z ( / 2), X X z ( / 2)

数理统计_假设检验

置信区间和假设检验的对偶关系：引理A引理A

假定对 中的每个 0都存在一个假设H 0: = 0的 水平为 的检验，该检验的接收域记为A( 0 )。则 C (X ) { : X A( )} 是 的一个100 ( 1 - ) 的置信区间。

数理统计_假设检验

置信区间和假设检验：引理A证明引理A证明

A是一个检验在水平 下的接收域，所以有

P X A( 0 ) | 0 1 则按照C(X)的定义

P 0 C ( X) | 0 P X A( 0 ) | 0 1

数理统计_假设检验

置信区间和假设检验的对偶关系：引理B引理B

假定C ( X )是 的一个100 ( 1- )%的置信域，即对每个 0都有 P 0 C ( X) | 0 1 A( 0 ) X | 0 C ( X) 则假设H 0: = 0的一个检验的水平为 的一个接收域为

证明

P X A( 0 ) | 0 P 0 C(X) | 0 1

数理统计_假设检验

广义似然比检验 (Generalized Likelihood Ratio Test)似然比检验在对两个简单假设进行检验的时候是 最优的。本节介绍的广义似然比检验将能够处理 比较复杂的假设形式。其原理和似然比有相似之 处。假定观测值X ( X 1 , , X n )有一个联合密度或者频数函数 f (x | )。H 0规定 0 , H1规定 1 , 0

1。

一个比较自然的度量两个假设可信程度的指标是 两个假设的似然比。