概率与数理统计第19讲

概率与数理统计

§72. 最似然估计 大首它先是德由国数学 高家在斯1812年出提 的高斯在811年2提的 , 然出而 然而，这，个法常归方于 功国英统学计家歇 费费(Fish歇r) . e国英统计家学歇 费歇费19在22年重新发了现费歇 在1922重新发现年 了这一法，方 一方这法并，先研首了 这究方法的一种些质 性.auGss

isherF

概率与数理统计

大似最法的然本思基 想先看个简一单子：例 先看一简单个子：例某位同 与学位猎一一人 起出打外 猎. 只野兔从前一方窜过 .只 听一声枪，野响应兔倒声 .下 只一声枪听响， 如要果推测你 ，如要果推测，你 谁是中的呢？ 打是谁中的呢打 你会？如想何? 你会如何想呢?呢

因

概率与数理统计

为只一发便枪中,猎人命中的概打率 因为发只枪便打中, 一般一大这位于学命同的中概. 一率般大这位于学命中的同概率 看来这. 一是猎枪射人中 的 其.数模学为 为打型一枪的弹数中 ，X为打令枪的中一数，弹则~B(1,pX) 为,打一枪中弹数 的p未 设知事先想道知p有只种两能 可p知未设想.事先知道只p有两种可能 未知.设:想先事知 道有只两可能种: p0.= 或 9p0=1 .人两有一中人打抢, 两人有一中打人, 估抢计这枪一是打 即估计总谁X体的数 参参数p的的 值的即，计估总 体的参 的值

概率与数理统计

数兔子中当弹， 兔子当中，即弹{X 1=发生了 发}了 生若=p0.,9P{X=1}=0则9 ,. 若p=.10,则P{=1X}=0.1, 当 子兔中不弹，当兔子不中 ，弹即{ X0}=生了 发发了 若生p0=.,则P{9X0=}0.1 =.09 ,{= }0=0.1 p若=0.,则P{X1=0=}.0 9,现 样有本观测x值现有样 观本测 值1,=什么 样的参使该数样本值 现出的能性最大呢？ 值可现出的能性可大呢？最

概率与数理统计

大最似然估法的基计思本：想根据本观样 测大似然估最法计的本基思：根据样本想观 值，选测参择p的估计数p ,使 得本在样样 选该参择 的估数计 本值附近 现的出可能性大最

最

概率与数理统计

大似估然计求法的 一离散型机变随的量况情设若总体X属离散 ，其型分布律 P( X= x ) = p(x ;θ ,)

θ Θ∈的 形 式 为 已知 ， θ为 估待 参数 ， 是 Θθ 能可取 值 范的 围 。设X 1, L ,X n 是来自 X 的 样 本则, X 1, L ,X n的合联布分

律∏ (px θ; )i =i

n1

概率与数理统计

又x设 ,L1, x n 是X ,L1, Xn的 个样一值本；易知样本X1 ,L , X n取x ,L,1x n的概，率亦 事件{ 即X = 1x ,1L , X n x =n }发的生率概：为L(θ ) =L ( 1 ,xL ,n x θ ; )= ∏ p( x i ; θ,)θ ∈ Θi =. 1n)是 注 (意1x, L, x n) 已 经 是 观 到 测的 数 据， 因 此 称(Lθ 是)θ 的 函 数 , 为 之基于 数 据 )的 (x1 , L , xn 的)似 然函 , 数简称 为 然似函 数 .

概率与数理统计

注意： 、于样对本 ( …的合分布律联 意：注a、于样对本X1,(…Xn)的,联分合律

∏布nn

若

说样明本 …(∏ p( x θ ; ),说明大样

本( X…,X ,取到)=i = i11 n

=i1p (x i ;θ

样)本(值x… 概率的； 样大值本1 …,xn,)的 概大；率若 说明 样本( …∏ p ( ;θx 小，说)样本(明 ,…,X )X取到i 1= i1 nn

本样(值x… 的率概小 ；本样 1,…值x,n )的概小；率

概率与数理统计

b 当.已得本样(X,1,Xn…的)观值测 1,,…xn,若)当已 样本得 ( …的测值观x(… ,L(θ; 11x, L ,xn )>L (2 θ ;1x, ,L n )x则在第一参数 的组率概大较，样本 (值x… 概率较的 大样本 1值…,xn,)概率较大，即的在数 参θ1 更有可能生发果(x 结 …。此，因 下，更有可能生结发 1果,…,x)n因。此，θ1

θ1下样本，X1,(…X,n)取 本( …样更象是致结导(x果 …发 生一的参数组发生 的一参数组 更。是象致结导 果1…,,xn发)的生组一参。数c .已若知观值 1,测,x…n,那)哪么组一参最象 数已若观知值测( …x, 是 导结果(x 致…发 生的组参数一呢 是？导致结果 ,1,… xn发)的一组参数呢生 发？生的组参一数呢根据

概率与数理统计

大似最估然计的想思：固定1x, L ,nx , 选使挑似函然数L(θ )到达最大参的数θ作 为 θ 估计值的，即取θ 使得: L (x1 L, ,x ;θn )= amx ( Lx1,L ,xn θ; θ) ∈Θ

概率与数理统计

定2.义1设离散型 机随变量 X义 定离设散型机随变 1,量2,X...,Xn 有联分合布 p(x, 1x2,L, xn;θ ) =P(X1 = 1x X,2= x2 ,L,Xn = nx) 是 知未参，给定数测数据观x 其 中θ是未知参数，给 观定数据 测，12 ,x...xn,后称，θ 的函 数， L( θ) = p (x ,1 x2 , ,Lx n ; θ 为)基x 为基于于 ，1x2...,x,的n似函然数 ， θ (lik lihoodefu ctnoin,称) 的大最点值 (L θ ,) θ最 似然估计(大maixmm uilelikhod o 的最大似为估计 es然imtatro写为缩缩写 MLE为 )缩为写 中其θ 可也是以向 θ量= (θ,θ12, ,Lm θ.

概率与数理统计

二) 连续随型机量变情的 若总体X 况连续属型其概，密度f (率x;θ ), θ∈ 的形式Θ知已θ,为待估 数;参则X ,1 , X L的联n合密：度

∏ f( x; )i iθ =1

设n1x,L, xn相是应X,L,1X n一的样个本，则值 机随点 (1,LX,X n ) 落在( 1,x,L x )n的域(边邻分长 为别xd1,,Ld n的nx维方立)体的概内近似为率: ∏ ( xf;θ )dx i= 1in

i

概率与数理统计

θ的取计值θ,估上使式概率取到最值。大 ∏ 但dxi 不 随θ 而 变 ，故只 需 考 虑 ：L (θ) = L x(1,L , xn; θ )= ∏f xi (; θ,)i=

i1

n

的最大 值 ，这 里 L( θ) 称 为样 的本 似 然 函数 .若 L( x1 ,L, xn ;θ = m)ax L x1( ,, Lxn ; θ) ∈θΘ则 称 θ 为θ 的 最大 似然 估计 .

概率与数理统计

定义2.2 设随向量机=X(1X,2,X...,n ) X有联 定义 随机向设 量密合 f度 x(,1x 2L,, nx;θ) 未知是参数，定X给的观测值 中其θ 是知参数，未给定的 测值观x=(x1, 2x.,.,.xn) 后称 θ ,函数的， 后 L (θ) = f x( 1 x, , L2, x ; θ n)为基 x=于(x1x,,2..,x. n的似)然函数 为

基于 ， 的 li(elikhodofun ciot)n,称L ( )θ的最大 值点 ， θ大似然最计(M估E)L 为参 θ数 的大最然估似计其中 θ 也 以可向是量 θ= ( θ,θ12,L, m θ.)

由

概率与数理统计

于 l θ() =l Lnθ () 与 似 函然数 Lθ( 有) 相 同的 最 大 值点 ，因 此称 l (θ ) = n Ll( θ) 为对数 似 然 函数 。

是于θ 的大似然最计估也从可述下程解得方 ： ld nLθ ) = (0 dθ 若.体总中含包多个知未参数即可令

L = 0, i 1=L,, k. θi lnL 或 = ,0 =i1,L , k . θik 解个方程组求得1 ,Lθ, θk的 大似最估然值。计

概率与数理统计

最求似然估大计(ME)L一般的骤步是 ：一的步骤般：是求 大似然最计 的一般步估是 (骤) 由总体分布导1出样本联的合分列布(或联合 度密 或合密度联) ;联合密或度(2 )把样本联 分布合 列联或密度合中自 把样本联变分布列(或合合联度 密或联密度)合中变 自量看已知成数常而,参把数看 自变作, 量看量已知常成 数而参数 θ把 作看变量自得 到似然函数 似然数函L(得 似然到函数θ );

3) 求似(然数函L ( )θ的 …… 此处隐藏：2363字，全部文档内容请下载后查看。喜欢就下载吧 ……