信息论与编码姜丹第三版答案

?H.F.

信息论与编码习题参考答案 第一章 单符号离散信源

信息论与编码作业是74页，1.1的（1）（5），1.3,1.4,1.6,1.13,1.14还有证明熵函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。 解：

bit

P a I N n P bit P a I N n P c c N 17.536log log )(361

)2(17.418log log )(362)1(36

662221111

616==-=∴====-=∴==

=?==样本空间：

(3)信源空间：

bit x H 32.436log 36

62log 3615)(=??+??

=∴ bit

x H 71.3636

log 366536log 3610 436

log 368336log 366236log 36436log 362)(=??+?+?+??=

∴＋＋ (5) bit P a I N n P 17.111

36

log log )(3611333==-=∴==

?H.F.

1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。

（1） 若仅有质点A ，求A 落入任一方格的平均信息量；

（2） 若已知A 已落入，求B 落入的平均信息量；

（3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：

bit

a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(48

1i i i i i ==-=∴=-=∴=∑=落入任一格的概率

bit

b P b P b b P b I b P A i 55.547log )(log )()(H 47

log )(log )(47

1)(:B ,)2(481i i i i i ==-=∴=-=∴=

∑=落入任一格的概率是落入任一格的情况下在已知 bit

AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()

(log )(471481)()3(47

481=?=-=-=∴?=

∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？

解：

bit

w P w P w P w P m m P m I w P w I bit

m P m P m P m P m bit

m P m I bit

m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )

(log )()(log )()(H %

5.99log )(log )(%

5.0log )(log )(36

6.0log93%93%-log7%-7% )

(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(:

=??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女：

平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士

?H.F.

1.4某一无记忆信源的符号集为｛0，1｝，已知。

，32

31

10==p p （1） 求符号的平均信息量；

（2） 由1000个符号构成的序列，求某一特定序列（例如有m 个“0”,（1000-m ）个“1”）

的自信量的表达式；

（3） 计算（2）中序列的熵。

解：

3

2log 3)1000(231log 3log log )(

ce bit/sequen 918918.01000)(1000)(3 3

2log )1000(31log log )1000(log )(2/ 918.03

2log 3231log 31log log )(1100011110001100∑∑-==---=-

-==?==---=---==?-?-=--=m i m i m m p p p p A H X H A H bit m m p m p m A I symble bit p p p p x H ）（）（）（ 1.5设信源X 的信源空间为：

???? 0.3 0.18 0.16 0.18 0.19

0.17 X)( a a a a a a X ][654321p p x ：： 求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。

解：

。

立的约束条件，所以不满足信源熵最大值成但是本题中

的约束条件下求得的，值是在这是因为信源熵的最大，不满足信源熵的极值性可见log6H(X)18.1 1

585.2log62.725H(X)

bit/symble 725.2 3

.0log 3.016.0log 16.018.0log 18.0219.0log 19.017.0log 17.0 )

(log )()(6116

1>===>==--?---=-=∑∑∑===i i r i i i i i p

p a p a p X H

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。

解：

bit/s 104.98310661.130)/)(()/(R bit/frame

10661.1322.3105)(H 105)(H bit/pels

322.310log )(log )()(H 76650510

10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：

由于亮度电平等概出现

?H.F.

1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大

2.5倍左右。

证:

.

5.2,,5.25.2477.210log 300log )(H )(H pels

/bit 300log )(log )()(H bit 3001030,

10,,3001300

11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化

所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i

1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？

解:

个汉字

最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556

65510322.6/10322.61

.0log 101.2)()()

()(,log H(c):1.010000

1000symble

/bit 101.2128log 103)(103)(:

?∴?=-?=≥≤-=∴==

?=??=??=frame c H X H n c nH X H n p p x H X H

1.9给定一个概率分布),...,,(21n p p p 和一个整数m ，n m ≤≤0。定义∑=-=m i i m p

q 11，证明：

)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？

证：

∑∑+==-

-=>-=<-=''-=''∴>-

=''-=''>-=n m i i

i m i i i n p p p p p p p H x x x x f x e x x x f …… 此处隐藏：18546字，全部文档内容请下载后查看。喜欢就下载吧 ……