信息论与编码理论习题答案

第二章 信息量和熵

2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?log8=2?3=6 bit

因此，信息速率为 6?1000=6000 bit/s

2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信

息量。

解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61p(a)==

366得到的信息量 =log1=log6=2.585 bit p(a) (2) 可能的唯一，为 {6，6}

1 p(b)=

36 得到的信息量=log1=log36=5.17 bit p(b)

2.4 经过充分洗牌后的一副扑克（52张），问：

(a) 任何一种特定的排列所给出的信息量是多少？

(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1解：(a) p(a)=

52! 信息量=log1=log52!=225.58 bit p(a)?13!??13种点数任意排列 (b) ?13

?4??花色任选13!?413413 p(b)==13 13C52A5213 信息量=logC52?log413=13.208 bit

2.9 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的

点数之和，Z表示3颗骰子的点数之和，试求H(Z|Y)、H(X|Y)、

H(Z|X,Y)、H(X,Z|Y)、H(Z|X)。

解：令第一第二第三颗骰子的结果分别为x1,x2,x3，x1，x2，x3相互独立，

则X?x1，Y?x1?x2，Z?x1?x2?x3

H(Z|Y)=H(x3)=log6=2.585 bit H(Z|X)=H(x2?x3)=H(Y)

12345366log36+log18+log12+log9+loglog6 )+3636363636536 =3.2744 bit

=2?(

H(X|Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y|X)]

而H(Y|X)=H(X)，所以H(X|Y)= 2H(X)-H(Y)=1.8955 bit

或H(X|Y)=H(XY)-H(Y)=H(X)+H(Y|X)-H(Y)

而H(Y|X)=H(X) ，所以H(X|Y)=2H(X)-H(Y)=1.8955 bit

H(Z|X,Y)=H(Z|Y)=H(X)=2.585 bit

H(X,Z|Y)=H(X|Y)+H(Z|XY)=1.8955+2.585=4.4805 bit

2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概

率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。

解：

XY信道i?1,3,5,7,9Χi?0,2,4,6,8√

I(X;Y)=H(Y)-H(Y|X)

因为输入等概，由信道条件可知，

1?p(y?ii为奇数)???10 ??p(y?ii为偶数)?1(1?1?1?1?1)?1?102888810?即输出等概，则H(Y)=log10

H(Y|X)=??i?p(xyijj)logp(yj|xi)

=???p(xiyj)logp(yj|xi)-??p(xiyj)logp(yj|xi)

ji偶ji奇 =0-??p(xiyj)logp(yj|xi)

ji奇 = - =

i?1,3,5,7，9?p(x)p(yii|xi)logp(yi|xi)-?i?ji＝1，3，5，7，9?p(x)p(yij|xi)logp(yj|xi)

11111?log2?5+??log8?4?5 102102413 =?=1 bit

44I(X;Y)=H(Y)-H(Y|X)=log10 -1=log5=2.3219 bit

2.11 令{u1,u2,?，u8}为一等概消息集，各消息相应被编成下述二元码字 u1=0000，u2=0011，u3=0101，u4=0110，

u5=1001，u6=1010，u7=1100，u8=1111 通过转移概率为p的BSC传送。求：

(a)接收到的第一个数字0与u1之间的互信息量。 (b)接收到的前二个数字00与u1之间的互信息量。 (c)接收到的前三个数字000与u1之间的互信息量。 (d)接收到的前四个数字0000与u1之间的互信息量。 解：

即I(u1;0)，I(u1;00)，I(u1;000)，I(u1;0000)

111 p(0)=(1?p)?4+p?4=

882 I(u1;0)=logp(0|u1)1?p=log=1+log(1?p) bit

1p(0)211 p(00)=[2(1?p)2?4(1?p)p?2p2]=

84p(00|u1)(1?p)2 I(u1;00)=log=log=2[1?log(1?p)] bit

1/4p(00)11 p(000)=[(1?p)3?3(1?p)2p?3(1?p)p2?p3]=

88 I(u1;000)=3[1+log(1?p)] bit

1 p(000)0=[(1?p)4?6(1?p)2p2?p4]

88(1?p)4 I(u1;0000 bit )=log(1?p)4?6(1?p)2p2?p4

2.12 计算习题2.9中I(Y;Z)、I(X;Z)、I(X,Y;Z)、I(Y;Z|X)、I(X;Z|Y)。 解：根据题2.9分析

13216621610216log216+logloglogH(Z)=2(+++ 216216321662161015216212162521627216loglogloglog+++) 21615216212162521627 =3.5993 bit

I(Y;Z)=H(Z)-H(Z|Y)=H(Z)-H(X)=1.0143 bit I(X;Z)=H(Z)-H(Z|X)=H(Z)-H(Y)=0.3249 bit I(X,Y;Z)=H(Z)-H(Z|XY)=H(Z)-H(X)=1.0143 bit

I(Y;Z|X)=H(Z|X)-H(Z|XY)=H(Y)-H(X)=0.6894 bit I(X;Z|Y)=H(Z|Y)-H(Z|XY)=H(X)-H(X)=0 bit

2.14 对于任意概率事件集X,Y,Z，证明下述关系式成立 (a)H(Y,Z|X)?H(Y|X)+H(Z|X)，给出等号成立的条件 (b)H(Y,Z|X)=H(Y|X)+H(Z|X,Y) (c)H(Z|X,Y)?H(Z|X)

证明：(b) H(Y,Z|X)=-???p(xyz)logp(yz|x)

xyz =-???p(xyz)log[p(y|x)p(z|xy)]

xyz

=-???p(xyz)logp(y|x)-???p(xyz)logp(z|xy)

xyzxyz =H(Y|X)+H(Z|XY) (c) H(Z|X,Y)=-???p(xyz)logp(z|xy)

xyz =??p(xy)[-?p(z|xy)logp(z|xy)]

xyz ???p(xy)[-?p(z|x)logp(z|x)]

xyz =-???p(xyz)logp(z|x)

xyz =H(Z|X)

当p(z|xy)=p(z|x)，即X给定条件下，Y与Z相互独立时等号成立 (a) 上式(c)左右两边加上H(Y|X)，可得

H(Y|X)+H(Z|X,Y)?H(Y|X)+H(Z|X)

于是H(Y,Z|X)?H(Y|X)+H(Z|X)

?1,?1?2.28 令概率空间X??11?，令Y是连续随机变量。已知条件概率密度为

?,??22?