《信息论、编码与密码学》课后习题答案

《信息论、编码与密码学》课后习题答案

《信息论、编码与密码学》课后习题答案

第1章 信源编码

1.1

考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。

5

解： 信源熵 H(X)

k 1

pklog2(pk)

H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)]

=[0.521+0.5+0.464+0.411+0.332] =2.228(bit)

故得其信源熵H(X)为2.228bit

1.2 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为

P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得

log

p

p1 p

1

0

1 pp

12

可知当概率P=Q=1/2时，有信源熵H(X)max 1(bit)

对于三元离散信源，当概率P1 P2 P3 1/3时，信源熵

H(X)m

a

1.58(5bi)t， x

此结论可以推广到N元的离散信源。

1.3 证明不等式lnx x 1。画出曲线y1 lnx和y2 x 1的平面图以表明上述不

《信息论、编码与密码学》课后习题答案

等式的正确性。 证明：

f(x) lnx x 1(x 0)f(x)

1x

令f(x) 0，x 1又有x 0 0 x 1时f(x) 0此时f(x) fmax 0也即lnx x 1

当x 1时同理可得此时lnx x 1综上可得lnx x 1证毕

绘制图形说明如下 可以很明确说明上述 不等式的正确性。

1.4 证明I(X;Y) 0。在什么条件下等号成立？

n

m

（IX；Y）=

i 1

n

m

i

P(x,y

i

j 1j

j

)I(xi,yj)

P(x,y

i 1

j 1

)log

P(xi,yj)P(xi)P(yj)

当和相互独立时等号成立。

1.5 有一个信源X，它有无穷多个可能的输出，它们出现的概率为P（Xi）=2i-1,i=1,2,3, .,这个信源的平均自信息H（X）是什么？

解：因为 P（Xi）=2i-1,i=1,2,3,

n

所以 H（X）= - p(xi)logp(xi)

i 1

《信息论、编码与密码学》课后习题答案

=2-（1-n）2n+1

1.6 考虑另一个几何分布的随机变量X，满足P（Xi）=P（1-P）这个信源的 平均自信息H（X）是什么？

解：因为 P（Xi）= P（1-P）i-1,i=1,2,3,

n

i-1

i=1,2,3, ..,

所以H（X）= - p(xi)logp(xi)

i 1

=-logp(1-p)[p(1-p)+2p(1-p)+3p(1-p)+ .+np(1-p)] =(1-n)(1-p)-n+1

23n

(p 1)p

2

1Anlog

2

1.7 考虑一个只取整数值的随机变量X，满足P X n

n

，其中

A

nlog

n 2

1

2

n

，n 2,3,..., 。求熵H X 。

解：为了方便计算，设B nlogn，则A

2

n 2

1B

，P X n

1AB

；

根据公式计算自信息量为：I X log

P X

1

log AB ；

1 log B

n 2B

=？

1B n 2B

则熵为：H X

P X I X

n 2

n 2

1AB

log AB

n 2

log AB AB

n 2

1.8 计算概率分布函数为

a 1

p x

0

0 x a

否则

的均匀分布随机变量X的微分熵H X 。画出H X 相对于参数a 0.1 a 10 的平面图，并对结果进行评论。

《信息论、编码与密码学》课后习题答案

解：根据公式（1-21）可知，微分熵为：H X p x logp x dx

当0 x a时，p x a 1，则

a

H X a

1

logadx

1

1a

loga x 0

a

logaa

a loga

当x 0或x a时，p x 0 ，则H X

根据得到的结果可以画出相应的平面图，由图可以看到随着a的增加，即p x 的减小，微分熵H X 相应的增加。

H X

1.9考虑一个信源的概率为 0.35,0.25,0.20,0.15,0.05 的DMS。 （1）给出此信源的霍夫曼码。 （2）计算出这些码子的平均码长R。 （3）这个码的效率 是多少？

解：1）依题意，由霍夫曼编码的规则，得：

《信息论、编码与密码学》课后习题答案

x

1

x2x3x4x5 0.05

表格如下：

符号

概率 0.35 0.25 0.20 0.15 0.05

自信息 1.515 2.000 2.322 2.738 4.322

码字 1 01 000 0010 0011

x1

x2

x3

x4

x5

n

2）由平均码长公式 R

5

k 1

n(xk) p(xk),代入数据，得：

R

k 1

n(xk) p(xk) 1(0.35) 2(0.25) 3(0.20)

4(0.15) 5(0.05) 0.35 0.5 0.6 0.6 0.25 2.3(bit)

3）首先，该信源的熵为：

《信息论、编码与密码学》课后习题答案

5

H(X) pklog

k 1

2

pk (0.35 log

2

2

0.35 0.25 log

2

2

0.25

0.20 log

2

0.20 0.15 log0.15 0.05 log0.05)

( 0.35 1.515 0.25 2.0 0.20 2.322 0.15 2.738 0.05 4.322)

( 0.5303 0.5 0.4644 0.4107 0.2161) ( 2.1215) 2.1215 (bit)

该码的效率为：

H(X)R

(2.1215/2.300) 0.9224

1.10考虑一个信源概率为{0.35，0.20，0.15，0.15，0.10，0.10，0.05，0.05}的DMS。

(1)给出此信源的一种有效定长码。 (2)给出此信源的霍夫曼码。 (3)比较这两种码并给出评论。 解：1）空

2）依题意，由霍夫曼编码的规则，得:

《信息论、编码与密码学》课后习题答案

概率 0.20 0.20 0.15 0.15 0.10 0.10 0.05 0.05

自信息 2.322 2.322 2.738 2.738 1.000 1.000 4.322 4.322

码字 01 000 001 100 101 110 1110 1111

符号

x1 x2

x3

x4

x5 x6 x7 x8

3）空

1.11 一个DMS只有三个输出符号，它们的概率为{0.5，0.4，0.1}。 (1)给出此信源的霍夫曼码并确定编码效率。

(2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。

《信息论、编码与密码学》课后习题答案

(3)每次考虑三个符号时，给出此信源的霍夫曼码并确定编码效率。 解：

(1)本题的霍夫曼编码如下图所示：

1

1

1.0

0.5 0

0.5 0.4 0.1

图1.11 霍夫曼编码

则霍夫曼码如下表：

该信源的熵为：

3

H(X) pklog2pk

k 1

(0.5log20.5 0.4log20.4 0.1log20.1) 0.5000 0.5288 0.3322 1.3610(bit)

平均每个符号的比特数为：

3

R

n(x

k 1

k

)p(xk)

1(0.5) 2(0.4) 2(0.1) 0.5 0.8 0.2 1.5 …… 此处隐藏：4637字，全部文档内容请下载后查看。喜欢就下载吧 ……