信息论与编码理论习题答案(5)

5 6 7

111 011 0111 3 4 6 1 1 1 0111 1001 1101 R?nlogD?17? 7?4416134H(U)?log4?log?0.8113bit

443H(U)???46.36%

R?.a1..........a2........a3......a4??，各ai相应编成码字0、10、110和1110。 1..1..1..1??4,8,8??2,?

3.13 设DMS为U=??

试证明对足够长的信源输出序列，相应的码序列中0和1出现的概率相等。 解：

概率 1/2 1/4 1/8 1/8 信源符号 a1 a2 码字 0 10 110 1110 a3 a4

设信源序列长为N，则相应码字长为（条件是N要足够长）

NNN7L??1??2??3?N

2484相应码序列中0出现的次数

L0?NNN7?1??1??1?N 2488∴ p(0)=

L011= p(1)=1-p(0)=

2L2??01??3.14 设有一DMS, U=??

??0.90.1?? 采用如下表的串长编码法进行编码

信源输出序列 1 01 001 … 00000001 00000000 (a)求H(U)。

0串长度（或中间数字） 0 1 2 … 7 8 输出二元码字 0000 0001 0010 … 0111 1 (b)求对于每个中间数字相应的信源数字的平均长度n1。 (c)求每个中间数字对应的平均长度n2。

(d)说明码的唯一可译性。 解：

(a) H(U)??0.9log0.9?0.1log0.1?0.469 bit 由已知可得下表 先验 信源输出 0串长度 概率 序列 （或中间数字） 0.1 1 0 0.09 01 1 0.081 001 2 0.0729 0001 3 0.0656 00001 4 0.059 000001 5 0.0531 0000001 6 0.0478 00000001 7 0.4305 000000001 8 (b) n1?1?0.1?2?0.9??8?0.4305?5.6953 bit (c) n2?1?0.4305?4?(1?0.4305)?2.7085 bit (d) 异字码头

输出二元码字 0000 0001 0010 0011 0100 0101 0110 0111 1 第四章 信道及信道容量

4.1 计算由下述转移概率矩阵给定的DMC的容量。

p0??1?p? 01?pp(a)????01?p??p?1?它是一对称信道，达到C需要输入等概，即p=

3∴C ?log3??p(j?k)logp(j?k)

3 ?log?(?1p)lo?gp(1?p)pl?og?Hlo gpbit/符号

?1?p?2(b) ??p??21?p2p2p21?p2p?2?? 1?p?2??pplog?2 22plo?g1?H(p )bit/符号 2?它是一对称信道

1?p1?plog?2?∴C?log4?221?p?p)log?p ?2?(12p0??1?p? p1?p0（c）????01??0?p??1?p它是分信道?和?1?的和信道 ??p1?p?C1?log2?(1?p)log(1?p)?1?H(p)

C2?0

1?H(p)?1?2由2c?2c1?2c2，可知C?log??? bit/符号

4.3求图中DMC的容量及最佳输入分布

3/401/41/31/3001/301/31/311/31/423/4221/3111/311/321/31/331/3

（a） (b)

解：（a）由图知

?3?4?1P???3??0??141314?0??1? 3??3?4?? ?发送符号1时等概率收到0,1,2,

∴传对与传错概率完全相同，即不携带任何信息量，于是信道简化为二元纯删除信道

?3?4?1P???3??0??0141314?0??3??1?4??3??0?3????4?3/41414?0?? 3?4??01/411/413/42

C?1?q?1?1/4?3/4 bit/符号 （b）由图知

?1?3?P??0???1??313130013131?3??1? 3??1?3???为准对称

∴当输入等概，即Q0?Q1?Q2?112此时?0??1??2???2?

339111?3???3?

3331时达到信道容量C 3∴C?I(x?0,Y)??p(j?0)logjp(j?0)?j

11111123 =log3?log3?log3?log bit/符号

232313329934.5 N个相同的BSC级联如图。

X0X1X2?XN?1XN 且Q0为?N，

?p1?p?各信道的转移概率矩阵?令Qt?p{Xt?},0,10,,t??。1?pp??已知。

(a) 求Qt的表达式。

(b) 证明N??时有QN?1/2，且与Q0取值无关，从而证明N??时的级

联信道容量CN?0(p?0) 解：N个信道级联后BSC可表示为

1?pN?10pN?1pN?1011?pN?11

N个级联可以看成N-1个级联后与第N个级联