信息论基础 答案2

《信息论基础》答案

一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是 无穷大 ；其能在每个自由度熵的最大熵是 log b-a 。

2、高斯白噪声信道是指 信道噪声服从正态分布，且功率谱为常数 。

3、若连续信源的平均功率为5 W，则最大熵为 2 log10 e ，达到最大值的条件是 高斯信道 。

4、离散信源存在剩余度的原因是 信源有记忆（或输出符号之间存在相关性） 和 不等概 。

5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高编码效率。

7、八进制信源的最小熵为 0 ，最大熵为 3bit 。 8、一个事件发生概率为0.125，则自信息量为 3bit 。 9、在下面空格中选择填入数字符号“ , , , ”或“<” H XY = H Y H X

Y

H Y H X

二、判断题（正确打√，错误打×）（共5分，每小题1分） 1) 2) 3) 4)

离散无记忆等概信源的剩余度为0。 （ √ ） 离散无记忆信源N次扩展源的熵是原信息熵的N倍 （ √ ） 互信息可正、可负、可为零。 （ √ ） 信源的真正功率P永远不会大于熵功率P，即P P （ × ）

5) 信道容量与信源输出符号的概率分布有关。 （ × ）

三、（5分）已知信源的概率密度函数p x 如下图所示，求信源的相对熵

0.5

《信息论基础》试卷第1页

h x p x logp x dx

2

4

1bit由度

四、（15分）设一个离散无记忆信源的概率空间为

X a1a2 Px 0.50.5

它们通过干扰信道，信道输出端的接收信号集为Y= b1,b2 ，已知信道出书概率如下图所示。

x1

0.98

y1

x2

y2

试计算：

（1） 信源X中事件x1的自信息量；（3分） （2） 信源X的信息熵；（3分） （3） 共熵H XY ;（3分） （4） 噪声熵H Y

X

（3分） ；

（5） 收到信息Y后获得的关于信源X的平均信息量。（3分） （1）I x1 1bit （2）H

11

, 1bit/符号 22

0.01，0.1,0.4 1.432 （3）H XY H 0.49，

（4）H X

Y

H

XY H X

0.432

《信息论基础》试卷第2页

I X,Y

H

X H Y H X,Y

XY

（5）

1 H 0.59,0.41 H 1 0.977 1.432 0.545

五、（10分）一个平均功率受限的连续信道，信道带宽为10MHz，信道噪声为高斯白噪声。

（1）已知信道上的信号与噪声的平均功率比值为63，计算该信道的信道蓉量。 （2）如果信道带宽降为2MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？

S

C Blog2 1

N

（1）C 10 106 log2 1 63 6 107bit/s （2）

SN

C

2B 1 2

30

1 10

9

六、（10分）已知信源共7个符号信息，其概率空间为

s6s7 S s1s2s3s4s5

P S 0.20.20.20.10.10.10.1

（1） 试用霍夫曼编码法编成二进制变长码。（7分） （2） 计算信源熵，平均码长和编码效率。（9分） （1） s10.2

0.4

s20.2

s1 00s2 010s3 011

0.1

s30.2s40.1s50.1

1

s4 100s5 101s6 110

1

s6

0.1

0.4

1

s70.1

（2）

1

s7 111

（7分）

1

0.2

H S H 0.2,0.2,0.2,0.1,0.1,0.1,0.1,

2.72

《信息论基础》试卷第3页

分）

__

L 0.2 2 0.8 3 2.8码元/信源符号

H S

=__ 0.97（3

分）

L七、（10分）设给定两随机变量X1和X2，它们的联合概率密度为

p x1x2

1

2x2

2

2

e

x1 x1,x2

求随机变量Y X1 X2的概率密度函数，并计算变量Y的熵h Y 。 已知p x1x2 得

p

x1 x12

p

x2

x2 （2分）

则p x1x2 p x1 p x2 （2分） 所以x1和x2独立，所以y为高斯分布 因为 y x1 x2 所以 E Y 0,D Y 2 （2

分）

所以 p

y y

2

（2分）

所以 h Y

12

log4 e

bit/自由度

（2）

八、（10分）设某信道的传递矩阵为

1

111

P

3366

1111

6

633

计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。 解：s=4

C logs H p列矢量 log4 1111

2 H 3366

2

1113log

13 13log

13 6log

6 16

log

16

0.0817bit/符号

分）

《信息论基础》试卷第4页

2分）

（2

（

最佳概率分布当输入概率p a1 p a2

12

（2

分） 九、（14分）设有一个马尔可夫信源，如果X1为a时，X2为a、b、c的概率为1/3；如果X1为b时，X2为a、b、c的概率为1/3；如果X1为c时，X2为a、b的概率为1/2。而且后面发X的概率只与X有关，又P XiXi 1 P X2X1 i 3

。

ii 1（1）写出转移概率矩阵

（2）计算达到稳定后状态的极限概率。 （3）该马尔可夫信源的极限熵H

解 （1）

111

333 P

111

（4分）

333 11 2

0 2

P E1 13P E1 13P E12 2P E3 P E1P E2

3（2） 2 3P E11 3P E12 2

P E E1 3

P

8

P E1P E1 3

3

3

P E11

3

P E2

4

P E1 P E2 P E3 1

（3）

3

H H2

P EI

H a

k

Ei

1

P E 111 E 111 11

1 H ,, P 2 H ,, P E3 H ,,0

333 333 22

34log3

12

log2 1.439bit/符号

《信息论基础》试卷第5页

（3分）