2012.信息论.第4章离散信道及其容量.习题

2012.信息论.第4章离散信道及其容量.答案

习题4.1 设信源 X P(X x1 ) 0 .6 x2 0 .4

通过一干扰信道， 5 6 1 4 1 6 3 4

接收符号为Y={y1,y2},信道转移矩阵为

求： (1) 信源X中事件x1和事件x2分别包含的自信息量； (2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X); (5) 接收到信息Y后获得的平均互信息量。1

2012.信息论.第4章离散信道及其容量.答案

(1)信源X中事件x1和事件x2分别包含的自信息量；I ( x 1 ) log I ( x 2 ) log p ( x 1 ) log p ( x 2 ) log 0 . 6 0 . 737 0 . 4 1 . 322 bit bit

2 2

2 2

2012.信息论.第4章离散信道及其容量.答案

(2) 收到消息yj 后，获得的关于xi 的信息量；p ( y 1 ) p ( x1 ) p ( y 1 / x1 ) p ( x 2 ) p ( y 1 / x 2 ) 0 .6 5 6 1 6

5 6 1 4

1 6 3 4

0 .4

1 4

0 .6 0 .4

p ( y 2 ) p ( x1 ) p ( y 2 / x1 ) p ( x 2 ) p ( y 2 / x 2 ) 0 .6 I ( x 1 ; y 1 ) log I ( x 1 ; y 2 ) log I ( x 2 ; y 1 ) log I ( x 2 ; y 2 ) log p ( y1 / x1 )2

0 .4

3 4

log log log

5/62

0 . 474 1 . 263 1 . 263 0 . 907

bit

p ( y1 ) p ( y 2 / x1 )

0 .6 1/ 6 bit

2

p( y2 ) p ( y1 / x 2 )

2

0 .4 1/ 4 bit

2

p ( y1 ) p( y2 / x2 ) log

2

0 .6 3/4 bit3

2

p( y2 )

2

0 .4

2012.信息论.第4章离散信道及其容量.答案

(3) 信源X和信宿Y的信息熵；H ( X ) p ( x i ) lo g p ( x i ) ( 0 .6 lo g 0 .6 0 .4 lo g 0 .4 ) 0 .9 7 1 b it H ( Y ) p ( y j ) lo g p ( y j ) ( 0 .6 lo g 0 .6 0 .4 lo g 0 .4 ) 0 .9 7 1 b itj i

2012.信息论.第4章离散信道及其容量.答案

(4) 信道疑义度H(X/Y)和噪声熵H(Y/X);H (Y / X ) i

j

p ( x i ) p ( y j / x i ) lo g p ( y j / x i ) 5 lo g 5 0 .6 1 6 lo g 1 6 0 .4 1 4 lo g 1 4 0 .4 3 4 lo g 3 4 )

( 0 .6 0 .7 1 5

6 6 b it / sy m b o l

H ( X ) H (Y / X ) H (Y ) H ( X / Y ) H ( X / Y ) H ( X ) H (Y / X ) H (Y ) 0 .9 7 1 0 .7 1 5 0 .9 7 1 0 .7 1 5

b it / sy m b o l

(5) 接收到信息Y后获得的平均互信息量。I ( X ; Y ) H ( X ) H ( X / Y ) 0 . 971 0 . 715 0 . 256 bit / symbol5

2012.信息论.第4章离散信道及其容量.答案

习题4.20 设二元对称信道的传递矩阵为

2 3 1 3

1 3 2 3

(1) 若P(0) = 3/4, P(1) = 1/4,求H(X), H(X/Y), H(Y/X)和I(X;Y); (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；H ( X ) p ( x i ) lo g p ( x i ) (i

3 4

lo g 2

3 4

1 4

lo g 2

1 4

) 0 .8 1 1

b it / sy m b o l

H (Y / X ) i

j

p ( x i ) p ( y j / x i ) lo g p ( y j / x i ) 2 3 3 4 1 3 1 3 1 4 1 3 1 3 1 4 2 3 2 3 ) lo g 2 1 0

(

3 4

2 3

lg

lg

lg

lg

0 .9 1 8

b it / sy m b o l

p ( y 1 ) p ( x1 ) p ( y 1 / x1 ) p ( x 2 ) p ( y1 / x 2 ) p ( y 2 )

p ( x1 ) p ( y 2 / x1 ) p ( x 2 ) p ( y 2 / x 2 )

3 4 3 4

2 3 1 3

1 4 1 4

1 3 2 3

0 .5 8 3 3 0 .4 1 6 7 b it / sy m b o l6

H ( Y ) ( 0 .5 8 3 3 lo g 2 0 .5 8 3 3 0 .4 1 6 7 lo g 2 0 .4 1 6 7 ) 0 .9 8 0

2012.信息论.第4章离散信道及其容量.答案

I ( X ; Y ) H ( X ) H ( X / Y ) H (Y ) H (Y / X ) H ( X / Y ) H ( X ) H ( Y ) H ( Y / X ) 0 .8 1 1 0 .9 8 0 0 .9 1 8 0 .7 4 9 b it I ( X ; Y ) H ( X ) H ( X / Y ) 0 .8 1 1 0 .7 4 9 0 .0 6 2 b it

2 3 1 3

1 3 2 3

离散对称信道的信道容量为C log s H ( p '1 , p ' 2 ,..., p ' s )

最佳信源为等概率分布信源。1 2

C m a x I ( X ; Y ) lo g 2 ( l o g 3 l o g 3) 0 .0 8 2 b it 3 3 p ( xi ) 1 27

2012.信息论.第4章离散信道及其容量.答案

习题4.19 设有一批电阻，按阻值分70%是2KΩ,30%是5 KΩ;按瓦分64% 是0.125W,其余是0.25W。现已知2 KΩ阻值的电阻中80%是 0.125W,问通过测量阻值可以得到的关于瓦数的平均信息量是多 少？ 建立数学模型x 2 X阻值 1 0 .7 P(X )

x2 5 0 .3

Y 瓦 数 P (Y )

y1 1 / 8 0 .6 4

y2 1 / 4 0 .3 6

p ( y 1 / x 1 ) 0 .8, p ( y 2 / x 1 ) 0 .2

求 I (Y ; X )

I ( X ; Y ) H ( X ) H (Y ) H ( X Y )8

2012.信息论.第4章离散信道及其容量.答案

p ( x 1 y 1 ) p ( x 1 ) p ( y 1 / x 1 ) 0 .7 0 .8 0 .5 6 p ( x 1 y 2 ) p ( x 1 ) p ( y 2 / x 1 ) 0 .7 0 .2 0 .1 4 p ( y1 ) p ( x1 y 1 ) p ( x 2 y 1 ) p ( x 2 y 1 ) p ( y 1 ) p ( x 1 y 1 ) 0 .6 4 0 .5 6 0 .0 8 p ( y 2 ) p ( x1 y 2 ) p ( x 2 y 2 ) p ( x 2 y 2 ) p ( y 2 ) p ( x 1 y 2 ) 0 .3 6 0 .1 4 0 .2 2

2012.信息论.第4章离散信道及其容量.答案

H ( X ) 0 .7 lo g 2 0 .7 0 .3 lo g 2 0 .3 0 .8 8 1

b it / s y m b o l b it / s y m b o l

H ( Y ) 0 .6 4 lo g 2 0 .6 4 0 .3 6 lo g 2 0 .3 6 0 .9 4 3 H ( XY ) i

j

p ( x i y j ) lo g p ( x i y j )

0 .5 6 lo g 0 .5 6 0 .1 4 lo g 0 .1 4 0 .0 8 lo g 0 .0 8 0 .2 2 lo g 0 .2 2 1 .6 3 8 b it / s y m b o l b it / s y m b o l

I ( X ; Y ) H ( X ) H ( Y ) H ( X Y ) 0 .8 8 1 0 .9 4 3 1 .6 3 8 0 .1 8 6

2012.信息论.第4章离散信道及其容量.答案

习题4.37

0 . 98 有一个二元对称信道，其信道矩阵为 0 . 02

0 . 02 0 . 98

设该信源以1500二元符号/秒的速度传输输入符号。现有一 消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2, 问从消息传输的角度来考虑，10秒钟内能否将这消息序列无 失真的传递完？ C m a x I ( X ; Y ) m a x H (Y ) H (Y / X ) lo g 2 2 ( 0 .9 8 lo g 2 0 .9 8 0 .0 2 lo g 2 0 .0 2 ) 0 .8 5 9 b it / s y m b o l

I 1 1500 symbol

/ s 0 . 859 bit / symbo …… 此处隐藏：2297字，全部文档内容请下载后查看。喜欢就下载吧 ……