南邮信息论期末小结

南邮信息论期末小结

复习

南邮信息论期末小结

第1章 绪论 信息是具体信号与消息的内涵，是信号

载荷的内容，是消息描述的对象 信号是信息在物理表达层的外延 消息是信息在数学表达层的外延

南邮信息论期末小结

通信系统的模型信源 信源 编码 加密 信道 编码 干扰 信道 信源 译码 信道 译码 噪声

信宿

解密

南邮信息论期末小结

通常，可将信息与通信中的基本问题归纳为

三性：有效性、可靠性和安全性。分别通过信源编码、信道编码和加密编码来实现。 Shannon三大极限定理是：

无失真信源编码

定理 、 信道编码定理 、 限失真信源编码

定理

南邮信息论期末小结

信源描述与分类 信源的基本特性是具有随机不确定性 分类——离散信源和连续信源 无记忆：单符号无记忆信源 符号序列的无记忆信源 有记忆：符号序列的有记忆信源 符号序列的马尔可夫信源

南邮信息论期末小结

第2章 信源与信息熵

信息量自信息量 联合自信息量 条件自信息量

1 I ( xi ai ) log p( xi ) log p( xi )1 I ( xi , y j ) log p( xi , y j ) log p( xi , y j )1 I ( xi / y j ) log p( xi / y j ) log p( xi / y j )

南邮信息论期末小结

单符号离散信源熵H ( X ) p( x i ) log p( x i )i

符号熵

条件熵

H ( X / Y ) p( y j ) p( x i / y j ) log p( x i / y j )i,j

联合熵 H ( XY )

p( x , yi i,j

j

) log p( x i , y j )

南邮信息论期末小结

平均互信息量

I ( X ;Y ) I ( Y ; X ) H( X ) H( X / Y ) H( Y ) H( Y / X ) H ( X ) H ( Y ) H ( X ,Y )

南邮信息论期末小结

熵的性质 对称性 非负性 确定性 香农辅助定理 最大熵定理

南邮信息论期末小结

联合熵和条件熵的性质

南邮信息论期末小结

1.

平均互信息的性质对称性

2.3.

与熵和条件熵及联合熵关系非负性

4.5.

极值性凸性函数性质

6.

信息不增性原理

I ( X ;YZ ) I ( X ;Y ) I ( X ; Z / Y )

南邮信息论期末小结

离散序列信源的熵

离散有记忆信源的序列熵和消息熵结论1 结论2 结论3 结论4当L H ( X ) lim H L ( X ) lim H ( X L / X 1 , X 2 , X L 1 )L L

H ( X L / X L 1 ) 是L的单调非增函数H L ( X ) H ( X L / X L 1 )H L ( X ) 是L的单调非增函数

南邮信息论期末小结

马尔可夫信源当信源的记忆长度为m+1时，该时刻发出的 符号与前m个符号有关联性，而与更前面的 符号无关。

南邮信息论期末小结

马氏链极限熵

H ( X ) p( s i )H ( X / s i )i

南邮信息论期末小结

连续信源的熵与互信息

幅度连续的单个符号信源熵相对熵 联合熵 条件熵 Hc (X )

p X ( x) log p X ( x)dx

H c ( X ,Y ) Hc

(Y / X )

p X ,Y ( x, y ) logp X ,Y ( x, y )dxdy p X ,Y ( x, y ) logpY ( y / x)dxdy

H c ( X , Y ) H c ( X ) H c (Y / X ) 互信息 I ( X ; Y ) I (Y ; X ) H c ( X ) H c ( X / Y ) H c ( X ) H c (Y ) H c ( X , Y ) H c

(Y ) H c (Y / X )

南邮信息论期末小结

最大熵定理 限峰功率最大熵定理：对于定义域一定 的随机变量X,当它是均匀分布时具有 最大熵 限平均功率最大熵定理：对于相关矩阵 一定的随机变量X,当它是正态分布时 具有最大熵1 H c ( X ) log 2 e log( 2 e 2 ) 22

南邮信息论期末小结

冗余度，表示给定信源在实际发出消息时所 包含的多余信息。冗余度来自两个方面，一是信源符号间的相 关性；二是信源符号分布的不均匀性

南邮信息论期末小结

第3章 信道与信道容量1、信息传输率 信道中平均每个符号所能传送的信息量定 义为信息传输率R R=I(X;Y)=H(X)-H(X/Y) 比特/符号 信息传输速率Rt Rt=I(X;Y)/t 比特/秒(bps)

南邮信息论期末小结

2、信道容量

比特/符号(bits/symbol或 bits/channel use)p ( ai )

C m ax I ( X ; Y )

若平均传送一个符号要T秒，则C Ct T

比特/秒(bit/s或bps)