ch5率失真理论和保真度准则下的信源编码

信息论与编码课件

第5章率失真理论和保真度 准则下的信源编码

信息论与编码课件

失真函数

一、基本离散信源(单字母)失真x2 xn 信源 X x1 P( X ) p ( x ) p( x ) p ( x ) 1 2 n

x 1 信宿 X P ( X ) p( x1 )

x2 xm p ( x2 ) p ( xm )

信息论与编码课件

失真函数

汉明失真

0, ( x x) d ( x, x) 1, ( x x)

平方误差失真绝对失真 相对失真

d ( x, x) ( x x)

2

d ( x, x) | x x | d ( x, x) | x x | / | x |

信息论与编码课件

失真矩阵 d ( x , x ) d ( x , x ) d ( x , x ) 1 1 1 2 1 m d ( x , x ) d ( x , x ) d ( x , x ) 2 2 2 m Dij 2 1 d ( xn , x1 ) d ( xn , x2 ) d ( xn , xm ) n m

信息论与编码课件

二元对称信源U={0,1},接收变量V={0,1} 在汉明失真定义下，失真函数为： d (0,0)=d(1,1)=0 d(0,1)=d(1,0)=1 失真矩阵

0 1 Dij 1 0

信息论与编码课件

设信源 U={0,1},接收变量V={0,1,2}, 定义失真函数为： d(0,0)=d(1,1)=0, d(0,1)=d(1,0)=1, d(0,2)=d(1,2)=0.5 失真矩阵

0 1 0.5 Dij 1 0 0.5

信息论与编码课件

信源U={0,1,2},接收变量V={0,1,2},均方失 真函数为d(ui,vj)=(ui-vj)2,求失真矩阵。

0 1 4 Dij 1 0 1 4 1 0

信息论与编码课件

平均失真

定义D E[d ( X , X )] p( x, x)d ( x, x) p( x) p( x | x)d ( x, x)x, x

x, x

等概信源通过信道转移概率矩阵P的信道传输，失 真测度为均方失真测度，求平均失真。信道转移概 率矩阵为 0 1 2

P

0 1 2

u1 u2 u3

0.6 0.2 0.2 0.25 0.5 0.25 0.1 0.1 0.8

信息论与编码课件

二、N次扩展信源失真(序列失真)n 1 n d ( x , x ) d ( xi xi ) n i 1 n

d ( x , x ) max d ( xi xi )n i

n

信息论与编码课件

率失真函数R( D) min { I ( X ; X )} q ( x x ) BD

BD

q ( x| x ) p ( x , x ) d ( x , x ) D x,x

信息论与编码课件

简单信源的率失真函数计算

贝努利信源是一个二元无记忆信源，其中输 出符号0的概率为1-p,输出符号1的概率为p。 求在Hamming失真度量下，贝努力信源的率 失真函数。

信息论与编码课件

率失真函数的性质

R(D)的非零区域(Dmin , Dmax)

R(D)的向下凸性R(D)为单调递减的连续函数

信息论与编码课件

Dmin p( x) min d ( x, x ) x x X

Dmax

q ( x| x ) QI 0

min

E[d ( X , X )]

min p ( x ) p ( x ) d ( x, x ) p( x)

x

x

min p ( x ) d ( x, x ) x x

p ( x ) d ( x, x )

*

x arg min p( x)d ( x, x)

x x

*

x

信息论与编码课件

利用信源的对称性 来计算率失真函数

设二元等概信源

X x0 x1 p ( x) 0.5 0.5

,再生字符表

0 1 为 X x 0 , x1 , x 2 ,失真度量矩阵为 d 2 3 0 1

求率失真函数R( D) 。

信息论与编码课件

保真度准则下的信源编码定理

(限失真信源编码定理)设离散无记忆信源的失真 函数为R(D),给定允许失真D,则当信息率R>R(D), 只要信源序列长度L足够长，一定存在一种编码方 法，其译码平均失真小于或等于D+ε,ε为任意小 的正数；反之，若R<R(D),则无论采用什么样的编 码方法，其平均译码失真必大于D。该定理指出，在失真限度内使信息率任意接近R(D) 的编码方法是存在的，然而，要使信息率小于 R(D), 平均失真一定会超过失真限度D。

信息论与编码课件

重

点

失真函数、失真矩阵

率失真函数定义率失真函数计算 保真度准则下的信源编码定理