第七章 限失真信源编码

第七章

限失真信源编码

7.1 失真测度 7.2 信息率失真函数 7.3 信息率失真函数的计算 7.4 限失真信源编码定理

第七章：限失真编码

失真测度

7.1.1 失真函数

X x1 P p( x ) 1

xr p( x 2 ) p( x r ) x2

Y y1 P p( y ) 1

ys p( y 2 ) p( y s ) y2

对于每一对 ( xi , y j ) ,指定一个非负的函数

d ( xi , y j ) 0, i 1,2, , r, j 1,2, , s

第七章：限失真编码

失真测度

7.1.1 失真函数

失真矩阵

d ( x1 , y1 ) d ( x1 , y 2 ) d ( x1 , y s ) d ( x , y ) d ( x , y ) d ( x , y ) 2 1 2 2 2 s D d ( x r , y1 ) d ( x r , y 2 ) d ( x r , y s )

r s

第七章：限失真编码

失真测度

7.1.1 失真函数 常用的失真函数有： (1) 汉明失真

0 d ( xi , y j ) 1

xi y j xi y j

(2) 平方误差失真函数

d ( xi , y j ) ( xi y j ) 2失真函数是根据人们的实际需要和失真引起的损失、 风险大小等人为规定的。

第七章：限失真编码

失真测度

7.1.1 失真函数 例7.1.1 设信道输入 X 0,1 ,输出 Y 0,1, 2 , 规定失真函数 d(0,0)=d(1,1)=0, d(0,1)=d(1,0)=1, d(0,2)=d(1,2)=0.5,求 D 。 解：

0 1 0.5 D 1 0 0.5

第七章：限失真编码

失真测度

7.1.1 失真函数

符号序列的失真函数X X1 X 2 X N

X x1 , x2 , , xr Y y1, y 2 , , y s

Y Y1Y2 YNy j y j1 y j2 y jN

xi xi1 xi2 xiN

d (x i , y j ) d ( xi1 xi2 xiN , y j1 y j2 y jN ) d ( xi1 , y j1 ) d ( xi2 , y j2 ) d ( xiN , y jN ) N

k 1

d ( xi

, y ) j k k

第七章：限失真编码

失真测度

7.1.1 失真函数 例7.1.2 假设信源输出序列 X X1 X 2 X 3 ,其中每个随 机变量均取值于X 0,1 。经信道传输(编码)后的输出 为 Y YY ,其中每个随机变量均取值于Y 0,1 。 1 2Y3 定义失真函数 d (0,0) =d (1,1) =0,

d (0,1) =d (1,0) =1,求失真矩阵 D (N )。

第七章：限失真编码

失真测度

7.1.1 失真函数d (000, 000) d (0, 0) d (0, 0) d (0, 0) 0

0 1 1 d (000, 001) 2 d (0, 0) d (0, 0) d (0,1) D( N ) 1 1 2 2 3

1 0 2 1 2 1 3 2

1 2 0 1 2 3 1 2

2 1 1 0 3 2 2 1

1 2 2 3 0 1 1 2

2 1 3 2 1 0 2 1

2 3 1 2 1 2 0 1

3 2 2 1 2 1 1 0

第七章：限失真编码

失真测度

7.1.2 平均失真

D E d ( xi , y j ) p( xi y j )d ( xi , y j )i 1 j 1

r

s

p( xi ) p( y j | xi )d ( xi , y j )i 1 j 1

r

s

第七章：限失真编码

失真测度

7.1.2 平均失真 例： 0 1 1 D 1

12r

1 0 1 1 1r

X x1, x2 ,Y y1, y2 ,

, x2r , yr , 2r

1 p ( xi ) , i 1, 2, 2r

1 1 0 1 1

1 0 0 P 0 0

0 1 0 0 0

0 0 1 1 1

0 d ( xi , y j ) 1

i j i j

D p ( xi ) p ( y j | xi )d ( xi , y j )i 1 j 1

1 2r r 1 1 p ( y j | xi )d ( xi , y j ) r 2r i 1 j 1 2r 2

第七章：限失真编码

失真测度

7.1.2 平均失真

例：

0 X P( X ) 1 2

1 1 4

2 1 4

0 1 2 D 1 0 1 2 1 0

1 2 1 P 3 1 6

1 3 1 6 1 3

1 6 1 2 1 2

D p( xi ) p( y j | xi )d ( xi , y j )i 1 j 1

r

s

1 1 1 1 1 1 1 1 1 1 1 1 ( 0 1 2) ( 1 0 1) ( 2 1 0) 2 2 3 6 4 3 6 2 4 6 3 2 1 2

第七章：限失真编码

信息率失真函数

7.2 信息率失真函数 7.2.1 D 允许信道 保真度准则D D

D( N ) NDD失真允许信道BD p( y j | xi ) : D D

i 1,2, , r; j 1,2, , si 1, 2,

, sN

BD ( N ) p(y j | xi ) : D( N ) ND

, r N ; j 1, 2,

第七章：限失真编码

信息率失真函数

7.2 信息率失真函数

7.2.2 信息率失真函数的定义

R( D)

p ( y j | xi ) BDp ( y j |xi ) BD ( N )

min

I ( X ;Y )

RN ( D)

min

I ( X; Y)

当信源为离散无记忆平稳信源、信道为离散无记忆平稳信 道时

I (X; Y) NI ( X ;Y )R N ( D) NR( D)

第七章：限失真编码

信息率失真函数

7.2 信息率失真函数

C max I ( X ; Y )p ( xi )

是在信道固定前提下，选择一种信源概率分布使信息传输 率最大(求极大值)。它反映了信道传输信息的能力，是 信道可靠传输的最大信息传输率。信道容量与信源无关， 是反映信道特性的参量，不同的信道其信道容量不同。

第七章：限失真编码

信息率失真函数

7.2 信息率失真函数

R( D)

p ( y j | xi ):D D

min

I (X ;Y )

是在信源固定，满足保真度准则的条件下的信息传输率的 最小值。反映了满足一定失真度的条件下信源可以压缩的 程度，也就是满足失真要求而再现信源消息所必须获得的 最少平均信息量。是信源特性的参量，一旦求到就与求极 值过程中选择的试验信道无关，不同的信源率失真函数不 同。

第七章：限失真编码

信息率失真函数

7.2 信息率失真函数

这两个概念适用范围是不一样。研究信道 容量C 是为了解决在已知信道中尽可能多地 传送信息的问题，是为了充分利用已给定的 信道，使传输的信息量最大而错误概率任意 小，以提高通信的可靠性，这是信道编码的 问题。