第七章：信息率失真函数与限失真信源编码

信息论与编码PPT

第七章：信息率失真函数 与限失真信源编码定理

信息论与编码PPT

本章研究内容 概述 失真的度量 信息率失真函数 限失真信源编码定理 限失真信源编码定理应用 实用型信源编码 香农三大定理的关系和比较

信息论与编码PPT

§7.1:概述-1 无噪信道编码定理回顾：– 总可以找到一种输入分布(信源编码方法),使在无 噪无损信道上，能够以信道容量C无误地传输信息。 最好地利用C 信 源 编 码 最佳分布 无噪无损信道

消息

R=C;PE=0,限：平均码长最小值Hr(S)

压缩冗余度

每个码符号平均能够携带的最大信息量

信息论与编码PPT

§7.1:概述-2 有噪信道编码定理回顾：– 只要R<C,总可以找到一种信道编码方法，使在信道 上能够以尽可能小的PE传输信息。增加冗余度，最好地匹配信 道特性

消息

信 源 编 码

信 道 编 码

信道

R< C; PE=ε,

限：信息传输率最大值C

每个信道符号平均能够携带的最大信息量

信息论与编码PPT

§7.1:概述-3 存在问题– 对于连续和模拟信源H(S)=∞ 信道传输率R=H(S)/n(比特/码符号) R= ∞ 平均码长l=Hr(S)=H(S)/logr, l= ∞,

–实际上，因为B有限，C一定有限，R<C

信息论与编码PPT

§7.1:概述-4 实际需求特点：– 信宿对真实度的要求： 实际语音信号： 20Hz~8KHz 人耳能够分辨： 300Hz~3400Hz 图象色差：可达足够多 视觉分辨：256级(黑白)已足够

– 可以允许一定的失真度 完全保真没必要

信息论与编码PPT

§7.1:概述-5 引出的研究内容– 限失真的信源编码问题 允许一定的失真度下，能将信源信息压缩到什么程 度？(最少需要多少比特才能在收端描述信源？) 一定的信息传输率R下，可能达到的最小的平均失 真是多少？

– 相关问题 失真如何度量？ 率失真函数如何计算？

信息论与编码PPT

§7.1:概述-6 方法：– 抽象：将与讨论重点关系小的部分抽象 因为涉及信源编码，对信道进行抽象 信道编码→信道→信道译码 信道* 研究失真影响时，“信道*”可以忽略– 根据信道编码定理 ： 信道*是一个没有干扰的 广义信道，信宿收到信息的失真只来自于信源 编码

信息论与编码PPT

§7.1:概述-7 方法：– 虚拟：将讨论重点虚拟细化 将限失真信源的编译码过程虚拟 信源编码过程→信道* →信源译码过程 试验信道

可以用信道传递概率来描述限失真信源编译码前后的关系

信息论与编码PPT

信源

信源 编码

信道 编码

信道

信道 译码

信源 译码

信宿

信源

信源 编码

信道*

信源 译码

信宿

信源

试验信道U P(V|U) V

信宿

信息论与编码PPT

§7.2:失真的度量-1 失真度定义 平均失真度 保真度准则 试验信道

信息论与编码PPT

§7.2:失真的度量-2 失真度定义– 在U,V联合空间上定义： d(ui,vj),ui∈U,vj∈V 为U,V的

失真测度。 – d(ui,vj)有距离的概念 性质1:ui=vj时，d=0 性质2:min d=0 性质3:0<d< ∞

信息论与编码PPT

§7.2:失真的度量-3 失真度定义–离散信源：用失真矩阵描述。dij=

0, ui=vj >0, ui≠ vj0,ui=vj

汉明距离度量时：dij=

1, ui≠ vj– 连续信源：用失真函数描述。d(u,v)=(u-v)2 =|u-v|

信息论与编码PPT

§7.2:失真的度量-4 平均失真度– 单符号失真度： d(ui,vj)≥ 0,(i=1~r,j=1~s)信源的失真矩阵可表示为：

d (u1 , v1 ).......d (u1 , vs ) . D . d (ur , v1 ).......d (ur , vs ) 共r×s个元素

信息论与编码PPT

§7.2:失真的度量-5 平均失真度– 平均失真度：∵U,V是随机变量；∴ d(ui,vj)也是随机变量 平均失真度：

D E[d (u, v)] p(uv)d (u, v)u ,v

p(ui ) p(v j | ui )d (ui , v j )i j

信息论与编码PPT

§7.2:失真的度量-6 平均失真度– confer :d & D d:描述了某个信源符号通过传输后失真的大小， 不同的信源符号，其d不同。 D :描述了某一个单符号信源在某一试验信道传输 下的失真，它不仅与单个符号的d有关，还与 试验信道的统计特性有关。