编码理论——第1章 绪论

编码理论

Coding Theory

朱近康

中国科学技术大学个人通信与扩频实验室

编码理论

　　　　　　　Coding Theory――硕士研究生必修课学时：　　　　　讲课　　60　学时实验　　10　学时

绪论

信源编码基本理论

实时信源编码

近世代数基础

信道编码基础

循环编码

卷积编码

保密编码讲授内容：第一章第二章第三章第四章第五章第六章第七章第八章

基本参考书：

The Theory of Information & Coding

(R. J.McEliece, 电子工业出版社, 2003 )

信息论与编码理论（沈世镒陈鲁生，科学出版社，2002）

中国科学技术大学个人通信与扩频实验室近世代数（杨子胥，科学出版社，2000年）

第一章　绪论

1 绪论

1.1 编码与编码理论

1.1.1 信息与编码

1.1.2 编码与解码

1.1.3 编码理论

1.2 编码分类和相关基础

1.2.1 信源编码

1.2.2 信道编码

1.2.3 特殊编码

1.3 编码系统模型

1.3.1 编码系统模型

1.3.2 编码系统的数学模型

1.4 编码理论的发展和应用

中国科学技术大学个人通信与扩频实验室

1.1 编码与编码理论

1.1.1 信息与编码

通信最基本、最重要的功能就是传递信息，获取信息、处理信息、和利用信息。

古代的结绳记事，长城上的峰火台硝烟，墙壁上的点划刻蚀，……，都是为传递和保存信息的典型手段，是一种最简单、最经典的编码。

有线和无线通信产生以后，真正的编码技术随之产生，以不同点、划、间断的组合代表不同文字和数字的莫尔斯码、波多码、中文电报码等，开始了编码的真正研究和应用。现在，几乎所有信息应用领域都需要编码，各种编码都在被积极研究。

中国科学技术大学个人通信与扩频实验室

1948年C E. Shannon（香农）在贝尔系统技术杂志发表的“A Mathematical Theory of Communication”一文，开创了一门新兴学科和理论：信息论和编码理论。

信息消除对事件认识的不确定性程度的度量

例１．１：一位远方朋友的来访，在对方没有联络你他将来访之前，你是完全不知道，不确定的。只有当对方通过通信手段（写信、打电话、发短信、送Ｅ－ｍａｉｌ等）明确通知你他的到访准确时间后，你才对他来访一事的不确定性完全消除。因此，你从他同你的通信联络中获得了信息。

信息熵描述对事件不确定性认知消除程度的度量例１．２：仍以远方朋友的来访为例，如果事前仅仅了解他在当月来访，但不知道哪一天来。每个月最多３１天，共３１种可能。其中任何一天来访的可能性都有、概率为１／３１。当对方通知具体到达日后，获得的信息，其信息熵，也就是信息量，为ｌｏｇ２（１／３１）　≈５比特。

中国科学技术大学个人通信与扩频实验室

n

n

n编码信号，是经过编码处理传递信息的信号。通信传递信息的信号需要编码；保存信息的存储信号；是经过编码的信号。加工处理信息的信号，也可能是经过编码的处理信号；应用信息更需要编码。信号；…．．。不同的应用需要不同的信号格式，包含不同的信息，就需要采用不同的编码，以满足它的应用要求。总之，社会发展需要信息，人类生活需要信息，设备运转需要信息，……。提供信息的信号、反映信

息的信号、处理信息的信号、利用信息的信号，都需要编码。

中国科学技术大学个人通信与扩频实验室

1.1.2编码和解码编码对带有信息的原信号加以处理，构成利于传输(保存、加工、使用)的新信号的过程。

原信号 (携带有信息) (处理)新信号 (保留有携带信息)

编码的逆过程是解码。解码是为从编码出的新信号中解出原信号并获取所携带信息而不可少的。编码是一个处理过程，解码也是一个处理过程。必须指出，在很多场合我们说编码，是指编码处理成的码字、码组、或码集，是编成的码，是编码的结果。中国科学技术大学个人通信与扩频实验室

携带有信息的原信号被称为信源，表示为S

编码处理的结果被称为编码，表示为A

编码是从Ｓ到Ａ的运算，若运算函数记为ｆ（．），那编码的函数表示为A=f(S)

解码过程是从Ａ到Ｓ的运算，若运算函数记为ｇ（．），解码函数就表示为

解码是编码处理的逆过程，有S=g(A)

g=f 1

这样，从编码到解码，能完全恢复原携带有信息的信源，有

1S'=g(A)=g(f(S))=f(f(S))=S

Ｓ’为解码的输出。中国科学技术大学个人通信与扩频实验室

1.1.3 编码理论

编码理论对原信号进行处理，构造成利于高可靠、高效率地传输信息（保存信息、加工信息、利用信息）的数字信号序列、并能方便恢复或解出原信号信息的理论及应用体系。

例1.3：仍以远方朋友的来访为例。如果对方要通知你哪天到访，可以采用5位的二进制码，有32个码字，正好与一个月的30天（或31天）对应。

00001为1号，00010为2号，00011为3号，……，11111为31号。

传送“00101”码字，就知道到访日期是5号。

这种编码32种事件状态对应长5位的32个码字，数据量最少，满足高效率传输信息的要求。

中国科学技术大学个人通信与扩频实验室

　尽量好的效果尽量短的序列尽量少的差错尽量容易实现

中国科学技术大学个人通信与扩频实验室编码目标

1.2 编码分类和相关基础

1.2.1 信源编码

信源是携带信息的原始信号，如彼此的通话、相互的交流、书面的文章，统计的数据图表、……、等。为了让对方、让读者、让接收方能理解清楚和准确把握，这些信号往往会从不同角度、不同方面表达和叙述要传递的信息，有时还不得不重复、甚至多次重复和强调。因此，携带信息的原始信号，往往都不是最简信号，而是包含有相当的冗余（多余量）。信源：

S: { x, p(x) } , x=( x1, x2, …. xM), p(x) = ( p(x1), p(x2), …. P(xM) )

中国科学技术大学个人通信与扩频实验室

信源模型，是把信源符号作为概率变量表述它所构成的

x1,x2,L,xM表示信源信源的数学模型。假定S代表信源，

符号，其出现概率为p(x1),p(x2),Lp(xM)，则信源模型为：

x1 x2 LL xM S: p(x1) p(x2) L p(xM)

信源符号的出现概率通常简写为p(xi)=pi，i=1,2,LM，满足：

pi≥0

∑p

i=1Mi=1

中国科学技术大学个人通信与扩频实验室

对信源进行编码，就是把信源信号变换成数字序列，假定数

y1,y2,y3,L,yN，各码字的字序列A由N个码字构成，分别为：

码长分别是l1,l2,l3,L,lN，则数字序列A可表示为：

y1,y2,y3,L,yN A: l1,l2,l3,L,lN

如果A是信源S的编码，则从S到A的信源编码过程可表示为： x1x2LxM y1y2LyN S: →A: p1p2LpM l1l2LlN

其中，信源符号与码字对应，符号出现概率与码长对应。码字的平均码长大小成为衡量信源编码优劣的主要参数，平

N均码长定义为：L=∑pjlj

j=1

信源编码是希望构造平均码长最短的编码中国科学技术大学个人通信与扩频实验室

信源编码(定义):把原信源信号变换成为新的数字序列、使序列所含码字的平均码长最短又不损失原信息(和解码)过程。信源：S编码：A

编码：A:{ y, l}, y=( y1, y2,… . yM ), l=( l1, l2,… . lM ),…… 此处隐藏：1631字，全部文档内容请下载后查看。喜欢就下载吧 ……