信息、信息科学与信息技术

第一章信息、信息科学与信息技术沈晴霓北京大学软件与微电子学院

纲 1.1信息 1.2信息科学 1.3信息技术

要

1.4信息科学/技术与相关学科的关系

1.1信息 什么是信息？

就一般意义而言，信息可以理解成消息、情报、知识、见闻、通知、报告、事实、数据等等。 20世纪30年代，信息被作为一个科学概念探讨

1928年，哈特莱(Ralph V.L. Hartley)在“信息传输”文中首先提出“信息”这一概念，即“信息是代码、符号，而不是信息内容本身”,与消息区分开来。 1948年，信息论创始人香农(C. E. Shannon)从研究通信理论出发，第一次从数学方法角度进行了定义，即“信息就是不确定性的消除”。

香农对信息的定义 什么是信息？信息能否度量？怎样度量？ 香农认为：信息是有秩序的量度，是人们对事物了解的不确定性的消除或减少。 信息是对组织程度的一种测度，信息能使物质系统有序性增强，减少破坏、混乱和噪音。如：人的交往、道路交通、公安保密等

信息的传播过程 香农提出：信息的传播过程是“信源”(信息的发送者)把要提供的信息经过“信道”传递给“信宿”(信息的接收者),信宿接收这些经过“译码”(即解释符号)的信息符号的过程。信源→编码→信道→译码→信宿

信息的度量 由于信息源发出的消息是随机的，可以用随机变量来表示。如果用符号表示信息源发出的信息，假设事件的基本空间 包含 m个元素，即 ={x1, x2,…, xm},且每一个等可能值的概率为： P( X=xi )= p i=1, 2,…, m 那么,定义一个随机事件所含的信息量称为x的自信息量，即

只能表示信息源发出的某一特定消息x的自信息量，而对于不同的消息则有不同的自信息量，所以不足以作为整个信息源的总体信息测度。那么，可以定义平均信息量来作为信息总体的测度，即信息熵。

信息熵 设X为一离散随机变量，在集合中取值，其概率分布为

信息熵是从整个信息源的统计特性来考虑的，它从平均的意义上来表示信息源的总体信息测度，它表示信息源 X在没有发出消息以前，信宿对信息源 X存在着平均不确定性。香农的信息度量公式排除了对信息主观上的含意。根据上述公式，同样一个消息对任何一个收信者来说，所得到的信息量都是一样的。

香农关于信息的度量，通常也称为概率信息。它是一个科学的定义，有明确的数学模型和定量计算。 在公式中，对数的底数从理论上而言可以取任何数。当底数为2时，信息的计量单位为比特 (bit),即二进制单位。

正确理

解信息熵的概念 举例：在试验甲和乙中，两种结果A和B出现的概率如下：

在试验之前，就试验甲而言，很难断定A和B中那个可能将出现(由于出现A与出现B的概率相等，就像投掷硬币一样，投之前很难判断正反面);但就试验乙而言，就很大的把握断定A将出现。 由此可见，在不同的试验中，其不肯定性是有大有小的，试验甲的不肯定性就比试验乙的来得大。

如果将信息熵的计算公式套用到类似本例的实验中，可以这样描述：设在试验中有N个可能出现的结果， A(1),A(2),…,A(n)假如它们出现的概率分别是 P(1),P(2),…, P(n)通常规定这个试验的熵为：

小结熵就是描写不肯定性大小的量熵越大不肯定性就越大

香农信息论的局限性 首先，香农对信息的定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。然而实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。对某些情况来讲，是否存在这样一个模型还值得探讨。 其次，这个定义和度量不考虑收信者的主观特性和主观意义，也撇开了信息的具体含义、具体用途、重要程度和引起后果等因素。这与实际情况不完全一致。

问题分析 香农信息论存在的问题，主要是由于狭义信息论没有解决信息的语义问题和有效性问题。 语义信息是指当认知主体在获得信息时，不仅要知道“是什么形式”,而且还要理解“是什么意思”。也就是说，信息的具体含义是什么。香农定义并没有解决语义信息的度量问题。这样，它的适用范围就受到严重的限制。 时效性问题？?

广义信息论 广义信息论超出了通讯技术的范围来研究信息问题，它以各种系统、各门科学中的信息为对象，广泛地研究信息的本质和特点，以及信息的取得、计量、传输、储存、处理、控制和利用的一般规律。 广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横向学科。 广义信息论，人们也称它为信息科学。

数据、消息、信号与信息的区别 数据：是对客观实体的一种描述形式，是信息的载体。

数据(原材料木头)与信息(加工以形成的结构)的关系

从这个意义上，信息和数据的区别可以理解为：数据是未加工的信息，而信息是数据经过加工以后的能为某个目的使用的数据，信息是数据的内容或诠释。将数据加工为信息的过程称为信息加工或处理。 数据可分为模拟数据和数字数

据两种形式。模拟数据是在某个区间内连续的值。