第三章连续信源的信息熵

信息论

«信 息 理 论 基 础 »第三章：连续信源的信息熵§3. Entropy of Continuous Source§3.1 §3.2 §3.3 §3.4 §3.5 §3.6 §3.7 连续信源的离散化 随机变量的相对熵 相对熵的性质 常见几种概率密度下的相对熵 连续信源的最大熵定理 平稳高斯随机过程的信息熵与互信息 熵功率与功率不等式

信息论

第三章. 连续信源的信息熵§3. 1 连续信源的离散化 ( Discretization of Continuous Source)我们前面所介绍的信源均指离散信源，即信源所发 的消息都是由符号或符号序列所组成； 而且每一个符号 a1 , a2 , , an 的取值都属于一个有限元素组成的集合之中。 x A finite symbol or sequence p1 , p2 , , pn

而连续信源是指信源所发出的消息都是由一个个随机 过程( stochastic process)所形成。如：语音信号 X (t , ) 它不仅幅度上，而且在时间上也都是 连续的，即分别属 于一个无限的集合之中。

信息论

§3. 1 连续信源的离散化因此，我们所研究的问题就复杂了，然而任何复杂 的问题都可以分解成比较简单的问题分步解决。故通 常我们有一些处理连续变量的方法。Stochastic processx H ( p)

X (t , ) Time

discretization

X

Random vector

Random variable Memoryless Markovian X

Amplitude discretization

正交变换 Orthogonal Transformation

Amplitude continuous

x( ) Hc ( X )

所谓正交变换是一种数学处理手段，将在T时间内的 受限于最高频率为F的随机过程，无失真地变换成2FT个 随机变量。最理想的正交变换是： K—L expansion。

信息论

§3. 1 连续信源的离散化因此任何复杂的统计对象，经多种处理后就可由 浅入深地逐步解决问题。正如我们在离散信源中： ai 消息 事件

X 随机 变量

X 随机 序列

H (X ) HL (X ) H H m 1

X (t , )随机 过程

自信息

I (ai )

H (X )信息熵

H X (t , ) 随机过程的熵

任何处理过程总要丢失信息， 最多保持不变。所以简化处理就 H1 H ( X ) 得付出代价即：容忍信息的丢失， H 0 log n 除非正交变换和极限处理。序列熵的表达类型

信息论

第三章. 连续信源的信息熵§3. 2 连续变量的相对熵( The differential entropy of Continuous random Variable)一个连续变量总可以采用数字量化的方式简化成一个离散变量 来近似，而且量化单位越小则所得的离散变量就越接近那个连续变 量。因此我们针对连续变量的概率统计规律——概率分布密度函数 ( probability density function)也可采用上述近似方法。

F ( x)

def

x

f (t )dt P( x)

def x

p(t)dt

p ( x) f ( x)

where : F ( x ) P( x ),为概率分布函数。 f ( x ) p( x ),

为概率分布密度。 P ( x b) def

b

f ( x )dx p( x ) dx 1a

b

Δa 0 b

x

信息论

§3. 2 连续变量的相对熵如果把x∈[a,b]的定义域划分成n个小 区间，且每个小区间宽度相等。那么处 于第i个区间的概率就等于：p ( x) f ( x)

pi Pn ( xi ) P [a (i 1) ] x ( a i ) a i a ( i 1)

def

p( x )dx p( xi ) Δ a 0

b a where : ; i 1, 2, n n xi a (i 1) , a i Then : 按积分中值定理上式一定成立。n n

xi

b

x

H n ( X ) pi log pi pn ( xi ) log pn ( xi ) pn ( xi ) log pn ( xi ) i 1 i 1 i 1

n

(log ) pn ( xi ) pn ( xi ) log pn ( xi ) (log )i 1 i 1

n

1

n

信息论

§3. 2 连续变量的相对熵以上我们将一个连续变量的概率空间量化成一个离 散空间，从而得到连续信源的近似信息熵。如果将此近 似手段在取极限的方式下就可逼近这个连续变量的熵。 n 即： 0 H n ( X ) lim pn ( xi ) log pn ( xi ) (log ) lim 0 i 1 n n p ( x ) log p ( x )dx lim(log ) 0a def n b

H c ( X ) H ( )def b

信息散度 D( p//q ) (relative entropy)称为相对熵 Differential entropy 称为绝对熵 absolute entropy

where : and

H c ( X ) p( x ) log p( x )dxa

H ( ) lim(log ) 0n

def

信息论

§3. 2 连续变量的相对熵在取极限的过程中由于n→∞ 相当于 →0,此时这个离散变 量越来越逼近一个连续变量；而离散集合中的信息熵Hn(X)就分解 为两项，其中一项与划分精度 无关，趋于一个常量——Hc(X)。 而另一项，随着 →0最终趋于一个无穷大的量。很显然这与取极 限之前的离散熵差别很大，那么这种极限形式能否表达出信源平 均不定度的概念吗？ 由于表达形式的不同，则它的物理意义也应有所不同。所以 我们不能以离散熵的概念来理解上述表达式，特别是当某些离散 熵的数学性质不在继续保持的情况下，如：非负性、对称性、扩 展性等。但值得庆幸，上式中将熵函数中最能反映信源的固有属 性的数学性质如可加性、极值性和上凸性仍旧依然保持着。因此 有可能上述表达式的某些部分仍能代表连续信源的某些物理属性。 (但我们要深入讨论离散向连续逼近时，物理属性的变化。)

信息论

§3. 2 连续变量的相对熵因为对于一个连续变量, 它的取值有无穷多个, 无论它取任何 值，其随机事件所对应的不定度一定是无穷大量。而对熵来说， 应是这个随机事件集合的平均值, 既然每一个事件的自信息都是 无穷大, 则它的集合平均值

也应是无穷大才对。又因为从绝对的 观点来看, 每一个连续信源的平均不定度都是无穷大，那么这个 熵的价值也就无意义了。但是再仔细分析一下, 上式中只有H( ) 项才与划分精度 有关, 这说明只有此项能反映人为地利用离散模 式向连续型逼近的近似程度。换句话说, 这仅是强加上的人为因 素，并不代表事物原有的客观属性。比如, 对于同样概率分布的 随机变量x,如果仅划分精度 不同时, 可取 1 , 2代表两种划分 精度，则我们所得到的熵的表达式：H n1 ( X ) p( x) log p( x) dx H ( 1 )R

H n2 ( X ) p( x) log p( x) dx H ( 2 )R

信息论

§3. 2 连续变量的相对熵可见只有H( )不同，因此我们说：能真正反映连续信源的客 观属性的应该是第一项，而不是第二项。对于后者我们称之为— —绝对熵(absolute entropy) ;而对于前者我们称之为——相对熵 (differential entropy) 。 def H c ( X ) p( x ) log p( x )dxR

where, R is the domain of x . 为什么说相对熵反映连续变量的客观存在的平均不定度？首 先一个随机变量，当它的概率分布一旦确定，则它的不定性就该 给定，而不能随划分精度的变化而变化。第二，由于信息量的概 念是不定度的解除量，如果在相同划分精度下，再讨论两者之差 时,H( )将会消失。 …… 此处隐藏：4492字，全部文档内容请下载后查看。喜欢就下载吧 ……