数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

《数字图像处理与图像通信》朱秀昌 刘 峰 胡 栋

北京邮电大学出版社

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

第11章 11.1 帧间预测编码 11.2 运动估计与运动补偿预测 11.3 混合编码 11.4 视频编码的国际标准简介 11.5 压缩视频的差错控制技术

活动图像编码

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

1、对活动图像编码的要求 实时性

高效性2、活动图像编码传输系统框图(后页) (注意此框图与静止图像系统差别)

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

摄像

A/D

帧存

编码

缓存

调制

数字视频信号

信 道显示 D/A 帧存 解码 缓存 解调

图11.1活动图像编码传输系统基本框图

摄像数字图像源

A/D

帧存

编码

调制 信 道

显示

D/A

帧存

解码

解调

图10.1

静止图像数字传输系统一般的结构4

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

3、图像编码的几个应用层次① 标准数字电视：图像分辨率为720×576,采用MPEG-2标准建议，约 8 Mbps 的码率就可以达到演播室级的图像质量要求。 ② 会议电视：图像分辨率为352×288,采用H.261建议，码率为P ×64 kbps,其中P =1,...,30。 ③ 数字影碟机等：图像分辨率为352×288,采用MPEG-1建议，码率为 1.5Mbps,可达到VHS录像带图像质量。 ④ 可视电话：图像分辨率为176×144,采用 H.263 建议，码率为 64

kbps以下，能在现有模拟电话线上传送活动的彩色电视电话图像。⑤ 高清晰度电视：图像分辨率1920×1080,具有二倍于现有标准的水 平和垂直清晰度，采用MPEG-2建议，码率约为20 Mbps。5

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

4、彩色视频信号的编码方案

{

复合编码 分量编码(常用)

对于彩色视频信号进行压缩编码，总体上说有两种不同的编解码 方案。一种是复合编码，它直接对复合视频信号进行取样和编码传输； 另一种是分量编码，它首先把复合视频中的亮度和色度信号分离出来，

然后分别进行数字化和编码传输。

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

5、活动图像压缩编码的两类方法1)帧内编码： 变换编码

预测编码2)帧间编码： 无运动补偿的差分脉码调制(DPCM) 有运动补偿的差分脉码调制(DPCM)

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

11.1 帧间预测编码 11.1.1 帧间预测的依据① 活动图像相邻帧的时间间隔短(1/25-1/30S),相关性很强 ② 信源大多处于不变或缓变状态 举例：可视电话 画面的三个区域： 1)背景区 2)活动物体区

3)暴露区③ 利用人眼视觉特性，根据景物的活动性适当调整码率，即所谓空间分辨 率(带宽)和时间分辨率(帧频)的转换8

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

11.1.2

帧间预测的基本方法

如果图像中存在大量静止或缓变区域，可以采用：

① 场(帧)重复工作形式② 条件修补法 判断当前帧的某个像素值是否大于前一帧同一位置像素的复原值。

大于：把当前这个像素的值和位置信息传送到远端。 小于等于：认为当前这个像素相对静止，不

用传输。 为了克服误差累计，对这种形式的像素采用定期刷新的方法。 H.261等标准对这种简单帧间编码模式做了如下修改：

{ a.以子块为单位，取代单个像素编码，节省地址码b.传送子块帧差，取代直接传送采样值9

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

11.1.3 帧内、帧间编码的模式选择 a.帧内、帧间编码应用场合 b.判断准则

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

11.2 11.2.1 运动补偿

运动估计与运动补偿预测

简单的帧间预测(帧差FD)可以对于静止区域进行很好的预测，但对于活动物体则效果很差。 解决方法：先估计出运动物体的相对位移，然后将两帧中的对应 区域进行预测，编码传输预测的误差部分。 运动补偿预测编码：考虑了对应区域的位移或运动的预测方式。

显然，帧间预测是运动补偿预测在运动矢量为零时的特殊情况。

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

运动补偿预测编码包括4个部分：难 ① 静止、运动区域的划分 ② 运动估计(motion estimation) ③ 运动补偿(motion compensation)

易

④ 对补偿后的预测信息编码，包括补偿后的位移帧差信号以及运动矢量等编码。

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

11.2.2 基于块的运动补偿预测问：为什么要采用基于块的运动补偿？

答：因为把运动物体以整个形式分割出来是困难的，因此，采用基于块的运动补偿，即把图像划分为互不重叠的大小为Nх N的块。

基于块的运动估计和运动补偿的一个基本假设：即块内所有像素 具有相同(保证块的运动矢量就是块内所有像素的运动矢量)的平移 (不考虑缩放、翻转等)运动。

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

运动补偿具体步骤：(共四步) ⒈ 把图像分成互不重叠的大小为Nх N的块； ⒉ 对每个块做运动估计，得出运动矢量 D(dx,dy); ⒊ 运动补偿预测，得到预测误差；

⒋ 将运动矢量以及预测误差编码发送，其中预测误差先DCT再量化后再进行熵编码(如Huffman编码)。

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

11.2.3 运动估计算法块匹配

主要包括像素递归法

◆1、块匹配算法(1)基本方法—全搜索算法问：何为最相似？即块匹配采用什么准则衡量最相似

答：通常采用均方误差或绝对误差和作为准则。

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

dm dm

B

Adm

dm

图11.8 块匹配法的搜索区

设块大小为Nх N,水平、垂直方向最大位移均为dm。则： 搜索区SR为：以 A为中心的 (N+2dm)х (N+2dm) 搜索过程：在搜索区SR内寻找与A最相似的块B,也就是块的匹配过程。16

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

常见的块匹配准则： a.均方误差(MSE):

1 ij 2 N 1 ij 2 N

m, n 0

2 I ( m , n ) I ( m i , n j ) k k 1

N 1

b.平均绝对误差(MAD):

m , n 0

I

N 1

k

(m, n) I k 1 (m i, n j )

c. 绝对误差和(SAD):

ij

m , n 0

| I

N

1

k ( m,n )

I k 1( m i , n j ) |

数字图像处理 第11章 活动图像编码 北邮出版社 2008 10

搜索结果：(I) 当搜索区内的最小误差≤T(阈值)时：

得到运动矢量dx=i,dy=j(II) 当搜索区内的最小误差> T(阈值)时： 说明子块A运动剧烈，在搜索范围内部不能很合适的匹 配，应对它直接用帧内编码。

全搜索法搜索次数：(2dm+1)×(2dm+1)