《数字图像处理》

第 14 章 视频图像处理基础

李俊山编著 . 《数字图像处理（第 4 版）》

 目前，基于视频的运动目标检测与识别已
经成为图像处理技术领域的一个热点课题。
可视电话、 IP 视频会议系统、有线电视、
无线视频通信、光盘存储、视频点播和远程教学
等数字视频业务的广泛应用，面向视频通信的视
频信息压缩编码技术也已成为图像处理技术领域
的另一个热点课题。
14.1 视频图像处理的概念
 一、图像、视频、视频图像

1 、图像
静态的画面就称为图像，也即图像是指单帧静态的
图片。
 一、图像、视频、视频图像

2 、视频
视频是以一系列在时间上相邻的图像信号的依次播
放，因而给人眼呈现出连续动态图像的一种信息媒介。
因为：当一系列在时间上相邻的图像依次以每秒超过 24
帧（ frame ）的画面连续播放时，根据人的视觉短暂记忆特
性，人眼就无法辨别每幅单独的静止画面，感觉到的是连续
平滑的视觉效果，这种连续的画面就称为视频（ Video ）。
也即，视频是指连续的、相互关联的、动态变化的
图像序列。
 一、图像、视频、视频图像

3 、视频图像
视频是由连续的图像序列组成的，其基本成分是
一幅一幅的静态图像。另外，由于对视频图像的各种处
理都是建立在对每幅静态图像的处理基础上的，所以当
对其相关特性进行分析和处理时，就一般地把视频也称
为视频流，或视频序列；进一步也称为视频图像。
 二、图像与视频图像的采集

1 、图像采集
单帧的图像采集过程称为摄影。传统上摄影也称为
照相。
摄影是指使用某种专门设备进行静态影像记录的过
程。
 二、图像与视频图像的采集

2 、视频采集
视频图像序列的采集过程称为摄像。

摄像是指利用摄像机（视频拍摄设备）进行连续动
态的影像记录过程。
 三、视频帧率

帧是组成视频的基本单位，一个视频是由很多连续
的图片（帧）组成的。
视频图像的帧速率（ Framerate ，也称为视频帧
率）是指一秒钟内录制的图片数量，或者说是指每秒所
显示的静止帧数量。
视频帧率是一种用于测量显示帧数的量度，单位为
每秒帧数 (Frames Per Second ， fps ）或“赫兹”（ H
z ）一般用于影视制作和电子游戏。
 三、视频帧率

对于电子游戏来说，帧速率是指每秒刷新图片的帧
数，也可以理解为图形处理器每秒钟能够刷新的次数。
要生成相对连贯的动画效果，帧速率一般不小于 8 fps 。

对视频和影片而言，帧速率指每秒所显示的静止帧
数量。电影的帧速率为 24fps 。
 四、视频图像的形式化定义

视频图像是一组随时间变化的图像序列，具有给定的或
假设的相对顺序，并能提供获取的相邻几幅图像的时间间隔
关系，一般可描述为：

或
其中：
N 为视频序列的总帧数， k 为帧列序号，
为获取第 i 帧图像的时刻。
相邻两帧图像获取的时间间隔为 。
 五、视频图像处理

视频图像处理是指将一系列的静态影像以电信号方式进行捕
捉、纪录、储存、处理，传送和重现的各种技术的总称。

一般意义上的视频图像处理更倾向于理解为：

通过把视频图像序列分离为相邻的一幅一幅的静态图像，进
而或利用传统的图像处理方法对单帧图像进行处理，或利用其相
邻帧间存在的相关性进行运动特征检测和进行运动特征分析，或
同时利用同一帧内相邻像素间的空间相关性和相邻帧间的时间相
关性进行视频图像压缩处理。
14.2 基于视频图像的运动目标检测与识别
 运动目标检测是指从序列图像
中将变化的区域从背景环境中分离
出来。
运动目标检测与识别是视频图
像最重要的应用之一。
 14.2.1 帧差法

帧差法也称为帧间差分法，是一种常用且最简单的
运动检测方法，其基本思路是 :
通过对视频序列中两帧（或多帧）图像进行差分运
算来提取运动目标的轮廓。
 14.2.1 帧差法

1. 算法原理
 14.2.1 帧差法

1. 算法原理
2. 利用帧差法进行目标检测的方法

连通性处理 : 因为帧差法对
于面积较大或颜色分布较为
均匀的运动目标，在两帧图
像相邻较近的情况下重叠部
分容易形成空洞，所以一般
要进行连通性处理。

运动目标轮廓提取（目标识别）：
经过以上的帧差、去燥和连通性
处理，就可得到图像序列中运动
目标的边界（而非整个运动物体，
因为许多情况下即使经过连通性
处理，空洞仍很难全部补上），
从而可确定图像序列中的目标物
体。
 14.2.1 帧差法

3. 相邻帧帧间差分法的优势和不足
优势：直接利用相距较近的两帧图像或利用相邻帧作为
背景来做差分，不需要背景积累和更新，程序复杂度低，且适
合于检测识别多目标。
不足：对环境噪声较为敏感，其检测效果过于依赖二值化
阈值的选择，若阈值过大则容易将图像中有意义的运动区域排
除掉，若阈值过小则容易引入过多的噪声。
并且对于面积较大、颜色分布较为均匀的运动目标，在
相邻帧的重叠部分容易形成空洞，无法准确提取运动区域。
 14.2.2 背景减法

背景减法是先按某种规则选取一帧图像作为背景图像，
通过用实时采集的观测图像帧与背景图像进行比较来分割运
动目标， 所以背景图像（背景模型）的提取是关键环节之
一。
由于受场景环境变化、光照、天气和外来因素的干
扰，需要定期、实时、或按某种规则对背景模型进行更新，
所以背景模型的更新策略也是背景减法的关键环节之一。
 14.2.2 背景减法

1. 算法原理
 14.2.2 背景减法

1. 算法原理
 14.2.2 背景减法

2. 背景建模方法
 14.2.2 背景减法

2. 背景建模方法
 14.2.2 背景减法

2. 背景建模方法
 14.2.2 背景减法

2. 背景建模方法
 14.2.2 背景减法

3. 背景模型更新
为什么要对背景模型进行更新呢？
当被被观测区域的场景环境发生变化，如光照、天气
和风的强度等，已建立好的背景模型可能不再适应变化了
的环境。
另外，若背景目标发生变化，如运动目标长时间保
持静止成为背景的一部分，此时如果不更新背景模型，就
有可能将背景点检测为运动点。
14.2.2 背景减法
 14.2.3 光流场分析法 { 自学，不做要求 }

光流场分析法是指利用图像灰度在时间上的变化
和表观运动及物体真实运动之间的关系，进行运动物
体检测的一种方法。
14.3 视频编码技术
 视频作为动态的图像信息，数据量巨大，
给存储器的存储容量、通信信道的带宽以及计算
机的处理速度带来了很多压力。
因此，在能保证一定重构质量的前提下，使
用尽量少的比特数来表示视频信息，也即对视频
原始数据进行压缩编码，就显得十分重要。
14.3.1 视频压缩编码的机理
14.3.1 视频压缩编码的机理
14.3.1 视频压缩编码的机理
14.3.1 视频压缩编码的机理
14.3.2 视频编码技术及编码标准

1 、视频编码技术的发展
2 、视频编码标准的发展
3 、视频编码标准 H.264/AVC
 14.3.3 混合视频编码框架

视频压缩是指通过对视频进行一系列的运算，把原始
的视频信息编码成码流的过程。
视频压缩过程由一对互补系统编码器和解码器实
现。首先编码器对原始视频进行压缩，把原始的视频信息
编码成规定的码流进行传输和存储；接着解码器把编码后
的码流还原成相应的视频信息，以满足应用的需求。
 14.3.3 混合视频编码框架

主流的视频编解码技术采用的是综合考虑预测编
码、变换编码和熵编码的传统混合视频编码框架。
当前帧 Fn 变换 量化 熵编码

帧间预测 ( 运动
估计、运动补 帧间
参考帧 Fn-1 偿)
反量化
帧间
帧内预测

残差
重建帧 Fn 滤波 反变换
14.3.4 面向混合视频编码框架的编码技术

1 、图像划分
2 、帧内预测
3 、帧间预测
4 、变换编码
5 、熵编码