基于背景差分法的运动目标检测

本 科 生 毕 业 论 文

题 目： 基于背景差分法的运动目标检测 院 系： 专 业： 学生姓名： 学 号： 指导教师： （职 称）

二〇一一 年 四 月

摘 要

视频监控在现代社会的安保系统中发挥了非常重要的作用。由于现代社会的复杂性，传统的那种由专门人员值守电视监控屏幕的视频监控系统已经无法满足现代社会安保的要求，于是智能视频监控技术应运而生。智能监控技术是基于计算机视觉的具有高度智能的自动化监控技术，其核心内容包括运动检测、目标分类、目标跟踪、行为识别四个方面。

本文针对运动目标检测这一方面进行探究。本文采用的检测方法为背景差分法，即从视频图像序列中将当前帧的图像与预先设定的背景图像做差分，则可得到运动目标的位置和大小等信息。之后对差分图像进行阈值化和形态学处理等操作，并判断此运动物体的大小。如果超过规定的范围，则认为出现了异常情况，将此运动目标加上红色矩形框显示出来，做出报警。

背景差分法计算复杂度适中，简单实用，易于实现。在本文的试验中，对视频中运动目标的检测取得了良好的效果，实验结果令人满意。

关键词：智能监控；运动检测；行为识别；背景差分

- i -

Abstract

Video surveillance in modern society plays a very important role in the security system. As the complexity of modern society, traditional video surveillance system which need specialized workers pay much attention on the television monitor screen has been unable to meet the security requirements of modern society, so intelligent video surveillance technology came into being. Intelligent monitoring technology based on computer vision is highly intelligent automated monitoring technology, and its core content, including motion detection, object classification, object tracking, behavior recognition four aspects.

In this paper, I intend to explore the area of moving target detection. Detection methods used in this paper is background subtraction, make difference from the current frame video sequence of images and the pre-set background image , then we can get the information of the moving target location and size. After thresholding and morphological processing operations on differential image, determine the size of the moving object. If it excess the prescribed range, think that the anomaly occurred, mark this moving target with a red rectangle and make alarm.

Background subtraction has moderate computational complexity, and is simple, practical, easy to implement. In this experiment, the moving object in video detection achieved good results, experimental results are satisfactory.

Keywords: Intelligent Monitoring；Motion Detection; Behavior Identity; Background Subtraction

- ii -

目 录

摘 要 .................................................................................................................................................................. I ABSTRACT .................................................................................................................................................... II 第一章

前言 .............................................................................................................................................. 1

1.1 课题的研究背景及其意义 ............................................................................................ 1 1.2 智能视频监控技术及其应用 ........................................................................................ 2 1.3 国内外研究现状 ............................................................................................................ 3 1.4 论文的主要内容和组织结构 ......................................................................................... 4

第二章

运动目标检测中的图像预处理技术 .......................................................................................... 5

2.1 2.2

彩色和灰度图像转换 ................................................................................................ 5 图像的去噪处理 ........................................................................................................ 6

2.2.1频域去噪方法 ......................................................................................................... 6 2.2.2时域去噪方法 ......................................................................................................... 6 2.2.3空间域去噪方法 ..................................................................................................... 7

2.3 2.4

第三章

图像的阈值化处理 .................................................................................................... 9 本章小结 .................................................................................................................. 10

运动目标检测的方法与分析 ................................................................................................ - 11 -

3.1 3.2 3.3 3.4

第四章

光流法.................................................................................................................. - 11 - 时域差分法 .......................................................................................................... - 12 - 背景差分法 .......................................................................................................... - 13 - 本章小结 .............................................................................................................. - 14 -

实验结果分析及改进 ............................................................................................................ - 15 -

4.1 4.2 4.3

实验环境介绍 ...................................................................................................... - 15 - 运动目标识别的流程 .......................................................................................... - 17 - 实验过程及结果分析 .......................................................................................... - 18 -

4.2.1图像的预处理 ................................................................................................... - 18 - 4.2.2运动目标的提取 ............................................................................................... - 20 - 4.2.3运动目标的识别 ............................................................................................... - 24 -

4.4

第五章

本章总结 .............................................................................................................. - 26 -

总结及展望 ............................................................................................................................ - 27 -

参考文献 ..................................................................................................................................................... - 28 - 致谢 .................................................................................................................................... 错误!未定义书签。

- iii -

第一章 前言

1.1 课题的研究背景及其意义

当今社会面临着各种各样的安全问题，日益增多的城市突发事件诸如恐怖袭击、骚乱和群体性事件严重影响着公共安全，尤其在一些人口密集的公共场所，维护社会的安全稳定是一项非常重要的任务，而视频监控系统在其中发挥了非常重要的作用。在日常生活中，视频监控系统有着十分广泛的应用，诸如政府机关、银行和博物馆的安保系统，还有在小区和十字路口等场所也发挥了重要的作用[1]。

现在的视频监控系统多是将各个监控点摄像头拍摄到的视频录像传输到监控室的电视监控屏幕上，由专门的工作人员对这些摄像头拍摄到录像进行观察、监视，人工判断是否有异常情况。这样的由人员监控的系统虽然基本上可以满足安保的要求，但是同时也存在着一些弊端 [2]：一方面，这种设备要求工作人员不停的监视屏幕，浪费时间和精力，而且随着日益增多的监控热点，需要监控的视频录像也随之增加，这就需要数量庞大的工作人员，工作量也不可避免的加大，而且长时间盯着监控屏幕难免会产生视觉疲劳，监控人员的警觉性就会降低，很有可能使其作出错误的判断；另一方面，现在的视频监控系统实时性不强，而且不具有预见性，无法做到当异常情况出现时，及时提醒安保人员采取相关安全措施，其所监控到得视频多作为事后查询用。

由于传统视频监控系统的这些不足，监控智能化也是一个必然的趋势。智能监控

[3]

基于计算机视觉，通过对摄像头采集到的视频图像序列进行分析以获取其中运动物

体的位置、速度、轨迹等信息，来实现对目标的定位、跟踪和识别，并在此基础上通过预先设定的程序分析和判断运动目标的行为，如果图像中出现鉴定为异常情况的情形，则及时作出报警提醒相关人员注意。

智能监控技术作为一种具有高度智能的自动化监控技术，拥有广阔的应用前景和巨大的实用价值。

- 1 -

1.2 智能视频监控技术及其应用

智能视频监控技术主要分为三个大类：

（1） 对人和物体的识别：即识别监控系统关心的内容，主要包括人脸识别、

车牌号识别、车辆类型识别、飞机识别、红绿灯识别等等[4]。

（2） 对运动轨迹的识别和处理：主要包括虚拟警戒区域入侵、自动跟踪、人群突然聚集、物体突然出现或消失等等。此类技术通常是对某个过程进行判断，若通过判断发现了异常情况，则立刻发出报警信息，提醒值班的监控人员注意相应热点区域。

（3） 对背景环境影响的判断和补偿[5]：背景环境的影响主要包括光照变化、恶劣天气条件、摄像头抖动等。智能监控技术能够克服不良环境条件的影响，实现在恶劣视频环境情况下较为正常的监控功能。

智能视频监控技术可以应用在家庭、国防、交通等生活中的各个方面,从功能上来说，其最主要的应用是实时报警。实时警报[6]，就是自动判断监控范围内发生的异常事件，及时发出警报提醒安保人员注意并采取相关安全措施。下面是智能监控技术一些典型的应用：

（1） 检测物体运动的方向，速度，活动范围等属性，如果超过规定的限度则发出

警报。

（2） 检测一些场合无人照看的遗留物体，由于近些年恐怖炸弹袭击事件时有发生，

所以公共场所的遗留物检测十分有必要。

（3） 检测是否有异常物体出现，比如高速路上对于行人的检测。

（4） 检测人群数量和人群密度，有些场合需要控制人群的数量和密度，当人的数

量或者人口密度超过一定限度则发出警报。

（5） 行为识别和检测，即检测人的行为并作出识别，判断是否为异常行为而后决

定是否发出警报。具体的应用为检测打架斗殴事件，或者偷窃事件。

- 2 -

1.3 国内外研究现状

智能视频监控系统具有广阔的应用前景和巨大的经济价值，因此激发了全世界科研人员的研究热情，各个科研机构都开展了对智能监控技术的研究与开发。国外智能监控方面的代表项目有1997年美国国防部设立的视觉监控重大项目VSAM[7]，美国IBM公司与马里兰大学联合开发的实时视觉监控系统W4[8]（What, Where, When, Who），以及美国的ARDA机构（Advanced Research & Development Activity，ARDA）在2003年开展的高级研究计划VACE（Video Analysis and Content Extraction）。这些监控系统不仅能够定位人和分割出人的身体部分，能够实现多人的跟踪，并可以做到自动理解物体的行为等等。

尤其在“911事件”之后，智能视频监控技术作为一种公共安全技术，得到全世界研究机构重视的同时也取得了突破性的进展，智能视频监控技术的理论研究在这个阶段突飞猛进。2006年较为成熟的市场化监控产品开始进入中国，我国对于智能视频监控技术的研究也由此得到了长足的发展。

从2006年至今的几年黄金发展期间，中国的智能视频监控产品经历了三个阶段：首先是国外品牌的大批涌入，这个阶段智能视频监控设备在市场认知度还比较低，价格昂贵，应用主要以政府军队项目为主；其次是中国的监控厂商与国外品牌的合作阶段，合作的模式多种多样，有OV引导的合作开发模式，也有IOIMAGE，MATE等引导代理模式；最后是从2008年至今的这个时期，国内自主开发的智能视频产品如雨后春笋般的出现，虽然相比国外智能视频监控的产品还有一定的差距，但是对于国内智能视频监控技术的研究与发展具有极大的推动作用。

国内智能视频监控方面代表性的产品有黄金眼、行者猫王、数字硬盘录像系统等，具体应用于交通控制和监狱管理等方面，并且可以将监控区域内有运动对象出现的情况录制下来，以备查询。技术方面，中国科学院自动化研究所模式识别国家重点实验室对交通场景的视觉监控采用了基于三维线性模型定位和扩展卡尔曼滤波器的技术，对人的运动视觉监控采用了基于步态的远距离身份识别技术，这些均对运动检测和目标跟踪算法进行了深入研究与实践。

总体来说，国内针对智能视频的研究起步相对比较晚，技术还不够成熟，生产出的产品尚不能达到高智能化、自动化的要求。不过值得欣慰的是由于国内各研究机构

- 3 -

和监控厂商的努力，安防监控项目中越来越多地出现了智能视频监控系统的身影，并且反过来也促进了智能视频检测技术的发展。智能视频监控系统代表了监控行业未来的发展方向，具有广阔的发展前景，随着科技进步和社会经济的发展，对监控系统的准确性、有效性和方便性也提出了更高要求[9]。

1.4 论文的主要内容和组织结构

本文对智能视频监控系统中的运动目标检测进行了初步的探究。首先阐述了智能视频监控系统的发展历史与现状，分析了智能监控系统应用前景。然后介绍了几种图像预处理的方法和比较常用的运动检测方法。最后选定背景差分法来检测视频中的运动物体，具体即为从视频图像序列中将当前帧的图像与预先设定的背景图像做差分，则可得到运动目标的位置和大小等信息。之后对差分图像进行阈值化和形态学处理等操作，并判断此运动物体的大小，如果超过规定的范围，则认为出现了异常情况，将此运动目标加上红色矩形框显示出来，做出报警。在本文的试验中，对视频中运动目标的检测取得了良好的效果，实验结果令人满意。

第一章 绪论。阐述了选题的背景和意义和国内外研究现状，同时着重分析了智能监

控系统的应用前景和发展趋势。

第二章 相关理论介绍。这一部分主要介绍了运动目标检测中常用到的若干图像处理

的技术，本文采用的图像预处理技术有灰度化处理和用中值滤波的方法来去除噪声。

第三章 运动目标检测技术。这一部分介绍了运动目标识别所采用的方法——背景差

分法。运动目标检测的常用方法主要有背景差分法、时域差分法和光流分析法。在综合比较这三种方法之后，本文决定采用背景差分法来实现运动检测。

第四章 实验及结果分析。基于Windows操作系统和MATLAB软件平台进行实验仿

真。背景差分法可以直接得到运动对象的位置、大小、形状等信息，实验仿真的结果表明，该方法简单实用，易于实现。同时简要地介绍了运动目标识别流程。

第五章 结论与展望。总结本文的工作，提出本文的缺陷不足以及改进的方向。

- 4 -

第二章 运动目标检测中的图像预处理技术

图像的预处理技术主要包括灰度化处理、图像去噪和阈值化等操作，是图像工程里面的基础步骤。图像的分析、理解和识别等高层操作都基于图像预处理后的结果。在视频监控中，图像预处理操作非常有必要，不仅可以有效的消除图像噪声，改善图像质量使之更为清晰，而且为后续的操作诸如目标识别的正确性和目标跟踪的及时性、准确性提供了一定的保证。

2.1 彩色和灰度图像转换

对于计算机来说，由于黑白图像所含的信息量较小，所以黑白图像比彩色图像更易分辨，采用灰度图像处理，可以大大减少图像处理过程中所需要的内存和空间，减少需要处理的数据，故可以提高处理速度，易于满足系统实时性的要求。

常用的灰度化处理方法有三种方法：最大值法、平均值法和加权平均值法。 （1）最大值法：取R，G，B分量的最大值为灰度值，即：

R=G=B=max（R，G，B） （2.1） 应用最大值法会形成亮度很高的灰度图像。

（2）平均值法：取R，G，B分量的平均值为灰度值，即：

R=G=B=（R+G+B）/3 （2.2） 应用平均值法会形成比较柔和的灰度图像。

（3）加权平均值法：根据重要性或其他指标给R，G，B赋予不同的权值，并使R，G，B的值加权平均[10]，即：

R=G=B=（WRR+WGG+WBB）/3 （2.3）

其中WR、WG、WB分别为R、G、B的权值。根据相关调查显示人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，因此使WG >WR>WB将得到较合理的灰度图像。通过实验和理论推导证明，当WR =0.03，WG=0.59，WB=0.11时，即当Vgray=0.30R+0.59G+0.11B时，能得到最适合人眼观察的图像。

- 5 -

2.2 图像的去噪处理

由于拍摄设备和数据传输通道的局限性，获取的视频图像序列必然会被加入大量的噪声，造成图像退化影响图像质量和视觉效果，此时如果直接对未去噪的图像进行差分操作的话会直接影响后面的目标提取和识别。因此对视频图像序列进行去噪处理是一项非常有必要的工作。

为了去除噪声改善图像质量，应当使用滤波技术对图像进行处理。一般的滤波技术包括频域滤波法，时域滤波法和空间域滤波法。在滤波过程中，应当注意保护图像的细节信息和边缘信息。

2.2.1频域去噪方法

图像的频域去噪方法顾名思义，是在频域中进行的，即对图像进行傅立叶变换后，一般来说噪声频谱位于高频段，而图像本身的频谱则处于低频段，因此可以使用低通滤波的方法，抑制高频分量而让低频分量通过，从而实现图像的平滑去噪。其数学表达式为：

G(u,v)=H(u,v)F(u,v) （2.4）

式中G(u,v)是去噪后图像的傅立叶变换，H(u,v)是滤波器的转移函数，F(u,v)是图像的傅立叶变换。

2.2.2时域去噪方法

如果仅对某一帧的图像进行处理，所得到的结果必然有局限性。在一些运动缓慢的视频中，前后数帧的图像时间关联性很强，所以采用一些常规的算法也可以达到时域降噪的目的。

基于时域多帧降噪处理的方法是数字视频图像处理技术中常用的方法。对于拍摄到的静止景物的视频图像序列来说，多帧平均法不仅简单易行，而且对提高信噪比，改善图像质量有很明显的效果。如果图像序列加入的是互不相关且均值为零的随机加性噪声，在这样的条件下，对一处静止的景物连拍N张照片，若对这N张照片进行平均处理，则可将信噪功率比提高N倍。

- 6 -

但是这种简单的平均对于有运动物体的图像来说就不适合了，因为会产生拖尾现象，也称为残像。于是可以根据图像运动程度的不同，采用不同的策略来实现不同的降噪性能：即实现对图像静止不动的部分的有效降噪，对运动部分只好以牺牲降噪性能减小拖尾现象的严重程度。可以据此设想，如果根据两幅图像内容位移的相对关系作运动估计的话，就可以使两帧图像的内容更加接近，那么其结果就能得到较好的降噪效果而且同时又不会产生严重的拖尾现象。

2.2.3空间域去噪方法

局部平均法是在空间域上直接进行平滑处理的数字图像处理技术。在这类方法中，图像被认为是由许多灰度恒定的小块组成，相邻像素间存在很高的空间相关性，而噪声则是统计独立的[11]。因此，可用像素邻域内的各像素灰度的平均值代替该像素点原来的像素值，实现图像的去噪。其中常用的是均值滤波器和中值滤波器。 （1） 均值滤波器

均值滤波器的基本思想是用一个像素点周围的几个像素点灰度值的平均值来替代这个像素点的灰度值，它是一种线性的去噪处理方法。计算公式为：

（2.5）

式中，S为(x,y)点领域中坐标的集合，不包含其本身，其中N为集合内的点数。

均值滤波器运算简单，耗时短，同时又可以有效的去除高斯噪声，因此有较广的适用面，是一种常用的消除噪声的方法，许多滤除噪声的方法都是基于均值滤波器的。但是也有着不容忽视的缺点，即易造成图像模糊，丢失边缘等细节信息。 （2） 中值滤波器

中值滤波器是一种非线性的空间滤波器，它的响应基于掩膜包围的图像区域中像素的排序，然后由统计结果决定的值代替中心像素的值，所以它是一种统计滤波器。中值滤波器不仅对脉冲干扰和椒盐噪声有比较好的滤除效果，而且还在抑制随机噪声的同时能使边缘减少被模糊的程度。其计算公式为：

g(x,y)=med{f(x-k,y-l),(k,l∈W)} （2.6）

其中,f(x,y)，g(x,y)分别为原始图像和处理后图像。

- 7 -

中值滤波算法其实质是对每个窗口内的像素进行排序以求其中值，采用一个含有奇数个点的滑动窗口（模板），用窗口中各像素点灰度值的中值代替指定点（一般是窗口的中心点）的灰度值。

中值滤波的实现过程如下（这里以3X3的模板为例）：

1、 建立一个3X3的窗口，并用该窗口在图像上按先行后列的顺序逐次滑动； 2、 每次移动后对窗口内各点的灰度值进行排序； 3、 用排序所得的中值代替窗口中心位置的原始值；

4、 按从左到右，从上到下的顺序滑动窗口，重复2，3步骤直到遍历所有的图像数据。

中值滤波示意图如下：

A D G

滑动方向

图2.1 中值滤波示意图 （3） 滤波方法的比较

B E H C F I

(a) 被噪声污染的图像

- 8 -

图2.2 均值滤波和中值滤波效果的比较

(b) 均值滤波后的图像 (c) 中值滤波后的图像

通过上图可以看出，中值滤波的处理效果相比均值滤波后的效果更好一些。中值滤波不仅有效的滤除了噪声污染，并且很好的保存了图像的边缘等细节信息。

中值滤波与均值滤波相比较，有以下优点： (1) 滤除噪声的效果比较明显。

(2) 在灰度变化比较小的情况下图像可以得到很好的平滑处理。 (3) 降低了图像边界的模糊程度，滤波后图像中的轮廓比较清晰。

因此本文采用中值滤波的方法对采集到的图像进行消除噪声处理。

2.3 图像的阈值化处理

图像的二值化处理是一种常用的阈值化处理方法，即选择一个合适的阈值，将图像转化成为黑白二值图像，常常用于图像边缘特征的提取和轮廓的识别。图像阈值化处理的一般变换函数表达式为：

0 f(x,y) ＜ T

f(x,y)= (2.7)

255 f(x,y) ≥ T

式中T为阈值，根据图像的信息自行选取，也可以根据自适应的方法求出。 图像的阈值化处理是一种非线性运算，它将图像中灰度值小于阈值T的像素的灰

- 9 -

度值全部置为0，反之则置为255。阈值化的效果直接取决于阈值的选择，阈值选择是否恰当直接关系到后续图像处理的结果，直接影响图像描述、分析、理解和识别的正确性。对于那些目标区域和背景区域灰度相差很大的图像，其直方图一般具有双峰一谷的特征，这个时候就可以讲其谷底的灰度值设定为阈值。但是在大多数图像中，目标区域的灰度和背景区域的灰度并不会相差很多，甚至有的非常接近，这个时候就很难用一个统一的阈值来进行分割。所以要具体问题具体分析，实际处理图像时可以将图像分成若干子区域分别选择阈值，或者动态的根据一定邻域范围选择每点处的阈值来进行处理。

2.4 本章小结

本章主要阐述了视频图像预处理的必要性，图像预处理能有效地消除噪声，改善图像质量，使图像清晰化。中值滤波是一种非线性滤波方法，它不但对图像噪声消除非常有效，而且能够较好地保护图像边缘信息，所以本文决定首先用中值滤波来对获取的视频图像进行去噪处理，而后对图像进行阈值化，为下一步对图像进行差分、比较，从而实现运动目标的检测提供了良好的基础

- 10 -

第三章 运动目标检测的方法与分析

运动目标检测是将运动的像素点和静止的像素点分离出来，从而实现将运动目标从背景中提取出来。运动目标检测在动态图像分析与理解系统中有着非常重要的作用，目标跟踪、目标分类、模式识别等计算机视觉方面的应用都是基于运动目标检测的。运动目标检测面临的问题和主要的影响因素有：不同角度下物体位置形状的变化，光照条件的变化，物体的阴影，物体间的相互遮挡等等。运动检测多种不同的算法，而在相同的环境下不同的运动检测算法各有其优缺点，所以通过比较来明确每个算法的特点以及它们的使用环境对于下一步在实际应用中选择合适的方法做检测是十分必要的。传统的运动目标的检测有三种方法：光流法、时域差分法、背景差分法，其中时域差分法又分为两帧差分法和三帧差分法。下面主要介绍三种传统的运动检测方法并作出对比。

3.1 光流法

光流法最初是由Horn和Schunck在1981年提出的[12]，是一种基于灰度梯度基本不变或着亮度恒定的约束假设条件的对运动目标进行检测的有效方法。所谓光流是指图像中灰度模式运动的速度，它是景物中可见点的三维速度矢量在成像平面上的投影，表示了景物表面点在图像中位置的瞬时变化。一般可以认为光流场与运动场没有区别，可以根据光流场中的图像变化来估计相对运动。

基于光流法的运动检测原理是根据运动目标随时间变化的光流特性，把通过光流计算所得到的运动量作为识别特征来判断是否有运动目标。光流法可以检测独立运动的对象，无需预先知道场景的任何信息，适用于静止背景和运动背景两种环境，因此可用于摄像机运动的情况，对背景的变化有较好的适应性。但是光流法也存在着一些问题：当运动目标与背景图像的灰度太接近，或图像存在噪音时，如果简单的从图像灰度出发来探测目标的光流场方法会导致很多的错误判断，而且光流法需要很大的计算量，需要有特殊的硬件设备支持，因此也不适合实时监测。

目前光流法在航天、医学等高端领域得到了初步的应用，但是如何进一步提

- 11 -

高其运算速度、抗噪性和实时性，仍是需要解决的问题。

3.2 时域差分法

比较常用的时域差分法有两种：两帧差分法和三帧差分法。

两帧差分法是对图像序列中的相邻帧采用基于像素点的时间差分[13]，然后对差分结果进行阈值化来提取运动区域的方法。由于视频图像序列的场景具有时间连续性，因此如果在环境亮度变化不大的情况下，相邻帧的差分值很小，甚至可以忽略不计：但是如果有运动物体出现的话，则会出现明显的差值。设在t时刻和t-1时刻采集的两幅图像用f(x,y,t)和f(x,y,t-1)表示，则

1 if |f(x,y,t)-f(x,y,t-1)|>T

dt(x,y)= (3.1)

0 else

其中T为选取的阈值，dt(x,y)表示对差分值进行阈值化的结果。dt(x,y)中为1的像素点对应两图像中发生变化的区域，即由目标物体在两帧图像中的相对运动所产生的，为0的点则是没有发生变化的区域。

两帧差分法算法简单易于实现，受环境光照变化影响较小，有较强的适应性，所以得到了比较广泛的应用。然而两帧差分法并不能完全提取运动目标的所有像素点，而且在运动物体内部易形成空洞，会在运动方向上会形成拉伸，包含了由于运动而引起的背景显露部分，所以两帧差分法对运动目标的检测也不是很准确。

三帧差分法是改进后的两帧差分法，基本的思想与两帧差分法类似，但是在检测运动目标的判断条件上有所不同。首先，采集视频图像序列中相邻的三帧图像F(x,y,t-1)、F(x,y,t)、F(x,y,t+1)，然后对前两帧和后两帧分别做差分并进行阈值化，得到两个差分图像Diff1，Diff2，最后将得到的两个差分结果Diff1，Diff2的二值掩膜相乘，得到最终的差分结果Diff，即可认为将目标从背景中提取出来。三帧差分法比两帧差分法提取的运动目标更为精确。

- 12 -

三帧差分过程示意图如下：

F(t-1) | F(t)-F(t-1) | Diff1 Diff1&Diff2

F(t) Diff Diff2 | F(t+1)-F(t) | F(t+1) 图3.1 三帧差分法提取运动目标的过程示意图

3.3 背景差分法

背景差分法的基本原理是：先确定一个作为参考的背景图像，然后将当前帧与背景帧相减，得到差分图像，接着用阈值 T判断得到当前时刻图像中与背景模型灰度值相差较大的点，若差分值大于T则认为是目标，并令该点为1；反之，认为是背景点，使该点为0，从而分割出运动目标。函数表达式如下：

1 if |f(x,y,t)-b(x,y)|>T

dt(x,y)= (3.2)

0

背景差分法可以完整准确的分割出运动目标，提取运动物体的信息，这是它的一大优点，但是同时背景差分法也有诸多的限制，比如对环境的变化非常敏感，另外背景图像的选取也十分关键，直接关系到差分结果的准确性。背景差分法中有两个问题需要解决：

（1）背景图像的获取：背景图像获取应当是在完全静止，没有任何运动物体的情况下进行的，而在有些实际情况中想得到一副完全静止的背景图像是很难办到的。环境条件的不断变化是一个不容忽视的因素，比如光照的变化，摄像机得抖动等等。

- 13 -

else

（2）背景图像的更新：背景差分法只适用于室内等外界条件比较理想的场合，而在长时间的监控中监控点的背景不可能一成不变，所以需要在一段时间内更新背景图像，以适应环境的变化[14]。

一般来说，实现背景差分法大致分为三个步骤： 第一步，获取监控点的理想背景图像；

第二步，将当前图像和背景图像作差分，然后设置合理的阈值，对差分后的结果进行二值化处理，从而得到运动的目标。

第三步，周期性的对背景图像进行更新以适应动态背景的变化。

3.4 本章小结

方法 所得信息 光流分析法 运动对象位置、大小、形状等信息 适用范围 复杂度 摄像头固定、运动 大 摄像头固定 小 时域差分法 运动对象边界信息 背景差分法 运动对象位置、大小、形状等信息 摄像头固定 中 表 3.1 三种运动检测方法的分析比较

通过对以上三种方法的比较，可以看出背景差分法能够直接得到运动对象的位置、大小、形状等信息，并且背景差分法计算复杂度适中，相对来说可以准确完整的提取运动目标的信息。因此本文采用背景差分法来实现运动目标的识别。

- 14 -

第四章 实验结果分析及改进

本章对基于背景差分法的运动目标检测在MATLAB中进行了实现，根据实验的结果进行分析并做出改进。本研究方法需要用到的MATLAB图像处理工具箱中定义的函数主要有：

（1） 图像代数运算 本方法用于提取运动目标，主要用到差函数 imsubtract( )

和imabsdiff( )两个图像算术函数，其中后者是用于做差后取绝对值； （2） 图像格式转换 im2bw( )函数，将图像转换成二值图像：

（3） 形态学图像处理 常用的形态学处理有膨胀、腐蚀、开运算和闭运算，

他们表示形式分别为：imdilate，imerode，imopen，imclose； （4） 对二值化图像的操作 bwlabel( )

4.1 实验环境介绍

运动目标检测的仿真实验基于Windows7操作系统和MATLAB软件平台[15]。MATLAB即矩阵实验室（Matrix Laboratory），是由美国MathWorks公司开发的数学软件，可用于数值计算、数据分析、算法开发、数据可视化等高级计算语言和交互式环境。

MATLAB拥有诸多强大的功能，诸如数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等，并将之集成在一个易于使用的视窗环境中，为科学研究、工程设计等众多科学领域提供了一种全面的解决方案。MATLAB在很大程度上摆脱了传统程序设计语言（如C语言）的编辑模式，代表了当今国际科学计算软件的先进水平，为软件开发提供了很大的方便，它的数值方面的计算在科技类软件中首屈一指。MATLAB的功能有矩阵运算、绘制函数图象、创建用户界面、连接其他编程语言的程序等，可以应用在工程计算、信号检测与处理、控制设计、通信领域、金融设计分析、数字图像处理等领域。

MATLAB数学运算的基本单位是矩阵，其指令表达式与工程中常用的形式十分相似，所以使用MATLAB来计算问题要比用C，FORTRAN等语言完成相

- 15 -

同的事情简捷得多，并且MATLAB也吸收了像Maple等软件的优点,使MATLAB成为一个强大的数学软件。而且在新的MATLAB版本中支持C，FORTRAN，C++ ，JAVA等传统语言，MATLAB可以直接调用这些语言中的函数。用户也可以将自己编写的实用程序导入到MATLAB函数库中方便自己以后调用，此外许多的MATLAB爱好者都编写了一些经典的程序，用户可以直接进行下载就可以用。

MATLAB具有的优势有：

（1） 具有友好的工作平台和简洁易用的编程环境，界面设计更加人性化，

极大的方便了程序的编译工作。

（2） 编程语言更加简单，且具有很强的拓展性和移植性，符合科技人员对

数学表达式的书写格式，被广泛的应用在各种科技开发和工程领域中。

（3） 具有强大的数据处理能力，包含大量算法集合，涉及到600多个工程

中的数学运算函数，可以方便的实现用户所需的各种计算功能，而且MATLAB中函数所使用的算法经过了各种优化和容错处理，对科研人员提供了极大的帮助。

（4） 具有方便的数据可视化功能，图形处理方面非常强大，可以将向量和

矩阵用图形表现出来，并且可以方便的对图形进行标注和打印。

（5） 针对许多专门的工程应用领域都开发了工具箱。这些模块集和工具箱

都是有专门领域的科研人员编写，用户需要时即可直接调用，方便快捷。

（6） 拥有实用的程序接口和发布平台，可利用MATLAB编译器和C/C++数

学库和图形库，将MATLAB程序自动转换为C和C++的代码，并且允许用户编写可以和MATLAB进行交互的C或C++语言程序。

（7） 可以方便快捷的控制多个文件和图形窗口，编写程序更为得心应手。

在编程方面支持函数的嵌套、条件中断等，在图形化方面，有了更强大的图形标注和处理功能，包括对性对起连接注释等；在输入输出方面，可以直接向Excel和HDF5进行连接。

- 16 -

4.2 运动目标识别的流程

本文采用的运动目标识别方法是背景差分法。背景差分法是利用当前图像与背景图像做差分来检测运动区域的一种技术，即通过T时刻的图像与背景图像进行比较的方法提取图像的变化，来判断是否出现运动物体。这种方法在视频监控系统中是一种简单有效易于实现的运动目标识别方法。

背景差分法的结构框图如下所示：

Y 判别异常 Y N

图4.12 基于背景差分法的运动目标检测流程图

- 17 -

获取当前帧 中值滤波 差值图像 图像阈值化 形态学处理 提取目标信息 标记运动物体以示警报 获取下一帧 如上图所示，实现运动目标识别可以归纳为下列四个步骤：

第一步，从摄像机中获取视频图像序列，并选取理想条件下无运动物体时的图像作为背景图像。

第二步，将获得的视频图像进行滤波处理，然后将当前帧图像与背景图像进行差分，获得差值图像。

第三步，选取阈值，将差值图像阈值化并进行形态学滤波。

第四步，提取运动目标信息并判断异常。计算出在当前图像中出现的偏离背景模型的像素个数，当检测出的物体的像素个数大于系统设定值时，就将此运动物体加红色矩形框标记出来报警。

另外，还要周期性的更新背景图像以适应动态场景的变化。

4.3 实验过程及结果分析

4.2.1图像的预处理

首先将视频通过MATLAB程序转换为图像序列，然后将得到的彩色图像序列转换为灰度图像并对其进行中值滤波操作。

采集到的背景图像和有运动目标图像如图4.1(a)和4.1(b)所示：

(a)原始背景图像 (b)原始目标图像

图4.1 采集到的图像

- 18 -

进行灰度化处理的结果如图4.2(a)和4.2(b)所示：

(a)背景灰度图 (b)目标图像灰度图

图4.2 灰度化处理的结果

接下来对得到的灰度图像实施去噪处理，即进行中值滤波，得到的图像如下：

(a) 背景图像 (b)目标图像

图4.3 对图像进行中值滤波的结果

里采用的是3X3的窗口对图像进行平滑处理。可以看到经过中值滤波处理后，图像变得更为平滑，这对于消除脉冲干扰和图像扫描噪声很有效。

- 19 -

4.2.2运动目标的提取

下面对经过中值滤波的背景图像4.3(a)和目标图像4.3(b)进行差分运算，得到结果如图4.4所示：

图4.4 差分处理结果

随后对得到的差分结果进行阈值化。图像阈值化的目的是按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域布局有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。而全局阈值法[16]是指分割过程中对图像上每个像素所使用的阈值都相等，其程序如下所示：

I = imread（'diff.jpg'）; %diff.jpg为差分后的图像 level = graythresh（I）; BW = im2bw（I,level）; figure, imshow（BW）

程序中的level是归一化的阈值，取值在[0，1]之间。

- 20 -

利用全局阈值法对差分图像进行处理，运行命令level = graythresh(I)得到的level=0.4980，图像的阈值化结果如图4.5所示：

图4.5 全局阈值化的处理结果

由上图可以看出，全局阈值化并不能很好的将目标物体区分出来，归结于阈值选择不适当。于是将差分后的图像4.4转化为直方图，从而可以更好的分析阈值分布情况。其直方图如下所示：

图4.6 差分图像的直方图

- 21 -

根据直方图重新选定阈值level，然后对差分图像进行阈值化，通过不断的试验得到最佳的检测结果。试验结果见下图：

(a) 当level=0.10时的阈值图 (b) 当level=0.12时的阈值图

(c) 当level=0.14时的阈值图 (d) 当level=0.16时的阈值图

(e) 当level=0.18时的阈值图 (f) 当level=0.20时的阈值图 图4.7 选择不同阈值时的差分图像阈值化结果

可以看到当选择阈值为0.20时可以得到最佳的处理效果，运动物体可以从背景中清晰的分割出来。

由阈值化的结果可以看到，目标图像虽然被检测了出来，但是被分割开了，所以用闭操作对阈值化的结果进行处理，将被分割的部分连接起来。闭操作在

- 22 -

MATLAB里面的命令为imclose()。闭操作的结果如下：

图4.8 对阈值化图像进行闭操作的结果

通过标记函数bwlabel对提取出来的目标进行标记，确定图像中的对象个数： [labeled,numObjects]=bwlabel(bw,4); %确定图像中的米粒个数

numObjects = 28

接下来利用逻辑操作，将经过闭操作之后的二值图像与原目标图像的灰度图像相乘，则提取出灰度图像下的运动物体。见下图：

图4.9 灰度图像下的运动物体提取结果

- 23 -

通过图像矩阵的逻辑操作将上图的背景转换为白色，得到的最终提取出来的运动目标如下：

4.10 从目标灰度图中提取出来的运动目标

4.2.3运动目标的识别

运动目标的识别是通过判断阈值化的差分图像（如图4.8）的米粒个数实现的。在MATLAB中使用图像处理函数bwlabel对二值图像连通物体标记，判断分割出来的运动物体的面积。预先设定一个值，当用bwlabel函数得到的标记物体面积大于设定值时则认为当前帧出现了运动目标。这样的话就可以排除一些背景环境的微小变化或者微小无关物体的干扰。

当判断有运动物体时，使用MATLAB中的函数regionprops和rectangle对物体进行标示，即用一个红色矩形框加在运动目标上面，进行报警。

- 24 -

下面将通过上述步骤得到的红色矩形框加到此帧的原始图像上面：

图4.11 原始帧图像中运动物体的标定

至此则完成了对监控视频中运动目标的检测。

然而此算法有时也会出现漏检或者检测到非运动物体的情形。一种情况是当运动目标处于环境中某个区域，运动物体的灰度值和背景图像该区域的灰度值相差比较小的时候，则这部分的运动物体则可能会被忽略掉。

图4.12 运动目标被漏检的情形

- 25 -

由上图可以看出，由于该运动中部的灰度值与背景相差不大时，这部分会被当做背景从而被忽略掉，导致运动目标整体被分裂为两个部分。这也是背景差分法的局限之一。

还有一种情况是当环境发生变化的时候，如光照强度的变化，变化后的某个背景区域灰度值与设定的原背区域的灰度值的差超过了阈值，则该区域也会被认为是运动目标，从而出现误检的情况。

图4.13 非运动目标被误检的情形

进过实验验证，总体来说此算法对于运动目标的检测还是比较准确的，实验取得了良好的效果。虽然有时会出现一些漏检或者误检的情况，但是绝大多数情况下能够很好的将运动目标检测并标记出来，其总体效果令人满意。

4.4 本章总结

本章基于Windows操作系统和MATLAB软件平台进行实验仿真，通过背景差分法对视频中的运动物体进行检测并取得了很好的效果，准确完整的将运动目标的信息提取出来并做了标记。可以看出，背景差分法计算复杂度适中，简单实用，易于实现。

- 26 -

第五章 总结及展望

智能视频监控技术作为数字图像处理与计算机视觉领域中一个涉及多学科的研究前沿，具有非常重要的科学意义和广阔的应用前景。本文对智能视频监控系统中的运动目标检测进行了初步的探究。首先阐述了智能视频监控系统的发展历史与现状，分析了智能监控系统应用前景。之后针对运动目标检测，说明了视频图像预处理的必要性，图像的预处理可以有效地消除噪声，改善图像质量，使图像清晰且易于计算机识别，因此对运动目标识别的正确性提供了一定的保证。噪声处理算法采用了中值滤波的方法，中值滤波是一种非线性滤波方法，它不但对图像噪声消除非常有效，而且能够较好地保护图像边缘信息，因此本文用它来对视频图像进行预处理，并且取得了理想的效果，为目标的检测提供了良好的基础。在分析和比较了几种常用的运动目标检测的方法之后，选用了背景差分法，因为这个方法可以直接得到运动对象的位置、大小、形状等信息，能够完整准确地提取运动目标的信息，简单实用，易于实现，因此本文采用背景差分法来实现运动目标的识别，并取得了比较理想的效果。

由于智能视频监控系统有很广泛的应用前景和经济价值，所以智能视频监控技术是一个很热门的研究课题。如何使得智能视频监控系统具有更好的准确性和实时性，是一个需要研究的方向。该领域所涉及的研究内容十分广泛，而本文距离一个完善的运动检测系统的要求还有比较大差距。本文尚存在一些不足之处有待改进：

（1） 如何在复杂环境下实现运动目标的智能识别，还是一个有待解决的问

题。

（2） 如何排除背景环境变化的影响也是一个需要深入研究的问题。 （3） 当运动物体的颜色和背景相近时，经过差分处理运动物体就有可能被

忽略。针对这个问题一种可行的方法就是采用双摄像头对物体进行立体跟踪，从而提取出运动物体区域。

（4） 阴影的检测与去除也有待研究。

- 27 -

参考文献

【1】 郑南宁，计算机视觉与模式识别[M]. 北京：国防工业出版社，1998. 【2】 王栓，艾海舟，何克忠. 基于差分图象的多运动目标的检测与跟踪[J].

《中国图象图形学报》，1999，4（6）：470-475.

【3】 张噪礼，赵春晖，梅晓丹.现代图像处理技术及MATLAB实现[M]. 北

京：人民大学出版社，2001.

【4】 夏永泉，李卫丽，干甘勇，张素智.智能视频监控中的运动目标检测技

术研究[J]，《通信技术》，2009，42（6）：185-187.

【5】 任明武，移动目标检测和视频跟踪系统[J]，《智能建筑论坛》，2004.6. 【6】 王素玉，沈兰荪. 智能视觉监控技术研究进展[J]，《中国图形图像学报》，

2007,12（9）：1505-1514.

【7】 Collins,A System for Video Surveillance and Monitoring:VSAM Final

Report, Carnegie Mellon University,Technical Report,2000.

【8】 Ismail Haritaoglu, A RealTime System for Detecting and Tracking of

People and Recognizing Their Activities,Computer Vision Laboratory University of Maryland CollegePark, 2000.

【9】 章毓晋.图象图形科学丛书----图像分割.北京：科学出版社，2001 【10】何东健. 数字图像处理. 西安：西安电子科技大学出版社，2003.17-33 【11】贾云得. 机器视觉[M]. 北京：科学出版社，2000

【12】SukHwan Lim EI Gamal，A.Optical flow estimation using high frame rate

sequences. Image Processing, 2001. Proceedings[C]. 2001 International Conference on Publication Date:2001,2(10):925-928

【13】Texas Instruments Incoporated. Video Back ground/Foreground Detection

Implementation on TMS320C64x+DSP[EB/OL] ,2007.6:4-6

【14】楼晓燕. 智能监控系统若干关键技术的研究和实现[D]. 浙江：浙江工业

大学，2005

【15】浏览.MATLAB百度百科[EB/OL]. 2011

http://baike.baidu.com/view/10598.htm

【16】刘平. 图像分割阈值选取技术综述[R]. 中科院成都计算所，2004

- 28 -