视频图像去雨算法的比较研究

河南科技

HenanScienceandTechnology

信息技术

视频图像去雨算法的比较研究

牛金星蒋亚杰

（华北水利水电大学，河南

郑州450045）

摘要：雨天会严重损害获取的视频图像质量，因此检测和去除视频图像中的雨滴对图像的复原有着重要意

义。本文提出了一种单高斯背景差分法，通过实时更新背景图像实现去除雨滴的目的，并与帧间差分法原理进行了分析对比。利用MATLAB软件进行仿真实验，从客观和主观两个角度对两种算法进行对比分析，得出单高斯背景差分法相对于帧间差分法处理效果更好，应用范围更广。关键词：高斯模型；帧间差分法；雨滴；背景差分中图分类号：TP751.1

文献标识码：A

文章编号：1003-5168（2019）04-0026-03

ComparativeStudyonVideoImageRainfallAlgorithm

（NorthChinaUniversityofWaterResourcesandElectricPower，ZhengzhouHenan450045）

NIUJinxingJINGYajie

Abstract:Rainyweathercanseriouslydamagethequalityoftheacquiredvideoimage,sodetectingandremoving

raindropsfromthevideoimageisimportantforimagerestoration.Inthispaper,asingleGaussianbackgrounddiffer⁃encemethodwasproposed.ThealgorithmachievesthepurposeofremovingraindropsbyupdatingthebackgroundingMATLABsoftwaretocarryoutsimulationexperiments,thetwoalgorithmswerecomparedandanalyzedfromboththaninter-framesubtractionmethodandhadawiderapplicationrange.

objectiveandsubjectiveperspectives.ItwasconcludedthatsingleGaussbackgroundsubtractionmethodwasbetterKeywords:Gaussmodel；interframedifferencemethod；raindrop；imagefusion视频监控系统已广泛应用于交通、金融、环保以及社区生活等各个领域，但是降雨等天气状况往往导致监控图像质量下降而影响监控系统性能，且不利于后续目标跟踪、识别等算法施行。视频中，雨滴与背景混杂在一起，使得图像退化具有不确定性，也导致在处理过程中引入了很多不可控因素。目前，很多国内外大学和研究所对其进行了深入探讨。

2004年，Garg等人研究了雨滴的各种特性，包括雨滴

况。2008年，国内的赵旭东在K-means聚类法的基础上，完善了参数部分，一定程度上弥补了先前聚类法的不足，但仍然有缺陷。鉴于此，本文提出了一种单高斯［1］背景差分法，优化之前算法的不足，使得雨滴视频图像更加清晰，处理效果明显。

11.1

雨滴的检测和去除方法单高斯背景差分法

imageinrealtime,andcarriesouttheprincipleanalysistogetherwiththeinterframedifferencemethod.Finally,us⁃

大小、形状以及亮度特性等，发现雨滴经过图像时，在对实际环境中，随着时间的推移，背景图像不断变化。引起背景变化的原因有很多：①可能在场景中有很多干扰因素，如场景中树枝和叶子在风中晃动、水面的波动等，这些运动物体不能简单判断为雨滴；②照明的变化和天气的变化可能影响检测结果；③背景的变化，如一辆汽车从原来背景中离开、物体改变了背景中的位置等，这些

情况不能被认为是雨滴。

应像素点的亮度值会改变一个峰值，由此提出了一种新的方法——帧间差分法。该方法能够检测出雨滴的像素位置，从而达到去除雨滴的目的。但是，在雨况较大时，效果并不理想。2006年，新加坡国立大学的Zhang等人结合雨滴的时域特性，提出了一种新的检测雨滴的方法——K-means聚类法，但其只适用于摄像机稳定的情

收稿日期：2019-01-08

基金项目：河南省重点研发与推广专项项目（182102210065）；河南省科技攻关项目（172102210370）。作者简介：牛金星（1981—），男，博士，副教授，研究方向：机器视觉及图像处理。

第4期

视频图像去雨算法的比较研究

·27·

由以上这些需要考虑的问题可以得出，在单高斯背景差分法中需要实时更新背景，才能保证检测结果的准确性。

由于视频的背景是单一、静止不变的，复杂程度较小，同时考虑到算法的速度和效果，本文采用单高斯背景差分法。单高斯模型是以像素值为特征的经典背景建模方法，由于采用了参数迭代方法，所以不用每次都对背景进行建模处理，降低了算法复杂度，提高了处理速度，能满足视频背景建模的实时性。单高斯模型为每帧图像中每个像素点的像素值建立了一个高斯模型η(xt,μt,δt)，该模型满足高斯分布：

η(x-æçxçtè

2-δ2μtö

÷t÷øt,μt,δt)=e

（1）

其中，

xt表示第t帧视频中某个像素点的像素值；μt和δt分别是这个像素点的均值和方差。如果高斯模型小于某个概率阈值，则其对应的像素点被判定为背景，否则为前景。

由式（1）可看出，每个高斯模型主要是由方差和均值两个参数决定。由于背景随着时间变化也会发生细微变化，因此需对这两个参数进行更新：

ut+1=δ

2

(1-α)μt+（2）t+1

=(1-α)μ2t

+αx

αxt

2

t

（3）

利用式（2）和式（3）可以更新t+1时刻视频帧中的像素点的高斯分布参数，其中α是更新参数，表示背景变化的速度。根据该方法求出的背景图像能更好地保持图像边缘的平滑特性，且算法简单速度快，取得的效果也能满足需要。然后，采用目前使用最多且最成熟的雨滴检测方法，即为背景减除法。背景减除法［1］的前提假设条件为视频的背景是静止不变的。该算法的主要思路是通过实时更新背景图像，利用当前帧图像减去已知的背景图像得到一个差值图像，并将差值图像和一个阈值进行比较来实现二值化处理和提取雨滴的目的，而更新的背景图像即为去除雨滴后的图像。具体实施过程：获取当前视频帧和背景图像，将当前视频帧图像I(x,y)减去背景图像B(x,y)得到绝对差值图像D(x,y)，最后将绝对差值图像中每个像素点与一个阈值threshold进行比较，那么得到的输出雨滴图像output(x,y)的值如下：

D(x,y)=|I(x,y)-B(x,y)|（4）output(x,y)ìí

255,D(x,y（5）

î0,其他)>thrsehold

考虑到视频去雨处理算法对实时性有较高要求，所以此处运用简单、快速背景减除法来检测雨滴。该方法非常适用于视频背景静止不变的特性，能准确检测出雨

滴，误差较小。

1.2

最基本最简单的帧间差分法帧间差分法

［2］是通过对相邻的两个视频帧作差运算来检测雨滴。它不仅适用于处理本文中研究的静止摄像机拍摄的视频，还能较好地处理移动摄像机拍摄到的视频。当视频中有雨滴出现时，相邻的连续帧之间的某些像素值的差别会很大，然后对相应的像素进行差分运算得到一个差值图像，再根据一个给定的阈值对其进行二值化处理即可提取出雨滴。帧间差分法的具体步骤如下。①把第一帧视频图像作为初始背景图像数为i=1。

B1,迭代参个阈值来进行二值化变换得到只含有雨滴图像②将连续的相邻两个视频帧做差分运算，并根据某

BW。

BWì,y)=ï1,|Ii(x,y)-Ii-1(x,yí

)ï0,其中，

|I(x,y)-I(x,y)||≥T

i(xîi

i-1Ii和Ii-1是连续的相邻两帧视频图像；T是判断对某个像素是否进行二值化处理的阈值。根据得到的初始雨滴图像，可以反过来更新背景图像，使得背景图像更精确。

帧间差分法的优点是不积累背景，检测雨滴的速度较快，缺点是容易受外界环境影响。阈值的选取也很重要，或大或小都会严重影响雨滴检测的准确性。

场景相减法是利用当前帧视频图像减去检测到的雨滴图像，由提到的雨滴图像和当前帧图像得到雨滴清晰化后图像，即不含有雨滴的视频帧图像。

sharpening=I(x,y)-output(x,y)（7）

式中，

sharpening是清晰化后的图像，I(x,y)是当前帧视频图像，output(x,y)是检测到的雨滴图像。

2

实验结果与分析

雨天情况下，图像的细节模糊不清或雨滴的遮挡，导致想要的图像细节无法满足人们对原始图像的清晰度要求，因此本文根据以上两种算法，分别在CPUCorei5-3210m对雨天图像加以仿真实验。本文选取雨滴静态场景。处理器和4GB内存的硬件环境下，利用MATLAB静态场景是指背景静止，无非雨运动物体、无相机移动或抖动。

单高斯模型方法选取的更新参数α为0.1，从而达到清晰化图像的目的，实验结果如图1所示。帧间差分法采用的是两帧帧差法实现雨滴的去除，如图2所示。

·28·

视频图像去雨算法的比较研究

第4期

（a）原图像

（b）雨滴图像

（c）处理结果

图1单高斯背景建模方法α=0.1的处理过程

（a）原图像

（b）雨滴图像

（c）处理结果

图2帧间差分法处理过程

实验结果表明，雨天环境下，帧间差分法使得图像变得更加清晰，在一定程度上去除了雨滴，但有些细节还有雨滴存在，存在一定的缺陷。单高斯背景差分法处理的效果很明显，基本上去除了图像上的雨滴，有一定的鲁棒性。

以上是对两种算法进行的客观分析，下面从主观角

度比较分析这两种算法，主要通过对图像亮度、对比度、信息熵和运行时间4个参数进行分析。图像亮度即图像矩阵的平均值，值越小，图像越暗。图像对比度（contrast）即图像矩阵的均方差（标准差），对比度越大，图像中黑白反差越明显。信息熵可以表征图像灰度分布的聚集特性，但不能表征灰度分布的空间特性。为表征这种特性，可以在一维熵的基础上引入一个特征量。该特征量能够反映灰度分布的空间特性，以此组成二维熵。

图像二维熵可以表示为：

H=∑255pi,jlogpi,j

i=0

=∑255

f(i,j)（8）

i=0

N2[logf(i,j)-2logN其中，

i表示像素灰度值且0≤i≤255；]j表示领域灰度值，其值为0≤j≤255；f(i,j)表示像素点(i,j)出现的

频数；

N为图像的尺度。选择图像领域灰度值作为灰度分布的空间特征量与图像的像素灰度值作为特征二维熵，记为(i,j)。因此，三者和时间对图像进行定量分析，结果如表1所示。

表1雾天图像各参数比较表

算法亮度对比度信息熵时间/s单高斯模型105.680375.23178.138996.453帧间差分法

100.0400

75.4284

7.8117

61.710

3结论

雨天情况下获取的视频图像光线暗时模糊不清，主要原因在于雨滴会遮挡重要信息，有时彩色图像还会失真。这一系列问题在很大程度上缩减了视频图像的可用部分，因此检测和去除视频图像中的雨滴对图像的复原有着重要意义。本文从客观和主观两个角度对以上两种

算法进行对比分析发现，单高斯背景差分法处理效果更好，但存在一定缺陷，后续将持续改进。

参考文献：

［1］杨珺，史忠科.基于改进单高斯模型法的交通背景提取J］.光子学报，2009（5）：1293-1296.

［2］林佳乙，于哲舟，张健，等.基于背景差分法和帧间差分法的视频运动检测［C］//2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）.2008.

［