摘 要: 针对视频监控图像中存在各类条纹噪声的问题,根据条纹特性和受干扰图像帧的频域特征,提出了一种快速检测监控录像周期性条纹的算法。根据相对距离将频谱图分成两个子块,再运用行列累积函数或阈值检测各子带是否存在异常亮点,进而确定图像帧是否存在条纹噪声。利用频率谱中异常点的对称特性可减少遍历次数,有效提高了算法的运行效率。实验结果表明,该算法对监控视频序列中的多种周期性条纹具有良好的检测效果,并提高了计算速度。
关键词: 视频监控图像;条纹噪声;傅里叶变换;累积分布函数
随着网络、视频通信技术的快速发展和视频监控系统的广泛应用,监控图像的质量评价正成为新的研究热点。由于视频监控系统通常布控范围较大,因此前端图像采集设备长期连续工作及受各种外因影响,监控录像易受条纹噪声干扰而质量下降。由于条纹干扰类型各异(如有横条纹、列条纹、斜条纹、粗或细以及周期条纹等),而起因又各不相同,如因工频干扰、系统内部电压不平衡或传输问题等外因所致,或因监控摄像机长期外露、不间断的工作特点引起图像传感器校准偏差、内部电流不平衡以及系统噪声或振动等产生。因此,对监控系统条纹干扰的研究尤为重要。条纹噪声不仅降低了视频监控图像的质量和可解释性,而且容易引发不可预测的故障。
目前针对实时视频图像条纹干扰检测的文献较少,而静止图像的条纹噪声检测大多是基于滤波方法。如采用方向模板的结构光条纹中心检测[1],通过可变方向模板检测结构光条纹中心;针对航空图像水面尾迹的检测,利用方向极傅里叶频谱二维主成分降维提取特征和支持向量机分类检测尾迹[2];针对遥感图像条纹噪声检测方法,通过Canny边缘检测、线条跟踪和阈值三步定位条纹[3];针对结构光条纹的边缘检测,通过自适应中值滤波器平滑图像,方向可调滤波器提取结构光条纹边缘点两步检测光条纹[4];根据频域条纹噪声的功率谱特性,建立小波镜像正则反演滤波器抑制和去除条纹[5];以及基于稳健统计的抗差估计滤波检测和去除静态图像中脉冲噪声引起的干扰条纹[6]。但上述方法都针对某种单一特征条纹及特定环境检测,并不适用于视频监控系统。通过分析大量监控视频图像的干扰条纹特征,本文提出了一种自适应检测算法,将监控视频帧图像变换到频谱空间,将频谱分量分成两类子块,即扩展频谱带和周边区域频带,根据不同子块特性,通过离散行列累积分布函数找出异常峰值点或设置阈值找出异常亮点,进而检测干扰条纹。
1 监控图像条纹干扰特性
图1(a)是由监控系统附近很强的干扰源引起条纹干扰的一帧图像,图1(b)是二维傅里叶变换后的频谱图,图1(c)是图像传感器故障引起条纹干扰的一帧图像,图1(d)是其频谱图。通过分析发现,条纹噪声在空域中具有以下特征:
(1)条纹噪声具有一定的方向性,在某个方向有较强的灰度变化。
(2)条纹噪声分布具有准周期性,明暗交替出现,此类干扰大多由不同频率噪声引起。
(3)干扰源的多样性,使得条纹干扰可能出现在不同方向上,并形成叠加。
图1(b)、图1(d)中的明亮突起部分是由准周期条纹噪声导致的,通过分析发现,条纹噪声在频域中具有以下特征:(1)空域中有几条不同周期的条纹噪声,频域中就有几个与之对应的“十”字形异常亮点。(2)条纹噪声周期和角度不同,对应的频谱中异常亮点区域也不同,可能落在具有暗背景的周边区域(如图1(b)所示),也可能落在亮带附近(如图1(d)所示)。因此,对监控视频帧图像进行傅里叶变换后,检测“十”字形异常亮点是解决问题的关键。为去除中间亮带对“十”字形亮点检测的干扰,将频谱图分为两块,亮带附近区域称为扩展调频带[7],暗背景区域称为周边区域频带。扩展调频带上的“十”字形亮点通过行列累积分布函数进行检测,而周边区域频带可通过设置阈值检测“十”字形亮点。
2 条纹检测算法原理
计算帧图像列方向和行方向上的累积分布函数,其中频谱图的横轴是行数或列数,纵轴与之对应的是列方向或行方向的频谱幅度累加值[5]。利用频谱图对称性,只需计算图像一半的行列累积分布函数。
图3显示了扩展调频带区域异常亮点的检测方法,原图是一帧视频传输线路阻抗不匹配造成的等间距斜纹(即图4的C类纹)。式(4)和式(5)确定的子块图3(a)和图3(c)分别是行扩展条频带和列扩展条频带。图3(b)是式(6)计算的列方向累计分布函数,图3(d)是式(7)计算的行方向累计分布函数。可见,图3(b)的列方向累积分布函数中有异常峰值P,由此检测出扩展调频带区域有异常亮点。
3 算法描述
算法的具体步骤如下:
(1)初始化处理。根据监控视频时长和帧播放速率,设置采样间隔抽取待测帧,规格化帧图像为320×240,并转为灰度图像,以提高运算速度。
(2)频谱图分块处理。根据2.2部分的算法原理将视频帧图像分为周边区域频带和扩展调频带两个子块。
(3)周边区域频带异常亮点检测。用模板(5×5)对频谱图进行增强处理,突出异常亮点幅度值。若周边区域频带幅度值大于阈值α(α取175),表明周边区域频带存在条纹干扰。
(4)扩展调频带异常亮点检测。根据2.3部分的算法原理求得列方向和行方向的离散累积分布函数,检测是否存在异常峰值,若有,则表明帧图像的扩展调频带存在条纹干扰。
(5)对视频序列的抽取帧依次运用上述方法检测,评价视频段是否存在条纹噪声干扰。
4 实验结果与分析
为了验证算法的有效性,从不同场景,720×576分辨率的监控视频中选取6个5 min的RGB视频片断作为测试样本,其中1个视频无条纹干扰,5个视频分别存在斜条纹、横条纹等噪声干扰,如图4所示。设置视频播放速率为25 帧/s,帧抽取速率为0.2 帧/s,帧图片规格化为320×240。分别采用本文提出的算法、基于Canny边缘算子检测法[3]和基于光条纹方向模板法[1]检测条纹噪声,结果如表1所示。
图4中,A类条纹指监控系统受强干扰导致的斜纹噪声,B类条纹指图像传感器故障引起的等间距横纹噪声,C类条纹指视频传输线路阻抗不匹配造成的等间距斜纹噪声,D类条纹指低频干扰引起的水平散状细小条纹,E类指工频干扰引起的雪花叠加斜纹噪声。另外,表1中的“1”表示检测出条纹,“0”表示没有检测出条纹,“-1”表示误检。可见,基于Canny边缘算子的条纹检测只适用于水平或垂直细条纹的检测[3];方向模板法只能检测出B类条纹,易受背景干扰导致对无条纹图像的误检;而提出的算法能有效检测出除D类外的多种周期性干扰条纹,D类条纹因散状细小且无周期性,造成频域没有异常亮点,故检测不出。表2所示为检测B类条纹时三种算法的计算时间,本算法与方向模板法时间较为接近,基于Canny边缘算子的条纹检测法计算时间最长。综上所述,本算法能有效检测出监控视频序列中的多种准周期性条纹且运算效率较高。
通过分析视频监控图像中条纹噪声的频域特性,本文提出了一种能够快速检测监控图像周期性条纹干扰的算法。根据相对距离将视频帧频谱图分成周边区域频带和扩展调频带两个子块,再计算行列累计函数检测子带或阈值,判断各子块是否存在异常亮点,进而确定帧图像是否存在条纹噪声;通过频率谱的对称性,大大减少了异常点的遍历次数,提高了算法的运行速度。实验结果表明,本文提出的算法能有效检测出监控视频序列中的准周期性条纹,适应具有不同方向的多种周期性条纹的检测,但对无周期性的散乱条纹和细小条纹不适用,这也是下一步研究的重点。
参考文献
[1] 胡斌,李德华,金刚,等.基于方向模板的结构光条纹中心检测方法[J].计算机工程与应用,2002(11):59-60.
[2] 汪海洋,潘德炉,夏德深,等.基于方向极傅里叶频谱2DPCA的尾迹检测[J].自动化学报,2008,34(9):1053-1059.
[3] Fuan Tsai, Chen W W. Striping noise detection and correction of remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008,46(12): 4122- 4131.
[4] Chen Yanjun, Zheng Jun, Wang Kuanquan, et al. Structured light stripe boundary detection using steerable filters[C]. 2010 International Conference on Computer Application and System Modeling (ICCANS), 2010:22-24.
[5] Wang Zuoguan. Frequency-domain regularized deconvolution for images with stripe noise[C]. Proceeding of the Fourth International Conference on Image and Graphics, ICIG′07, Chengdu: 2007:110-115.
[6] VIJAYKUMAR V R, VANATHI P T, XANAGASABAPATHY P, et al. An efficient algorithm to remove scratches stripes and blotches in still images[C]. International Conference on Intelligent and Advanced Systems, ICIAS 2007, Kuala Lumpur: Proceeding of the 2007 IEEE, 2007:605-610.
[7] 孙颖,张志佳.基于频域滤波的自适应条带噪声去除算法[J].仪表技术与传感器,2006(2):57-59.
[8] 邹园园,葛庆平,韩煜,等.基于频域滤波的THz图像条纹噪声处理[J].计算机工程与应用,2009,45(17):241-24.