基于视频处理的视线稳定技术
2009-05-15
作者：樊玉平, 田裕鹏
摘 要：针对既有摄像机运动又有前景物体运动的图像稳定问题，提出了一种快速算法。该算法首先利用改进的Harries算子提取特征点，根据三级匹配策略实现特征点的三级匹配，并且利用基于块的去噪声点方法检测出前景区域，剔除存在于前景区域的角点；然后建立当前帧与参考帧的映射关系，利用最小二乘法求解出全局运动参数；最后利用Kalman滤波平滑运动参数，依据平滑后的参数对图像进行补偿。
关键词：Harris corner； 全局运动估计； Kalman滤波； 数字视频稳定
由于受飞行器振动及天气等因素的影响，安装在飞行器上的摄像机拍摄到的图像存在抖动、失稳等现象，使成像质量下降,分辨率降低，严重增加了观察人员的疲劳强度，从而很难使飞行器对运动目标进行准确跟踪和精确瞄准，此时图像稳定技术就变得格外重要。图像稳定技术由全局运动估计和运动补偿两模块组成。全局运动指的是由摄像机运动而导致的图像的整体运动，因此只需要很少一组参数就能描述[1]，而全局运动估计就是对这些参数的估计。全局运动估计的方法主要分为微分法[2]和特征点[3]对应法。
图像稳定技术的关键问题存在于全局运动估计模块，主要有如下两个:(1)计算速度。不论在图像稳定技术还是在视频编码技术中，运动估计都是最耗时的部分。国内外许多专家和机构提出了许多加快此计算速度的算法，但是都没有从根本上解决这个问题。(2)外点去除，本文是对具有前景运动视频的稳定处理，外点去除是其必须要处理好的问题。对于计算速度，本文采用改进的Harris 算子进行角点检测，根据三级匹配策略实现特征点的三级匹配，加快了全局运动估计的计算时间。对于外点去除，考虑到局部运动点具有聚集成块的特性，贺玉文等人[4]提出了基于块的去除局部运动点，本文将介绍这种去外点的方法。在运动补偿模块中，首先采用Kalman 滤波方法确定各帧最终的补偿量，然后使用双线性插值进行运动补偿。但运动载体的抖动频率和幅度是随机的，在使用Kalman滤波中必须选择合适的噪声模型，否则容易使序列产生过稳或欠稳现象。
1 全局运动估计算法介绍
1.1 摄像机运动模型
根据复杂性的不同，图像运动模型有多种描述形式，其中，Affine模型是一种线性模型，能精确地描述纯旋转、相机在场景中较小深度变化时的平移和变焦运动。此模型适合绝大多数的室内和室外场景。其表达式为：
式中,(xi-1,yi-1)和(xi,yi)分别为在时刻ti-1和ti时两帧图像的像素坐标，(a1,a2…a6)为图像帧间的变换参数，其中,a3、a6与图像的平移运动有关，a1、a2、a4、a5与图像的缩放、旋转运动有关。本文采用此模型进行全局运动估计的计算。
1.2 角点检测
Harris 算子是一种点特征提取算子，因其具有计算简单、提取的点特征均匀而合理、定位精度高、抗噪声能力强及稳定性好的特点，得到了人们广泛的应用。
Harris角点检测公式为：
式中，w(x,y)为窗函数(可为矩形窗或高斯窗)；[I(x+u,y+v)-I(x,y)]2为图像灰度的梯度值。对于每个小的位移量(u,v)，式(2)可以双线性近似表示为：
为了实现角点的精确匹配，针对航载视频背景复杂又有前景混合的情况，本文对角点检测进行了改进。采用三级匹配策略:(1)利用Harris角点检测算子提取两帧图像上的角点，构造其灰度差分不变量，获得灰度差分不变量的特征向量；(2)运用欧氏距离测量两个向量之间的相似程度得到初始匹配点对；(3)用半邻域限制来实现两幅图像上特征点集之间的细匹配，删除错误匹配点对。灰度差分不变量具有平移、旋转不变性；对噪声也有很好的抑制作用，利用这些特性可以剔除歧义点和误匹配点。
1.3 摄像机模型参数计算
把属于背景上的n(n>3)对角点代入到(1)式，得到下面的公式：
这是一个方程个数大于未知数个数的超定线性方程，下面利用最小二乘法求解此超定方程：
1．4 去外点
利用1.2节的方法求得头两帧的角点，手动去除存在于前景物体区域的角点，再利用1.3节介绍的方法求得它们全局运动参数，然后用此参数对当前帧进行补偿，得到残差图像。具体做法：将残差图像分成M×N大小的块，计算每个块的SAD值，SAD的定义如下：
式中，Rij是(i,j)块的残差。将所有块的SAD值进行排序并将SAD大的前30%的块作为预选去除块，按照下面的方法确定最后的去除块。首先设B(i,j)块是一个预选去除块，如果它的8领域中有多于4个预选去除块，则B(i,j)这个预选去除块将被去除，并标志为去除块；然后对剩下的预选去除块进行如下处理：如果它的8领域中有去除块，则这个预选去除块也将被去除。所划分块的大小对去外点所需计算量和去除效果都有很大的影响，根据经验，对于288×352像素的CIF图像16×16大小的块较为合适。
如果角点位于前景区域，则剔除这些角点，从而成功消除了外点的影响。最终匹配结果如图1所示。
2 基于Kalman滤波的运动补偿
估计出运动参数后，接下来就是根据参数对图像进行运动补偿。摄像机的主动运动都是缓慢而有规律的，与其相比，随机抖动的频率变化较快，无一定的规律性，可以采用低通滤波的方法去除，对运动参数进行平滑，完成实时运动补偿。假设在摄像机载体做恒速运动的情况下，建立状态空间模型和量测方程[5]：
式中, aiv分别是ai的变化速率，N(0,σo)、N(0,σ)是相互独立的高斯白噪声。为验证本文算法的效果，选用waterfall、coastguard、foreman、stafen等多个标准视频测试序列，在PC机上用 matlab7.0进行仿真试验。
waterfall视频序列连续30帧全局运动参数估计及kalman滤波结果以及参数(a1,a2…a6)及经 Kalman 滤波后的结果(a1′,…,a6′)如图2所示,滤波过程中σ=100，σo=0.001。其中，变化较剧烈的虚线是带有抖动的全局运动估计参数，平滑的实线为经Kalman滤波去抖后的摄像机参数。图2表明，Kalman滤波能很好地去除或减轻抖动，保留摄像机的主观运动。
使用平滑后的全局运动参数对当前帧进行补偿，然后再对运动补偿后的图像进行背景填充，实现图像的稳定处理,其处理效果分别如图3、图4所示。waterfall序列主要针对摄像机的缩放和旋转运动，图3是其稳定处理的示意图；coastguard主要针对图像的平移运动，图4是对其进行稳定处理的示意图。图3(a)、(b)、(c),图4(a)、(b)分别是当前帧和参考帧，图3(c)、图4(c)是用平滑去抖后的摄像机参数进行补偿后的示意图，图3(d)、图4(d)是稳定处理，也就是对补偿后的图像进行背景填充，重建稳定后的当前帧，得到稳定的视频图像。由图可知，用此方法处理的视频稳定的效果非常好，本算法不论是对摄像头的旋转、缩放运动还是平移运动，都能达到很好的稳定处理效果。
基于特征匹配的稳像算法，采用了改进的 Harris 算子检测特征点。由于Harris 角点具有精度高、抗噪声能力强、稳定性好的特点，使得此稳像算法适用于处理具有前景运动物体而背景又复杂的航载视频的稳定问题。基于块的去外点方法符合实际情况，能很好地去除外点的影响。Kalman 滤波数据存储量小，平滑效果好，适用于实时稳像。大量实验验证了稳像算法的可靠性和有效性，在移动视频监视系统、目标的检测及跟踪系统有很好的应用前景。
参考文献
[1] KIM E T, KIM H M． Efficient linear three-dimensional camera motion estimation method with applications to video coding[J]．Optical Engineering. 1998,37(3):1065-1077.
[2] KELLER Y, AVERBUCH A. Fast gradient methods based on global motion estimation for video compression[M]．IEEE Transactions on Circuits and Systems for Video echnology, 2003,13(4):300-309.
[3] ZHU Fang, XUE Ping, ONG E．Low-complexity global motion estimation based on content analysis[C]．Proceedings of International Symposium on Circuits and Systems,2003, 2(2):624-627.
[4] 贺玉文，赵黎，钟玉琢，等. 快速鲁棒的全局运动估计算法[J].软件学报，2001，12（8）：1220-1228.
[5] LITVIN A, KONRAL J, WILLIAM C，Karl probabilistic video stabilization using Kalman filtering and mosaicking[A]. IS&T/SPIE Symposium on Electronic Image and Video Communications and Proc[C],2003,5022:663-67.