摘 要:室内环境下多运动目标跟踪的核心问题是目标的快速识别和准确匹配,目标的快速识别关键在于目标对象的特征提取,寻找不变的特征值。针对以上两个问题,采用基于颜色直方图的特征提取方法并用欧氏距离匹配法实现特征值的相似度匹配。提出的区域相应和特征匹配相结合的多运动目标跟踪算法解决了因为快速运动和长时间遮挡而引起的目标跟踪丢失问题。
关键词:多目标跟踪;特征提取;区域相应;特征匹配
视频跟踪[1]是指对视频帧图像序列中所有动态目标进行运动检测、特征提取与匹配和跟踪,获得目标运行参数,如目标质心位置、速度、加速度以及运动路线等。视频跟踪为下一步图像处理与分析、运动目标行为理解奠定了基础。多运动目标跟踪是指在相同的时刻对多个运动目标进行判断、相似度匹配和跟踪,其关键是目标模型和背景环境模型的建立、待跟踪目标的判定和对遮挡问题的处理。视频跟踪技术在民宅安防、仓库安全、智能交通监控和导弹航迹等方面具有广泛的应用[2]。
目前,对室内静态背景下常用的跟踪方法是基于颜色特征的运动目标跟踪方法。然而,由于背景和目标易受颜色相似性的干扰,且人是一个非刚性运动物体,活动具有灵活自主性,实时跟踪这个运动对象是很困难的,尤其是当其发生形变或被严重遮挡时。本文对运动目标跟踪主要分为遮挡和不遮挡两种趋势进行研究,通过对两种趋势算法的研究,将基于特征和基于区域的运动目标跟踪方法混合进行计算。经过实验验证,这种混合算法可以达到多运动目标跟踪快速性、准确性和实时性的要求。
1 无遮挡时多目标跟踪算法
对视频序列帧图像内的多个目标进行跟踪的算法有很多种,目前常用的算法有Kalman滤波算法[3]、基于均值偏移的Meanshift算法[4]、Camshift算法[5]和粒子滤波算法[6]等。Kalman滤波算法是一个带回馈估计的方法,由滤波器先作出与之相适应的估计,然后以含有噪声的测量信息进行反馈。它适合于高斯分布的线性、正态系统状态的预测估计,不适合具有随意运动性的人体目标的跟踪。Camshift算法是改进的Meanshift算法,它的搜索框可以自由变换,此外,它与粒子滤波算法一样是基于概率统计的方法,需要迭代求解。Camshift算法一般情况下是根据目标颜色特征信息进行跟踪,由于跟踪特征单一,因此极易发生漂移现像,但是它的跟踪速度快,尤其对没有遮挡情况下的运动目标可以快速准确地进行跟踪。因此,通过Camshift算法可以对发生遮挡前待跟踪目标的运动区域进行提取,并在此基础上对待跟踪目标是否会发生遮挡进行及时预测。若遮挡不存在,则需要通过基于颜色直方图和分块的方法分别对目标的灰度特征进行提取,并对最近提取的m帧图像灰度特征信息进行保存;反之,则需进入遮挡处理过程[7]。无遮挡处理流程框图如图1所示。
2 区域相应与特征匹配相结合的跟踪方法
基于区域的运动目标跟踪方法[8]是指:首先把图像分为不同的小区域块,然后对各个小区域块采用高斯分布建立它们的目标模型和背景模型,最后将属于待跟踪目标的像素划分为一些与背景不同的小区域块,通过跟踪包含目标的小区域块完成整个待定目标的跟踪。由于人体运动目标在慢速运动时各帧之间的位移通常很小,因此可以在目标当前帧所处地点的小邻域内寻找是否有除待跟踪目标外运动物体的对应像素,如果有,则表明目标有遮挡的趋势。基于区域相应跟踪算法只能判定目标是否存在遮挡,并不能解决遮挡问题。基于特征的运动目标跟踪是指通过提取一些可以比较明显地表示待跟踪目标信息的特征描述运动目标,运用特征匹配方法实现对视频图像中多运动目标的跟踪。通常情况下,可以用颜色、边缘、纹理、有明显标记区域对应的点、线、曲线等特征描述运动目标,再通过目标区域与候选区域进行特征相似度匹配,实现运动目标跟踪。目前,最常用的基于特征的跟踪方法是颜色直方图法,对颜色直方图的提取可以采用二阶直方图或加权颜色直方图。当目标颜色与背景颜色相似度很大时,基于颜色直方图特征的跟踪方法会导致错误跟踪。本文将区域相应和颜色特征匹配相结合,对多运动目标进行跟踪,将室内静态背景中的待跟踪目标分为进入室内、离开室内、合并、分离和正常5种运动状态。首先,需要对输入视频序列的各帧图像进行图像预处理,预处理的关键是对目标区域进行分块,得到运动目标;然后,利用区域相应法判别目标处于哪种状况;最后,当目标处于分离状况时,采用基于颜色直方图的特征提取方法,利用基于余弦匹配进行颜色相似度计算,从而再次跟踪运动目标。图2所示为存在遮挡时跟踪算法框图。
2.2 基于区域的跟踪
经过图像预处理,各个运动目标块在空间中所处的具体位置已经明确,假设视频帧率为30 f/s,则相邻两帧图像间隔小于33.4 ms。对于室内环境下运动的人体目标,相邻两帧空间范围上位置变化很小。所以只要第i帧与第i+1帧目标块有重合的部分,就可以判定前后两帧中运动目标属于同一目标。可能出现以下5种情形:
(1)合并事件:第i帧上的两个或两个以上目标块同时与第i+1帧上的一个目标块在位置上重合。
(2)分离事件:第i帧上的一个目标块同时与第i+1帧上的两个或两个以上目标块重合。
(3)进人室内:第i+1帧上的目标块在第i帧上没有一个目标块与其在位置上有重合,可判断目标在第i+1帧进人室内。
(4)离开室内:第i帧上的目标块在第i+1帧上找不到一个目标块与其在位置上有重合,可判断目标在第i+1帧离开室内。
(5)正常:第i帧上的一个目标块与第i+1帧上的一个目标块在位置上有重合区域,判断它们属于同一运动目标。
从上面的分析可以看出,区域相应法可以对目标进入室内、离开室内、一般情况和合并事件进行直接判定,但是对于分离后的目标还需要采用颜色特征描述对其加以区分,因为各个目标的颜色分布不同。首先需要建立目标颜色直方图模型,然后按照一定的相似度匹配准则对目标进行再次跟踪判定。
本文通过简单的Camshift跟踪算法处理无遮挡情况下多目标的跟踪,采用基于区域与基于特征匹配相结合的算法处理多遮挡情况下目标的跟踪问题。首先采用基于区域相应的方法进行初次跟踪判定,然后利用颜色模型的相似性按照一定的匹配原则进行二次判定。但是该方法不能解决遮挡时的跟踪问题,分块的方法很好地解决了这一问题。当遮挡过程中目标的姿势、形态和体积发生较大的变化时,这些跟踪方法有一定的局限性。
参考文献
[1] 伏亚文.结合模糊理论的视觉识别与跟踪技术研究[D].南京:南京理工大学,2009.
[2] 李谷全,陈忠泽.视觉跟踪技术研究现状及其展望[J].计算机应用研究,2010,27(8):2814-2818.
[3] 蒋恋华,甘朝晖.多目标跟踪综述[J].计算机系统应用,2010,19(12):271-274.
[4] KALMAN R E. A new approach to linear filtering and prediction problems[C]. Transactions of the ASME-Journal of Basic Engineering, 1960,82:35-45.
[5] Cheng Yizong. Mean shift, mode seeking and clustering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995,17(8):790-799.
[6] BRADSKI G R. Computer vision face tracking for use in a perceptual user interface[J]. Intel Technology Journal, 1998,2(2):1-15.
[7] CARPENTER J,CLIFFORD P. Improved particle filter for non linear problems[J]. IEEE Proof Radar. Sonar and Navigation, 1999,146(1):2-7.
[8] 白金涛.视频序列中运动目标跟踪算法的研究[D].天津:天津大学,2009.
[9] 陆玉传.基于PTZ相机的运动目标检测与跟踪技术研究[D].南京:东南大学,2010.