摘 要:针对已有的基于形状的图像检索中目标形状描述方法的不足对其进行改进。首先对目标图像进行一系列预处理,得到图像的外部轮廓,利用改进的霍夫变换提取目标轮廓的线性特征;然后引入成对几何特征即有向相对角和有向相对位置来描述图像的形状;最后利用直方图相交算法衡量图像特征间的相似度。实验证明,利用本文改进的方法所描述的形状属性来检索数据库中的图像具有较高的效率。
关键词:基于内容的图像检索;霍夫变换;成对几何特征;有向相对角;有向相对位置
近年来,由于数字化和信息化技术的快速发展,越来越多的图像都被数字化后保存在多媒体库中。为了更好地使用这些图像,就必须要求有一种快速、便捷的图像检索方法。因此,基于内容的图像检索技术已经成为人们研究的热点。而在设计基于内容的图像检索系统时,检索的有效率和准确率则是两个需要重点考虑的问题[1]。
在基于内容的图像检索方法中,其步骤一般是首先提取出图像的突出特征(如颜色、纹理、形状等),然后再根据这些特征来检索。由于人类视觉在辨别物体的时候,最容易根据目标的形状来区分各个物体,因此形状特征备受关注[2]。对基于目标形状的图像检索来说,目标形状的描述和匹配方法无疑是要首先解决的重要问题,而通常使用的形状描述符有:小波轮廓描述符[3]、不变矩(Moment Invariants)[4]、Zernike矩[5]、曲率尺度空间(Curvature Scale Space)[6]和区域密度函数[7]等。但是这些方法在尺度变换、旋转变换以及抗噪性能上都有所缺陷。针对上述描述方法的缺陷,本文引入了成对几何特征直方图作为目标形状的描述方法,并将其应用到基于形状的图像检索系统中。
1 形状描述符的构造
目标的形状可以通过轮廓的提取或图像分割的方法获得。本文首先利用一系列的图像预处理操作将图像的外部轮廓提取出来;然后利用改进的Hough变换得到目标轮廓的线性特征,再引入成对几何直方图描述目标形状的属性;最后利用运算复杂度比较低的直方图相交算法来衡量目标形状的相似度,从而进行目标形状的图像检索。
1.1 目标轮廓的提取
(1)用户输入图像,由计算机对输入的图像进行预处理,包括图像格式的转换、尺寸的统一、图像的增强与去噪等功能,为图像的特征提取打下基础。
(2)进行图像边缘提取,经过边缘提取获得图像的轮廓特征。本文采取Canny算子[8]进行边缘提取。但由于有些图像经过边缘提取过程所获得的轮廓图中存在着许多杂乱的线条,针对这种图像,操作员要确认是否对其进行进一步轮廓清晰化处理。对此,本文采用二值化以及图像轮廓跟踪处理来达到轮廓清晰化。通过轮廓清晰化处理后就基本得到了能够较好反映图像边缘的轮廓图像。
1.2 改进的Hough变换算法
霍夫变换(Hough Transform)[8]用来检测图像中的直线和曲线。由于本系统要求得到的特征值中相对位置的几何特征是要通过直线段获取,但并没有限制必须是全连接的直线段,因此,只要是图像中存在的处于一条直线上的直线分割段都记为一条直线段。一般的霍夫变换算法只能检测到直线,并不能划分出符合试验要求的直线段,所以要对霍夫变换算法进行改进。即在现有的Hough变换中加入线段长度测定功能。
改进的算法基本思路是:充分利用Hough变换的参数空间数据,增加Hough变换的后处理,克服Hough变换的缺陷,以检测出包括诸如端点、方向等一些属性的线段。具体的算法描述如下:
(7)转到第(3)步。
(8)由Hough变换的局限性可知,某一条线段有可能同时被检测出多条线段,所以要将这些相同的线段进行合并,最后统计出图像的线段条数,以及它们的始末位置等一些属性。
程序执行完后,在数组Temp_Point[n]中保存了所检测到的第n条线段的所有像素,由这些像素可以很容易地得到该线段的两个端点以及其他参数。
1.3 成对几何直方图描述符
本文利用如图1所示的成对几何特征,即相对角和相对位置作为形状特征来描述目标轮廓,并采用关系直方图统计这对几何特征来进行形状索引。
1.3.3 成对几何直方图
二维几何直方图的描述是以上述成对几何特征为基础的。有向相对角的范围为[-π,π],而有向相对位置的范围为[1/2,∞)。当计算直方图时处理∞不是很实际,因为在设计位置特征时是不一致的二进制处理过程。所以为方便统计,本文将有向相对位置公式稍做如下改动:
其中,i、j为从原始图像中提取出的两条线段,E为符合条件的边集,eij为分段i和分段j的图像边界。
为了便于描绘直方图,本文将原来直方图矩阵中处于第i行第j列的元素转换到直方图数组中的第i×len+j位置处(其中,len为二维几何直方图水平方向总的等份数),这样不但便于直方图的描绘,还提高了直方图相似性计算的速度。另外,为了便于描绘,对直方图的范围也统一量化到[0,255],对整个直方图表达出来的统计效果不会产生不良的影响。直方图量化示意图如图2所示。
1.4 直方图相似度计算
对建立好的特征直方图进行匹配操作是:将所得的直方图与特征数据库中存储的直方图进行匹配,在匹配阈值范围之内的图像则认为是与样本图像相关的图像。
本系统中采用运算复杂度比较低的直方图相交算法来计算直方图距离,其算法原理为:假定两个目标轮廓的直方图A和B各有n个归一化的直方图单元{Ai}和{Bi},则这两个直方图之间的距离d为:
d值越小,则两个直方图之间的距离越近,表明两幅图像越相似;相反,则表明两幅图像相似性较小。当d=0时,表明两幅图像完全相同;d=1时,则两幅图像完全不同。
2 实验与结果分析
实验利用VS2005和SQL 2005数据库实现了基于目标形状的图像检索,模型系统实现了半自动目标轮廓提取,并计算目标轮廓的几何特征及描绘出相应的几何特征直方图;检索过程中提取并计算目标轮廓几何特征后,系统可以自动完成检索功能,减少了系统的繁琐性。
2.1 实验步骤及结果
用一幅样本图像进行试验,系统对每幅图像都进行了图像输入、二值化、边缘提取、轮廓跟踪、Hough变换、特征提取6个处理步骤,其结果如图3所示。
2.2 检索结果
本文的实验图库为从标准测试图像库CBIR(Content-Based Image Retrieval)中选取的,由猫、狗、鸟类、蝴蝶等组成的120幅图片。取CBIR中的一幅猫的图像为样本图像(如图3(a)),进行特征提取及图像匹配之后,在CBIR中检索出了与样本图像形状相似的图像结果如图4所示。
2.3 算法性能分析
为了检验本文算法的鲁棒性和有效性,实验中对原始图像分别进行了方向变换、尺度变换和部分遮挡变换。
2.3.1 方向变换下的算法性能
图5为样本图像形状经过任意角度旋转后的图像及其相应的几何直方图。由图可知,虽然目标形状的方向发生了变换,但是其相应的几何直方图仍然非常相近,这说明了本文的算法对方向具有不变性。
2.3.2 尺度变换下的算法性能
图6为样本图像形状经过各种尺度变换后的图像及其相应的几何直方图。由图可知,虽然目标形状的尺度发生了变换,但是其相应的几何直方图仍然非常相近,这说明了本文的算法对尺度具有不变性。
2.3.3 部分遮挡下的算法性能
图7为样本图像形状经过部分遮挡后的图像及其相应的几何直方图。由图可知,虽然目标形状被不同部位的部分遮挡了,但是其相应的几何直方图仍然非常相近,这说明了本文的算法对部分遮挡情形有鲁棒性。
基于内容的图像检索技术是数字图书馆检索的关键技术,作为一个新兴技术,对它的研究才刚刚起步,还有许多问题有待研究和进一步完善。本文对其中的基于形状的图像检索进行了探讨,通过对图像的预处理、边缘检测、二值化、边界跟踪得到图像的边界轮廓,并采用Hough变换检测线段的方法将轮廓边界简化为直线表示,进而用成对几何特征方法来描述目标轮廓。实验证明了此描述方法简单而有效,为多媒体信息检索提供了一种有效的表示方法。
参考文献
[1] KIM Y S, KIM W Y. Content-based trademark retrieval system using a visually salient feature [J].Image and Vision Computing, 1998, 16(9): 931-939.
[2] ZHANG D S, LU G J. Study and evaluation of different fourier methods for image retrieval [J]. Image and Vision Computing, 2005, 23(1): 33-49.
[3] 姚玉荣,章毓晋.利用小波和矩进行基于形状的图像检索[J].中国图像图形学报,2000(3).
[4] CHEN C C. Improved moment invariants for shape discrimination[J]. Pattern Recognition, 1993,26(5):683-686.
[5] 云挺,顾磊,吴慧中.基于Zernike矩的区域匹配方法 [J].中国图像图形学报,2008(8).
[6] MOKHTARIAN K, BOBER M. Curvature scale space representation: theory, applications and MPEG-7 standardization[M]. Boston MA, USA: Kluwer Academic Publishers(now Springer), 2003.
[7] 谢红.基于目标形状的图像检索模型的改进策略及其原型系统[D].广州:暨南大学,2001.
[8] 艾海舟,武勃.图像处理、分析与机器视觉(第2版)[M].北京:人民邮电出版社,2003.