摘 要:利用灰度共生矩阵提取图像纹理特征值,然后根据熵值的大小来实现模块大小的选择。另外,在寻找最佳匹配块时,同时考虑了颜色信息的差异和空间距离的因素。最后,给出了客观评价图像修复质量的PSNR度量。实验表明,与Criminisi算法相比,该方法得到的修复效果更自然,更符合人的视觉感知。
关键词:图像修复;纹理合成;灰度共生矩阵;熵;模块大小;最佳匹配块
图像修复是针对有信息缺损的图像,利用图像中已知区域的信息按照一定的规则填充缺损区域的过程,并使观察者察觉不出图像曾经缺损或已被修复[1]。其对文物保护、影视特技制作、老照片修复、图像中文本及障碍物的去除等都具有重要的应用价值。
在基于纹理合成的图像修复算法中,具有代表性的是Criminisi算法[2],它使用优先权函数来确定待修复块的填充顺序,较好地修复了图像的结构和纹理信息,取得了不错的效果。但无论图像纹理是否复杂,其模块大小始终为固定值,不能根据图像的纹理是否复杂进行合理的选择,这对于某些图像的修复,效果不佳。目前,对于Criminisi算法中存在的上述不足,已经有不少学者对其进行了各种改进[3-8],实现了模块大小的自适应选择,得到了较好的修复结果。
考虑到模块大小的选择跟纹理的复杂程度有关,本文首先利用灰度共生矩阵提取图像纹理特征值,然后根据熵值的大小来实现模块大小的选择。另外,为了解决当最佳匹配块存在多个时,Criminisi算法可能由于选择不当而导致修复效果不佳的问题,本文在寻找最佳匹配块的同时,考虑了颜色信息的差异和空间距离的因素。实验结果表明,该算法合理有效,得到的修复效果更令人满意。
2.3 改进算法主要步骤
初始时置i=0;
(1)抽取用户选定的待修复区域?赘(=?赘°)的边界δ?赘(=δ?赘°);
(2)设Ng=8,d=5,夹角θ=0°,45°,90°,135°,计算图像已知区域在4个方向上的Ng×Ng矩阵P1、P2、P3、P4,然后分别进行归一化;
(3)分别计算4个矩阵的熵特征值,并进行归一化;
(4)对步骤(3)中得到的4个值进行加权平均,再根据如下对应关系选择模块大小;
从以上实验对比中可以看出,相比于Criminisi算法,本文得到的修复结果更自然,更符合人的视觉感知。从图3看到,虽然本文算法所选模块大小与Criminisi算法一样,但是本算法避免了最佳匹配块的选择不当问题,因而得到的修复结果更理想。以图4可以看到,本算法所选模块较小,包含的纹理单元也较少,则较容易找到与之相似度高的匹配块,从而增强了图像的修复效果。在图5与图6中,本算法的模块都较大,确保了纹理结构的完整性。其中,图5中得到的修复结果对三角形内部修复得很好,不再出现白色区域,保证了三角形纹理结构的完整性;图6结果显示本文对弧线结构修复得更好,不存在断裂的现象。通过以上的实验分析,说明了本算法的可行性及有效性。
为进一步分析本文算法的修复质量,表1给出了利用峰值信噪比测度PSNR(Peak Signal to Noise Ratio)对 本文算法及Criminisi算法得到的修复结果进行客观评价。从表1可以看出,本算法修复结果的峰值信噪比比Criminisi算法来得高,即说明了本文修复的效果较好。
通过图7进一步说明了本方法可避免当最佳匹配块存在多个时,由于选择不当而使修复效果不好的问题。其中,图7(a)为原图像;图7(b)为待修复图像;图7(c)为Criminisi算法,winsize=4;图7(d)为只采用本文中模块大小的选择的方法,winsize=9;图7(e)为本算法,结合模块大小的选择及最佳匹配块的选择的方法,winsize=9,比较图7(c)和图7(d)发现,采用模块大小的选择的方法在一定程度上改善了图像的修复质量,但仍存在一定的缺陷;从图7(e)相较于图7(c)和图7(d)容易发现,采用方法得到的修复效果最好。
本文分析了Criminisi算法,并针对其存在的某些不足,提出了一种新的改进方法。实验表明,本算法可根据图像的纹理是否复杂来灵活地选择合适的模块大小,同时可避免由于最佳匹配块选择不当而使修复效果不好的问题。然而本算法给模块大小winsize只提供了6个可选值,即winsize=2、3、4、5、7、9。虽然这几个值在一般情况下能适用于大多数缺损图像的修复,但是对于一些个别的图像,其修复效果仍不够理想,还需对其做进一步的改进。
参考文献
[1] 张红英,彭启琮.数字图像修复技术综述[J].中国图象图形学报,2007,12(1):1-10.
[2] CRIMINISI A, PEREZ P, TOYAMA K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004,13(9):1200-1212.
[3] 屈磊,韦穗,梁栋,等.快速自适应模板图像修复算法[M].中国图象图形学报,2008,13(1):24-28.
[4] 杨秀红,王慧琴,李苏莉.基于自适应模板和置信度更新的图像修复算法[J].电子科技,2009,22(12):69-72.
[5] 付绍春,楼顺天.基于区域纹理合成的图像修补算法[J].电子与信息学报,2009,31(6):1319-1322.
[6] Zhou H L, Zheng J M. Adaptive patch size determination for patch-based image completion[C]. Proceedings of 2010 17th IEEE International Conference on Image Processing,2010:421-424.
[7] 孟春芝,何凯,焦青兰.自适应样本块大小的图像修复方法[J].中国图象图形学报,2012,7(3):337-341.
[8] 张伟伟,何凯,孟春芝.自适应选取样本块大小的纹理合成方法.计算机工程与应用,2012,48(17):170-173.