kaiyun官方注册
您所在的位置: 首页> 可编程逻辑> 设计应用> 基于显著图与稀疏特征的图像视觉效果评价
基于显著图与稀疏特征的图像视觉效果评价
2015年微型机与应用第8期
易 瑜1,薄 华1,孙 强2
(1.上海海事大学 信息工程学院,上海 201306;2.西安理工大学 自动化与信息工程学院,陕西 西安 710000)
摘要:提出一种基于显著图与稀疏特征的图像视觉评价算法,其中显著图类似于视觉阈值,提取出图像中的视觉注意区域,并使用独立成分分析(Independent Component Analysis ,ICA)等同于稀疏编码,来提取该区域的稀疏特征。最后通过综合特征相似性和灰度相关性,得到一种全参考图像质量评价方法。通过在3个标准图像数据库测试的结果表明,相对于其他评价算法,该方法很好地拟合了人眼主观评价。
Abstract:
Key words :

摘 要:提出一种基于显著图稀疏特征的图像视觉评价算法,其中显著图类似于视觉阈值,提取出图像中的视觉注意区域,并使用独立成分分析(Independent Component Analysis ,ICA)等同于稀疏编码,来提取该区域的稀疏特征。最后通过综合特征相似性和灰度相关性,得到一种全参考图像质量评价方法。通过在3个标准图像数据库测试的结果表明,相对于其他评价算法,该方法很好地拟合了人眼主观评价。
关键词:稀疏特征;显著图;ICA;图像质量评价
0 引言
  在图像的获取、压缩、传输、储存和重构的过程中,经常伴随着图像的视觉效果的变化,有很多方法可以用来度量这种变化对图像视觉质量的影响。随着图像与视频处理技术的发展,人们也越来越需要更加精确的图像评价方法。
  图像质量评价方法可以分成两大类:通过人眼的主观评价和使用算法模拟人眼视觉的客观评价。客观评价算法的理想效果是其预测评价结果能考虑人眼主观评价的视觉机理。客观评价方法又可分为三种类型:全参考、半参考和无参考图像评价,本文提出的是一种全参考的评价方法,即参考图像是完全已知的。
  在视觉领域,视觉皮层负责人对视觉世界大部分的意识感知,是HVS的重要组成部分[1]。稀疏编码,类似于ICA[2],已被证明与视觉皮层测量有关,而且能提供很好的图像质量的量化预测。本文所采用的方法是结合图像显著图与稀疏特征,构造出一种度量图像视觉效果的指标。参考文献[3]提出了一种视觉信噪比方法(VSNR),该方法分为两个阶段:首先用视觉阈值筛选出视觉失真部分,然后量化失真部分,作为图像视觉质量评价指标。本文中,显著图类似于视觉阈值,筛选出视觉重要的参考与失真图像块对,然后利用特征检测矩阵提取图像块的稀疏特征,最后综合失真图像与原始图像的特征相似度与灰度相关性,得到一个度量指标。
1 图像视觉质量评价方法
  本文提出的评价方法的完整流程图如图1所示。

Image 001.png

1.1 特征检测矩阵的训练
  每一幅图像或图像块x都可以用矩阵A中的基向量与系数向量s的线性叠加来表示:x=A*s。通过转化又可以变换为s=W*x(W为A的逆矩阵),系数向量s称为图像的稀疏特征。通常稀疏编码的目的是为了得到一个权值矩阵W,本文称其为特征检测矩阵,将图像块变换成一个稀疏系数向量s。
  本文选择FastICA算法[4]从矩阵z中学习得到特征检测矩阵,z为原始样本的转换矩阵。首先通过定点法来更新正交矩阵Ww的每一列,ww是正交矩阵的列向量:
1.png

  其中,p代表一次迭代过程,E(·)表示期望,g(·)是方程G(·)的导数,g′(·)是g(·)的导数。
2.png

  其中,迭代阈值为:
3.png

  M等于8。最终:
4.png

  V是在PCA降维过程中得到的8×64的白化矩阵,经过一系列转换最终得到8×64的特征检测矩阵W。
1.2 图像显著图
  对于人眼视觉,并不是每一个图像块都具有同等的视觉重要性。可以通过一些量化手段,提取图像中的视觉重要区域。本文选用一种谱残余(Spectral Residual,SR)[5]的方法提取图像的显著区域。SR方法通过处理图像的幅度谱得到残余谱,再利用傅里叶变换得到空间域显著图。
 1.3 参考-失真图像块对的选择
  本文用A表示参考图像,B表示失真图像,O表示参考图像的目标图。将这三幅图像分成8×8且不重叠的图像块,然后将每个图像块展开成向量形式。
5.png

  其中,N表示图像块的个数,E2)DODP7PHX4F17TV@7_1CU.pngJ8~@TE72}B6GO5[9F%{H1PR.jpg则表示为选择后的图像块。
1.4 特征提取与特征相似性测量
  选择完参考-失真图像块对后,分别提取参考图像与失真图像块的稀疏特征。经过变换后的图像块向量都会变成一个8×1的稀疏系数向量。
6.png

7.png

  Yref和Ydis分别为参考图像与失真图像的稀疏特征矩阵。所以,关于参考-失真图像的特征相似性的测量可以表示为:
8.jpg

  其中,M和N分别代表特征矩阵的行数和列数,C为一个接近于0的正实数。
1.5 灰度相关性测量
  本文仅测量图像显著性区域的灰度相关性,其目的是为了减少非显著区域对整体评价所产生的干扰。

9.png

UB3XEGU$]%OHCELZFX~88)N.jpg分别表示Ath与Bth的均值,C1为一个接近于0的正实数。
 1.6 综合评价
  整合以上两种测量方法,可以得到一种综合的评价指标:

10.png

  本文中,u的取值为0.55。
2实验分析
  在实验中,本文采用了三个独立的图像数据库来验证所提出的图像视觉质量评价算法,分别是TID2008[6]、CSIQ[7]和A57[2]。该数据库涵盖了如压缩效应、模糊、闪变效应噪声和传输效应失真等,每一个图像库都附带人眼主观评价分数。本文使用了斯皮尔曼相关系数(SROCC)、皮尔逊相关系数(PLOCC)和均方误差(RMS)评估指标来比较这些客观结果与主观结果。
  最后,将本文评价算法的性能评估结果与一些图像评价算法进行比较,这些算法包括:PSNR、SSIM[8]、PHVSM[9]、IFC[10]、VSNR[3]以及MAD[7]。表1展示了最终的比较结果,其中权值平均表示根据各个图像数据库的情况加权求均值。对于评估指标SROCC、PLOCC和RMS,SROCC和PLOCC越接近1表示性能越好,而RMS则越小越好。
  从实验的结果可以看出,在图库TID2008和CSIQ中,相比于其他算法,本文方法的性能更具有优越性。但是由于SR方法在压制图像非显著性信息的同时也压制了显著性信息,因此在强调细节重要性的A57图库中,本文方法的效果并不十分明显。
3 结论
  人眼在处理自然场景或图片时,并不是对每一个空间位置的畸变都能引起同等的视觉注意。本文正是基于这种理念,只对图像中的显著性区域进行分析,对该区域的每一个图像块的稀疏特征进行比较,力求做到更细化的处理。最终的实验结果证明,本文方法能得到一个不错的评价效果,但是对于SR方法的局限性仍有改进的空间。此外,用ICA来模拟视觉初期也可以用更加细化的方法替代,这些都是下一步的研究重点。
参考文献
  [1] SIMONCELLI E P, OLSHAUSEN B A. Natural image statistics and neural representation[J]. Annual Review of Neuroscience,2001, 24(1): 1193-1216.
  [2] HYVARINEN A, KARHUNEN J, OJA E. Independent component analysis[M]. John Wiley & Sons, 2004.
  [3] CHANDLER D M, HEMAMI S S. VSNR: a wavelet-Based visual signal-to-noise ratio for natural images[J]. Image Processing, IEEE Transactions on, 2007,16(9):2284-2298.
  [4] HYVARINEN A. Fast and robust fixed-point algorithms for independent component analysis[J]. IEEE Transactions on Neural Networks, 1999,10(3):626-634.
  [5] Hou Xiaodi, Zhang Liqing. Saliency detection: a spectral residual approach[C]. IEEE Conference on Computer Vision and Pattern Recognition, CVPR′07,IEEE, 2007:1-8.
  [6] PONOMARENKO N, LUKIN V, ZELENSKY A, et al. TID2008-a database for evaluation of full-reference visual quality assessment metrics[J]. Advances of Modern Radioelectronics, 2009,10(4):30-45.
  [7] LARSON E C, CHANDLER D M. Most apparent distortion: full-reference image quality assessment and the role of strategy[J]. Journal of Electronic Imaging, 2010,19(1): 011006-1-011006-21.
  [8] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
  [9] PONOMARENKO N, SILVESTRI F, EGIAZARIAN K, et al. On between-coefficient contrast masking of DCT basis functions[C]. Proceedings of the Third International Workshop on Video Processing and Quality Metrics, 2007.
  [10] SHEIKH H R, BOVIK A C, DE VECIANA G. An information fidelity criterion for image quality assessment using natural scene statistics[J]. IEEE Transactions on Image Processing, 2005,14(12):2117-2128.

此内容为AET网站原创,未经授权禁止转载。
Baidu
map