文献标识码:A
DOI:10.16157/j.issn.0258-7998.180682
中文引用格式:陈文艺,张龙,杨辉. HDR图像色调映射的自适应色彩调节算法[J].电子技术应用,2018,44(11):107-110.
英文引用格式:Chen Wenyi,Zhang Long,Yang Hui. Adaptive color adjustment method based on HDR image[J]. Application of Electronic Technique,2018,44(11):107-110.
0 引言
高动态范围(High Dynamic Range,HDR)图像是一种可以记录实际场景亮度范围变化较大的图像,拥有更丰富的亮度层次,尤其是亮区域和暗区域的细节展现,远比普通图像更逼近现实的色彩效果。但HDR图像通过普通显示设备再现时存在动态范围不匹配问题,因此动态范围的压缩算法成为了研究的热点。
近年来,已经涌现出很多HDR图像色调映射(tone mapping)算法[1-4],例如KUANG J[3]等在图像色貌模型的基础上提出了iCAM06算法;REINHARD E[4]等提出基于摄影法的动态范围压缩算法。这些色调映射算法提供了将真实世界的亮度范围映射到输出媒介亮度范围的复杂方法,但它们通常会导致图像颜色外观的变化。最常见的色调操作是亮度压缩,会导致较暗的色调变得更亮并且扭曲对比关系[5]。这是由于调映射算法起初都是针对图像在亮度域进行压缩处理,但在处理彩色的高动态范围图像时,仅仅考虑亮度分量,忽略了在对亮度压缩的同时图像的色彩分量也被压缩了,颜色发生了变化。
本文提出图像经色调映射压缩处理后,在色域增加色彩调节算法,以解决因压缩后存在的褪色、偏色等色彩失真问题,从而提高图像的色彩表现。
1 色彩调节算法描述
整个算法分为两个部分:亮度域处理和色域处理。亮度域处理是对采集得到的高动态图像在亮度域进行动态范围的压缩映射和限制对比度的自适应直方图均衡化处理,将图像的高动态范围映射到低动态范围内。色域处理包含两方面,一方面是色彩恢复处理,结合下文中所给曲线的特点,根据图像处理前后亮度比值自适应地调节色彩饱和度参数,对压缩后的图像色彩恢复;另一方面对恢复后的图像做色彩增强处理,解决图像拍摄过程中,受到周围环境光源的影响,使得合成后的图像色彩出现偏差的问题。通过色彩增强因子对图像色彩进行增强。算法处理过程如图1所示。
1.1 亮度域处理
对于HDR图像,当前标准的显示设备存在动态范围不匹配问题,无法将图像正常地显示出来,需要对其在亮度域进行色调映射压缩处理,将其动态范围映射到0~255,使得图像可以在显示器上显示。本文结合高动态图像的特点及对数曲线的特性,采用对数压缩方法对HDR图像进行动态范围的映射,降低了高亮区域的对比度,增强了低亮度区域的细节部分,使得压缩后的图像更加符合人眼的视觉特性。首先,获取HDR色彩图像的亮度数据,采用如下的亮度转换公式:
式中,Ir、Ig和Ib分别为输入的HDR图像R、G、B 3个通道的数据,L为计算得到的图像的亮度值。然后,对转换得到的图像亮度值进行对数压缩处理,对数压缩通用函数为:
式中,Lin和Lout分别为输入图像压缩前后的亮度数据,a为常数。最后采用限制对比度的直方图均衡化(CLAHE)算法[6]增强图像对比度,得到压缩后的图像。
1.2 色域处理
1.2.1 色彩恢复
在RGB色彩空间中,R、G、B为3种基础色,3种颜色不同程度地混合叠加,从而产生丰富而广泛的颜色。在进行色调映射过程中,由于压缩使得色彩的深浅程度前后发生了变化,压缩后的图像颜色偏浅,从而导致色彩失真,而其深浅程度的变化在RGB色彩空间无法直观表示,为此本文引入HSI色彩空间。在HSI色度空间中,饱和度S(Saturation)表示颜色的深浅程度。其模型为图2所示的双圆锥3D模型,反映了人感知颜色的基本属性,与人感知颜色的结果一一对应。图像压缩后,其颜色的深浅程度发生变化,在该模型上体现为3D双圆锥轮廓收缩,引起收缩的主要原因是图像色饱和度发生了变化。通过引入色饱和度参数s,来调整图像色彩饱和度,从而使图像色彩得到恢复。
在压缩亮度范围过程中,采用如下彩色图像的还原公式,在色彩域利用处理前后的亮度信息来恢复图像的色彩信息。
式中,Cl为LDR图像在RGB颜色空间下三通道分量的色彩值,Ch为HDR图像在RGB颜色空间下三通道分量的色彩值,Lin和Lout分别为输入图像压缩前后的亮度数据,s是调节输出图像色彩饱和度参数。
对高动态图像进行色调映射压缩处理后,图像中不同区域的像素亮度值的变化程度不同。在不考虑亮度值前后变化程度的情况下,固定的s值设置依然会引起某些区域色彩失真,不能使所有区域都有良好的色彩感观,图3为设置几个固定s值对图像进行处理后的效果图。
从图3可以看出,当s值为固定值时,并不能确保图像中每个区域的效果都比较好。图3(b)的参数s值设置为0.5时,图像灯光下树叶部分色饱和度较好,但是树下区域饱和度较低。为了使图像中不同区域的饱和度更符合视觉效果,对固定s值的设置提出改进,强调对任一像素点有相应的s值处理,以达到自适应的调节。
首先,考虑到亮度值的变化,采用亮度值处理前后的比值D来衡量变化程度,其表达式如下:
式中,D为压缩前后的亮度比值,λ为映射常数。对亮度比值D进行归一化处理,此时,任一像素点处亮度比值的大小反映当前像素点处压缩前后的变化情况。
图4曲线为图像压缩前后,亮度比值D与色饱和度参数s之间的关系。当压缩比值D较小时,表示该点前后色彩变化程度不大(如图3(b)中灯光下的亮区域),体现在HSI色度空间中为饱和度S变化对该点造成的收缩影响不大,此时在RGB色彩空间内,应使用较小的s值调整当前像素点,效果较好;当压缩比值D较大时,表示该点前后色彩变化程度明显(如图3(d)中树下的暗区域),体现在HSI色度空间中为饱和度S变化对该点造成的收缩影响较大,此时在RGB色彩空间应使用较大s值处理当前像素点,效果较好。两者关系表达式如下:
式中,b、c为常数,D为压缩前后的亮度比值,s为饱和度系数。根据每个像素点的比值大小,通过上述对应关系,可以自适应地选取s值。此时针对图像中每一像素点,都有相应的s值进行处理,避免了用相同的s值对图像的每个像素点处理。
最后,通过调节系数b和c的取值,使图像可以得到较好的色彩表现。图5为改进后算法处理得到的效果图。
由图5可以看出,采用改进后算法对图像处理,图像的色饱和度较好,此时b、c的取值分别为1和0.2。
1.2.2 色彩增强
由于HDR摄像机拍摄HDR图像时会受到周围环境光源的影响,导致合成后的高动态图像色彩出现偏差。因此在图像色彩恢复之后,需用色彩增强因子Kr、Kg、Kb对色彩恢复后图像的R、G、B分量进行调整,增强色彩表现,从而消除偏色现象。色彩增强因子[7]的计算表达式为:
其中,Kr、Kg、Kb为得到的色彩调节因子,Rij、Gij、Bij为图像中满足一定条件的像素点处R、G、B分量的灰度值。像素点筛选具体做法如下:
(1)统计图像中每个像素点的R/G和B/G的值;
(2)判断该点的R/G和B/G的值,是否落在图6在实验环境下标定得到的色温曲线[8]中的虚线之间区域。该区域的确定是通过不断调整色温曲线的上下限,而上下限的范围通过图像中每个像素点的R/G和B/G的落点情况统计得到;
(3)满足条件的像素点,将其R、G、B分量的灰度值分别统计求和。
图6的色温曲线是在实验灯箱内使用摄像机分别拍摄6 500 K、4 000 K、2 700 K色温下的24色卡,统计图像中每个像素点的R/G和B/G落点情况,经过线性插值和二维曲线标定得到。最后,用上述方法得到的增益系数Kr、Kg、Kb分别乘以色调映射算法中的R、G、B分量:
2 实验结果及分析
本文实验在Windows 7系统下的MATLAB平台开发环境下,测试所用HDR图像来自FPGA+DM368组合而成的HDR摄像机,其上搭载了高动态传感器MT9M034对以下场景进行拍摄,得到尺寸为1 280×960的raw格式HDR图像。MT9M034高动态传感器的高动态范围是通过多次曝光技术实现的,可处理的动态范围达到120 dB。再分别使用本文算法,基于图像色貌模型iCAM06算法以及基于Retinex的压缩算法[9]进行比较,其结果如图7~图9所示。
由于人眼的直观感受是评判图像色彩恢复好坏的主要因素,本文选取3种算法对测试图像处理后的效果图,采用对比的方法进行主观的评判。通过观察图7、图8和图9所示的3种算法处理后的效果图可以看出,iCAM06算法和Retinex算法处理后的图像在色彩方面的表现欠佳。为了能更加直接地说明算法处理前后图像的效果,接下来选用图像的信息熵作为其客观评判标准。信息熵反映图像中包含的信息丰富程度,其大小可以代表当前图像所含信息量的多少[10],结果如表1所示。
3 结论
本文针对HDR图像色彩重建过程中,受到色调映射处理和拍摄环境的光照条件的影响,引起再现LDR图像与源图像色外观不一致的问题,提出了在色彩域增加色彩调节算法。算法首先在亮度域使用对数压缩和限制对比度的自适应直方图均衡化算法处理图像;然后在色彩域通过图像各像素点处的亮度比值自适应调节色饱和度参数,补偿由于压缩导致的色彩信息丢失;最后采用色彩增强因子校正因光照条件带来的图像偏色问题。
参考文献
[1] HU K J,LU M Y,WANG J C,et al.Using adaptive tone mapping to enhance edge-preserving color image automatically[J].Eurasip Journal on Image & Video Processing,2010,2010(1):1-11.
[2] KASLIWAL H,MODI S.A novel approach for reduction of dynamic range based on hybrid tone mapping operator[J].Procedia Computer Science,2015,58:265-271.
[3] KUANG J,JOHNSON G M,FAIRCHILD M D.iCAM06: A refined image appearance model for HDR image rendering[J].Journal of Visual Communication & Image Representation,2007,18(5):406-414.
[4] REINHARD E,STARK M,SHIRLEY P,et al.Photographic tone reproduction for digital images[J].Proc.SIGGRAPH,2002,21(3):267-276.
[5] MANTIUK R,MANTIUK R,TOMASZEWSKA A,et al.Color correction for tone mapping[J].Computer Graphics Forum,2010,28(2):193-202.
[6] REZA A M.Realization of the contrast limited adaptive histogram equalization(CLAHE) for real-time image enhancement[J].Journal of Vlsi Signal Processing Systems for Signal Image & Video Technology,2004,38(1):35-44.
[7] 姚洪涛,李鑫岩.RGB空间的HDR图像合成与色彩调节算法[J].长春理工大学学报(自然科学版),2015,38(5):145-149.
[8] 王敏,李斌桥,徐江涛.基于色温估计的自动白平衡算法研究[J].光电子·激光,2011(12):1872-1875.
[9] 芦碧波,陈静,王建龙,等.一种改进的多尺度Retinex色调映射算法[J].计算机工程与科学,2017,39(5):951-957.
[10] 罗雪梅,王义峰,曾平,等.色外观匹配的高动态范围图像再现[J].计算机研究与发展,2013,50(8):1787-1796.
作者信息:
陈文艺1,张 龙2,杨 辉1
(1.西安邮电大学 物联网与两化融合研究院,陕西 西安710021;
2.西安邮电大学 通信与信息工程学院,陕西 西安710021)