kaiyun官方注册
您所在的位置: 首页> 测试测量> 业界动态> 一种基于肤色的复杂背景人脸检测方法

一种基于肤色的复杂背景人脸检测方法

2008-04-18
作者:何 为1,2,李见为1,蒋邦持

摘 要:针对复杂背景下的彩色人脸" title="人脸">人脸图像,利用肤色信息,从图像中分割出具有肤色的区域,整理得到待检测人脸区域,从中进行人脸特征的提取和验证,最终确定人脸。
关键词:人脸检测" title="人脸检测">人脸检测边缘分割" title="边缘分割">边缘分割人脸模版

  人脸检测是人脸识别中一个重要的组成部分。近年来,针对静态图人脸检测问题,国内外大量研究者提出了多种方法,在不同领域取得了一定进展。但是离能够适用于各种复杂情况且有着较高准确率的实用要求, 还有很大的差距。当前人脸检测算法大致可以分为以下四类[1]:基于知识的方法、基于模板匹配方法、基于外观形状的方法、基于特征的方法。这些方法对正面简单背景下的正面人脸都有很好的检测效果,但对有旋转角度或复杂背景的人脸图像在准确率上还有待进一步提高。
  本文针对复杂背景的彩色人脸图像,采用本文的算法首先对图像进行偏色校正;然后进行肤色分割" title="肤色分割">肤色分割,提取出肤色块,在彩色空间进行边缘检测,并用检测到的边缘对肤色块进一步分割,用空间距离与YCb Cr矢量距离进行块分类合并,用形态学方法进行块边缘整理并填充,得到人脸模版" title="人脸模版">人脸模版,利用眼睛、嘴等特征在色差Cb Cr分量上的分布特点进行特征的提取,最后进行相似性判断确定眼睛块,利用几何约束关系确定人脸。实验表明,该算法受光照影响小、处理速度较快、准确率较高。其算法流程如图1所示。


1 偏色校正
  彩色图像很容易受到光源颜色与图像采集设备色彩偏差等因素的影响,使色彩在整体上偏离本质,使图像偏色。这对于利用彩色信息来进行区域分割的方法是不利的。本文采用偏色校正算法来克服偏色的影响。偏色校正算法原理如下:一幅没有偏色的图像即纯白色和黑色区域的RGB分量应分别大致相等且等于对应亮度Y,假定一幅图像的最高亮度的3%(参考白)和最低亮度的3%(参考黑)应该对应真实颜色的白色和黑色部分,也即在参考白和参考黑范围内的像素满足RGB三分量大致等于亮度Y的条件。设分别对应参考白和参考黑RGB分量平均值和亮度Y的平均值,△R、△G、△B,△Rw、△Gw、△Bw和△Rb、△Gb、△Bb分别为调整因子、参考白调整因子和参考黑调整因子,则有如下关系式:

  运用调整因子△R、△G、△B对整幅图像进行校正,可在一定程度上消除偏色,达到校正的目的。在实际运用中,参考白和参考黑的像素总数应大于一定阈值,否则关于参考白与参考黑的假设不成立。


2 肤色分割
  本文根据Hsu等人[2]提出的基于变换的YCbCr空间的肤色分割方法进行肤色区域分割,肤色分割图如图2所示。Hsu等人对从HHI图像库中手工选取不同光照、不同肤色的肤色点进行统计,并投影到各种彩色空间,发现肤色在YCbCr彩色空间有很好的聚类性质,用式(4)对YCbCr空间进行变换,则肤色分布在式(5)的椭圆内。

3 人脸模版提取
  复杂背景的彩色图像中总存在类肤色区域、裸露的非人脸肤色区域以及类肤色区域和肤色区域或者多个肤色区域紧密连接在一起。单纯使用肤色分割定位人脸不能排除这些因素的影响,因此,肤色分割通常只是对人脸图像进行粗定位,要确定肤色区域是否为人脸则需对区域上的其他特征进行验证。在人脸的肤色分割图中,眼睛、嘴等特征因其为非肤色区域而被漏掉,而在肤色范围内的其他区域则可能与人脸区域相连,这不利于进行人脸特征验证。特征验证需要一个比较准确的人脸区域(只包含必要的人脸特征而没有背景等其他干扰)。本文对肤色分割出的二值图像进行处理,建立一个只包含人脸区域的人脸模版,人脸特征验证就只在人脸模版范围内进行。下面介绍的人脸模版提取分为边缘分割、肤色块分类与人脸模版提取三个部分。
3.1 边缘分割
  与人脸肤色区域相邻的其他区域,若颜色也在肤色范围内,则不能从肤色空间中将人脸肤色区域与相邻的其他区域分离开,但可以利用不同图形的边缘信息进行肤色区域的边缘分割。灰度图像进行边缘提取,是利用像素间灰度值的差异来检测边缘的,而在颜色不同但灰度相近的区域,则无法提取边缘。因此,本文提出了在RGB三基色空间中进行边缘分割检测,该方法比参考文献[5]所使用颜色梯度场的算法更为快速和简便,其边缘提取如图3所示。本文采用如式(6)的Sobel边缘算子,分别在R、G、B分量上进行运算,其最大的值即为该像素点边缘值:

  式中,RS0、RS1、RS2、RS3是边缘算子S0、S1、S2、S3在R分量上分别计算的结果,其他符号意义类似。
  设定阈值将边缘二值化,和肤色分割二值图进行“与”操作,然后进行形态学开闭运算改变原区域连通性,由此即将一个完整的区域分割开来。


3.2 肤色块分类
  肤色分割可能在人脸区域形成独立块,区域边缘分割也可能将完整面部分割成若干个小块,因此需要进行肤色块的合并,重新组合属于同一人脸的独立块。同一人脸区域中像素点肤色在变换YCbCr空间中对应的矢量值相近,在空间位置上应小于一定距离。根据以上原理提出如下算法:
  (1)按照块面积从大到小排列各块(忽略面积小于一定阈值的小块)。
  (2)找寻每个块的重心(X,Y),其中:

  (3)计算各块间距离(重心连线减去在各块内部部分的长度)。
  (4)从大块开始,将距离小于一定阈值的块归为一类。
  (5)在每一类中,计算各块重心连线在各块边缘附近的YCbCr值,小于一定阈值的归为一类,其他为新类。
  (6)去除面积小于一定阈值的类。
  对所有块分类完成后,按各类中肤色块所占区域的大小,建立包含类中所有块的最小矩形,将类中所有块复制到矩形内,后续操作则在该矩形区内进行。
3.3 人脸模版提取
  经过上述处理,一个矩形的待检测人脸区域就是一类。此时矩形区域中各块可能是独立的,块内部可能有空洞,块边界凹凸性与人脸的真实边缘也相去甚远,因此需进行一定处理,填充块内部的空洞,平滑块边缘,将多个独立块组合为一个整体的区域。本文采用形态学的膨胀和腐蚀的算法进行块边界平滑[4],然后进行区域填充。
  对于二值图像形态学的膨胀和腐蚀,本文提出了如下快速算法:
  (1)保存19×19、13×13和7×7三种圆形模版(模版的选择根据矩形区域面积决定)。
  (2)提取矩形区域中各块的边缘L1,并以L1为中心,让圆形模版在其上滑动,圆形模版的最外围轨迹则为形态学膨胀后的新边缘L2。
  (3)填充新边缘L2内部并以L2为中心,再次滑动模版,擦除滑动范围内的像素值,则最终剩余的部分即为人脸模版,如图4(b)、(c)所示。
4 特征点的提取与验证
  提取到包含人脸特征的模版也即是人脸候选区后,确认人脸即是对人脸特征点进行提取和验证。研究表明,眼睛具有很好的不变性,是人脸最为重要的特征,嘴也是典型的特征,因此,本文选择人眼和嘴部作为特征进行人脸检测。目前有许多针对眼睛与嘴等特征的特征提取方法,但大多是针对灰度图像进行的,对彩色图像中眼睛等特征信息利用较少。而眼睛和嘴等特征在彩色空间中也有许多独特的信息可以利用。本文对于特征的提取就是利用了CbCr两个色差分量,同时结合灰度上的分布特点进行的。所有操作只在人脸模版上进行,大大降低了特征点寻找的复杂性,提高了处理速度和准确性。
4.1 特征提取
  由于不同图像的亮度和对比度均不相同,对于CbCr分量应进行归一化处理,根据结合特征在CbCr分量中灰度值大于皮肤部分灰度值的特点,对CbCr分量进行如式(7)的计算和归一化处理:
  (1)计算

  (2)归一化
  色差分量Cb上眼睛和嘴都有量值,因此先用Cb分量来建立特征模版,眼睛与嘴的真实位置一定在模版上。对归一化后如图4(e)所示的Cb图像,进行低阈值分割,得到如图4(f)所示的特征模版。对处理后的Cb图像再进行高阈值分割,得到如图4(g)所示的人眼睛块,选出面积最大的10块作为待选的人眼区域,如果分割图中块数小于10则按实际块数计;若少于2块则认为本区域没有人眼,本区域为非人脸区域。对归一化后如图4(h)所示的Cr图像中进行如图4(i)所示的高阈值分割,选取面积最大的5块作为嘴唇的候选区。


4.2 特征验证
  对于所有可能的眼睛对组合,首先进行相似性检查,排除不可能的眼睛对组合。相似性计算采用下式进行:

  式中,r为相似系数;AL、AR为以左右眼各自重心为中心的矩阵;M、N为矩阵的行列数。r小于一定阈值的眼睛组合认为不可能是一对眼睛,M、N的值则根据眼块对的面积进行调整,取值在15~25之间。
  按照人脸的先验知识计算每一个眼睛块对与嘴唇块之间的几何约束关系,确认眼睛块与嘴唇块。当一个候选区有两个以上满足条件的块组合时,使用以下两条准则确定人脸特征的组合:
  (1)眼睛块到嘴块间无其他块。
  (2)块组合的面积最大者是最有可能的组合。
5 实验结果及分析
  目前用于人脸检测的数据库还没有专门针对复杂背景的公用库,本文测试是在自建的彩色人脸数据库上进行,该库一部分图像来源于互联网,一部分为实验室收集,具有不同光照、复杂背景、多尺度、多姿态的特点。在IntelT5500 1.66MHz的PC机上进行试验,人脸总数为326个,检测率达到92.02%,漏检人脸26个,误检37个,每幅平均耗时320ms。图5为部分检测结果。


  对漏检图片分析发现,图片颜色严重失真、背景区为类肤色区、头发遮住眼睛、人脸旋转角度过大和人脸过小,这些都是造成漏检的主要原因,由此导致人脸模版提取失败,或者提取的模版没有完全包含人眼和嘴等特征,因此无法正确检测到人脸。误检的图片主要是由于背景颜色分布在类肤色区,一些干扰满足了人脸特征的点。今后的工作将针对这两方面情况进行更进一步的研究,同时更好地结合空间信息、人脸的先验信息和灰度信息进行人脸检测的研究。
参考文献

[1] 梁路宏,艾海舟,徐光佑,等.人脸检测研究综述.计算机学报[J],2002,23(5):449-458.
[2] HSU Rein-Lien,ABDEL M M,JAIN A K.Face detection in color images[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2002,24(5):696-706.
[3] GARGESHA M,PANCHANATHAN S.A hybrid technique for facial feature point detection[C].Fifth IEEE Proc Southwest Symposium on Image Analysis and Interpretation.Santa Fe,New Mexico:IEEE,2002:134-138.
[4] JACKWAY P T,DERICHE M.Scale-space properties of the multiscale morphological dilation-erosion[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1996,18(1):38-51.
[5] 陈锻生,刘政凯.彩色图像边缘特征及其人脸检测性能评价.软件学报[J],2005,16(5):727-732.

本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306116;邮箱:aet@chinaaet.com。
Baidu
map