关键点匹配三维人脸识别方法

第27卷第11期2010年11月计算机应用研究

ApplicationResearchofComputersVol．27No．11Nov．2010

关键点匹配三维人脸识别方法

宋顶利

063000）摘

1，2a

*

，杨炳儒1，于复兴2b

（1．北京科技大学信息工程学院，北京100083；2．河北理工大学a．理学院；b．计算机与控制学院，河北唐山

Y或Z轴旋转，要：提出了一种新颖的三维人脸识别算法，其基本思路是，把代表人脸的三维点云沿X、反复

多次把3D人脸关键点投影到2．5D图像上，然后提取2．5D图像的关键点并进行标记，而用这些比原来小得多的关键点代替原来的面扫描。面对未知的待测人脸首先通过执行相同的多视角特征点提取技术提取关键点，然这个方法后应用一个新的加权特征点匹配算法进行识别。通过用GavabDB三维面部识别数据集进行试验评估，对中性表情人脸可获得高达94%的识别精度，对人脸表情辨识（如微笑）的准确率也超过了88%。实验结果表明，此方法在识别精度上有显著地提高。关键词：关键点；投票；识别；人脸中图分类号：TP391.41

文献标志码：A

文章编号：1001-3695（2010）11-4331-04

doi：10．3969/j．issn．1001-3695．2010．11．092

Methodof3Dfacerecognitionbasedonkeypointmatching

2a

SONGDing-li1，，YANGBing-ru1，YUFu-xing2b

（1．SchoolofInformationEngineering，UniversityofScience＆TechnologyBeijing，Beijing100083，China；2．a．CollegeofSciences，b．Col-legeofComputer＆AutomaticControl，HebeiPolytechnicUniversity，TangshanHebei063000，China）

Abstract：Thispaperproposedanovelalgorithmfor3Dfacerecognitionbasedonkeypointmatching．Itsideawastorotate

each3Dpointcloudrepresentingafacearoundthex，yorzaxes，iterativelyprojectingthe3Dpointsonto2．5Dimages．Itex-tractedthekeypointsfrom2．5Dimages，setofkeypointsreplacedtheoriginalfacescan，performedtestfacesthesamekey-pointextractiontechnique，andsecondlyusinganewweightedkeypointmatchingalgorithmtorecognizeface．EvaluationusingtheGavabDB3Dfacerecognitiondataset，themethodachievedupto94%recognitionaccuracyforfaceswithneutralexpres-sions，and88%accuracyforfacerecognitionwithexpressions（suchasasmile）．Theexperimentresultsshowthatthismethodgetsremarkableprogressinrecognizingaccuracy．

Keywords：keypoint；votingalgorithm；recognization；face

0引言

人脸识别是最具挑战性的模式识别问题之一。经过多年

1三维人脸识别

人脸识别按照所用的信息类型，可分为二维和三维人脸识

的发展，特别是近十多年的研究，人脸识别的理论和算法均取但这些理论和算法主要针对二维人脸图像。由得了巨大进步，

于人脸的非刚性特征，二维图像中人脸姿态、表情、光照条件等的变化对算法的识别性能影响很大。更实用的人脸识别算法应该能够在摄像环境、姿态、光照不可控、表情变化大、用户不配合的情况下进行识别。所以目前算法的缺陷大大限制了人不同光脸识别技术在实际中的广泛应用。如何解决不同姿态、照条件下的人脸识别问题是二维人脸识别研究的瓶颈，也是当三维人脸数据中包前的研究热点。与二维人脸图像数据相比，

含人脸的空间信息，这是人脸本身固有的特征信息，对姿态、光照条件的变化具有鲁棒性。与二维图像不同，三维人脸数据有多种不同的形式，如人脸的深度数据、曲面点的三维坐标及其面部轮廓线数据等。因此，近年来利用三点之间的连接关系、

维人脸数据进行人脸识别的方法成为研究热点，也出现了一些识别算法

［1］

别。3D人脸的研究起源于计算机动画和生物医学成像。计算姿机动画是在计算机上生成3D的人脸动画来表达人的运动、态和表情。这种动画的人脸可以应用在不同的环境下，从而应用和发展为虚拟现实。在生物医学方面的方法是从生物图层或切片重构人体器官组织，并将其用于病理分析。将三维的方法用于人脸机器识别是近几年才开始的，主要是为了解决2D

［2］

方法无法根本解决的问题，或弥补2D方法的不足。

1.13D人脸识别算法

三维人脸识别算法按采用的数据类型、特征方法分为五种

类型，即基于子空间的方法、基于轮廓线的方法、基于其他特征的方法、基于多分类器融合的方法以及基于三维点云的方法。

基于子空间的方法将人脸用深度图像表示，再采用特征脸（eigenfaces）等子空间方法进行识别。Xu等人［3］先构建一个规则网格表示三维人脸表面，经姿态校正后用深度图表示，再用特征脸方法进行识别。对3DRMA数据库中质量较好的30人、每人6幅图像的数据集，识别率为93．9%；对质量较差的

。本文在前人研究的基础上提出了一种新颖的基

于关键点匹配的三维人脸识别算法。

收稿日期：2010-05-20；修回日期：2010-06-28

基金项目：国家自然科学基金资助项目（60875029）

作者简介：宋顶利（1971-），男，河北唐山人，博士研究生，主要研究方向为图像处理（sdlhr617@sohu．com）；杨炳儒（1943-），教授，博导，主要研究方向为数据挖掘、知识发现；于复兴（1979-），讲师，主要研究方向为数据挖掘．

120人、每人6幅图像的数据集，识别率降为71．1%。

基于轮廓线的方法提取人脸表面的若干轮廓线作为特征，采用某种度量进行匹配。Zhang等人

［4］

用PCA从三角化的人

脸表面得到初始对称轴，

再用ICP算法对齐镜像人脸，得到人脸对称平面。由平均曲率和中轴轮廓线曲率获得鼻尖、鼻梁和鼻下三个特征点，

由这三个特征点定义新的坐标系，并定位前额轮廓线和脸颊轮廓线，连同中轴轮廓线作为人脸的表示，并用ICP算法计算相应的距离，

用线性判别分析（LDA）优化各轮廓线的权重。实验结果表明该方法对表情变化不够鲁棒。

基于其他特征的方法从人脸表面提取某种特征作为人脸的表示，再用某种度量进行匹配。

基于多分类器融合的方法从人脸表面提取多种特征，采用不同的分类器进行分类，将各分类器的结果进行融合。如Chang等人

［5］

基于人脸肤色从二维彩色照片提取人脸区域，再

用ICP算法进行姿态校正。利用高斯曲率和平均曲率找出鼻子区域，

在鼻尖周围找出三个局部区域，分别用ICP算法进行匹配，再将其结果进行融合。在FRGCv2．0数据库上，识别率达92%。文献［

6］中有更详细的阐述。基于三维点云的方法将人脸用三维点云表示，再采用某种度量对人脸点云进行匹配。Medioni等人

［7］

采用被动立体视觉

获得人脸的三维表面，

用迭代对应点（ICP）算法［8］

进行人脸表面的匹配。在100人、每人7幅不同姿态的深度图像构成的数据库上，

EER低于2%。Pan等人［9］对Hausdorff距离和主成分分析（PCA）两种方法在3DRMA数据库上进行了比较。对于Hausdorff距离，EER为3%～5%；对于PCA，EER为5%～7%。

Uchida等人［10］通过立体视觉得到人脸的三维表面数据，用ICP算法进行匹配。为加快计算，采用了由粗到细的策略，即初始迭代时用少量对应点，随着迭代的进行，逐步加入对应点。对18人、每人4个中性表情人脸表面的数据库，选取适当的阈值，识别率为92%。Russ等人

［11］